论文题目：面向电视用户的实时日志采集和处理系统设计与实现
摘要：在互联网时代,用户在使用网络服务的过程中源源不断产生的日志数据,如何对这些日志数据进行利用是当前各大互联网服务提供商共同面临的问题。传统的广播电视服务也开始朝着互联网服务的方向转变。在这个背景下,如何利用日志数据改进服务的质量,是广播电视服务提供商提高市场竞争力的重要途径。本文依托于某运营商的有线网络电视业务,针对旧有日志采集方案存在的问题,改进设计并实现了 一个面向广播电视用户的日志数据采集和处理系统。本文的研究难点在于广播电视用户的行为日志采集存在网络拓扑复杂、并发量庞大的问题。不同于常见的服务端日志采集方案,本文的电视用户日志采集困难,需要客户端上报到采集系统进行汇聚,上报请求对采集系统会产生并发压力,因此本文主要做了以下研究工作:数据采集模块基于Nginx负载均衡和分布式技术设计了分布式采集服务器集群,使用集群化的Tomcat服务器接收日志。数据缓存模块基于多级缓存的思想,利用Redis内存数据库和Kafka消息队列设计了异步非阻塞式I/O模型。数据处理模块基于滑动窗口、相似度计算、正则表达式匹配等方法实现日志的初步分类、清洗以及异常检测。数据存储模块利用MongoDB非关系型文档式数据库,实现高效存储写入。同时实现了系统管理员使用的可视化管理模块和分布式系统监控模块,节省运维人员的人工操作。最后对本文所实现的采集系统进行基本功能测试以及对照旧有采集方案的性能对比测试,结果表明本文所实现的方案对比旧有方案在系统性能上有一定的提升。
关键词：日志收集;高并发;日志处理;消息队列
学科专业：计算机技术（专业学位）
摘要
ABSTRACT
第一章 绪论
1.1 课题背景
1.2 课题研究内容
1.2.1 数据源和分布式数据收集
1.2.2 数据处理和持久化存储
1.2.3 数据缓存和异步处理
1.2.4 负载均衡
1.2.5 可视化管理界面
1.3 论文组织与结构
1.4 本章小结
第二章 相关技术
2.1 Tomcat服务器
2.2 Kafka消息队列
2.3 Redis内存数据库
2.4 MongoDB文档型数据库
2.5 Nginx反向代理服务器
2.6 Flask框架
2.7 本章小结
第三章 日志采集处理系统需求分析
3.1 系统总体需求
3.2 功能性需求分析
3.2.1 日志采集业务需求分析
3.2.2 日志处理业务需求分析
3.2.3 日志存储业务需求分析
3.2.4 日志缓存业务需求分析
3.2.5 系统管理员业务需求分析
3.3 非功能性需求分析
3.3.1 系统性能需求分析
3.3.2 安全性需求分析
3.3.3 可扩展性需求分析
3.3.4 前端页面需求分析
3.4 本章小结
第四章 日志采集处理系统概要设计
4.1 系统整体架构设计
4.2 功能模块概要设计
4.2.1 日志采集模块
4.2.2 日志缓存模块
4.2.3 日志处理模块
4.2.4 日志存储模块
4.2.5 系统管理员管理模块
4.3 本章小结
第五章 日志采集处理系统详细设计与实现
5.1 日志采集总体流程
5.2 日志采集模块设计与实现
5.2.1 日志源
5.2.2 前置采集服务器
5.2.3 负载均衡
5.3 日志缓存模块设计与实现
5.3.1 一级缓存
5.3.2 二级缓存
5.3.3 三级缓存
5.4 日志处理模块设计与实现
5.4.1 日志分类
5.4.2 日志清洗
5.4.3 异常日志检测
5.5 日志存储模块设计与实现
5.5.1 持久化MongoDB数据库表设计
5.5.2 临时数据库Redis
5.6 系统管理员管理模块设计与实现
5.6.1 管理界面Web端
5.6.2 监控模块
5.7 本章小结
第六章 测试及结果分析
6.1 测试环境介绍
6.1.1 硬件测试环境
6.1.2 软件测试环境
6.1.3 测试环境搭建
6.2 系统功能测试及结果分析
6.3 系统性能测试及结果分析
6.4 本章小结
第七章 总结与展望
7.1 工作总结
7.2 未来展望
参考文献
致谢