论文题目：基于在线推荐的广电个性化适配系统的设计与实现
摘要：随着社会的发展,人们使用互联网的时间也逐渐增加,在使用互联网时会产生大量的日志信息,同时人们也更频繁地在互联网上产生内容。早期互联网上信息主要由主要平台产生,且数量不大,人们使用信息检索的方式来获取想要的信息。互联网发展到现在,人人都是内容制造的参与者,在海量的内容面前,推荐系统是最好的解决方案。通过针对用户进行内容推荐,让用户从频繁的信息检索动作中抽出身来,更好地迎合互联网的UGC（用户制造内容）环境。同时也可以针对积累的大量日志进行分析,获取有价值的信息,更好的为用户服务,形成良性循环。广电集团拥有海量用户,存储着海量用户信息数据,同时也产生着大量的日志。而以往广电的推荐内容单一适用面窄,现在需要一个能分析海量日志信息与用户信息的系统,对每个用户进行个性化适配,进行内容推荐。其目的是快速精准的挖掘出用户的兴趣偏好并推荐出相应的电视产品,从而达到系统比用户更懂用户的效果。系统将关注点聚焦在在线推荐上面,拟针对不同的广电用户使用场景进行实时高效的推荐。由于个人偏工程化的工作内容,系统将从工程化角度进行详述,主要包含了使用大数据计算平台和高性能数据仓库进行数据分析,高效分析用户和内容日志形成用户画像及行为画像;算法上进行工程抽象,依托抽象算子库,实现算法自动化监控和运行;针对不同场景使用不同推荐策略,最终在各个广电用户使用场景下实现推荐。
关键词：海量用户日志;广电行业;在线推荐;个性化适配;工程化
学科专业：工程硕士（专业学位）
摘要
abstract
第一章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 推荐系统的研究现状
1.2.2 实时分布式流计算技术研究现状
1.3 项目目标和主要工作内容
1.4 论文组织结构
1.5 本章小结
第二章 相关技术分析
2.1 推荐算法
2.1.1 基于流行度的推荐
2.1.2 基于内容的推荐
2.1.3 基于关联规则的推荐
2.1.4 基于协同过滤的推荐
2.1.5 混合推荐算法
2.2 分布式流处理框架SPARK
2.2.1 Spark基本组件
2.2.2 Spark运行机制
2.2.3 Spark计算模型
2.3 分布式大数据处理平台HADOOP
2.3.1 Hadoop基本组件
2.3.2 Hadoop运行机制
2.3.3 Hadoop计算模型
2.4 其他相关技术
2.4.1 微服务一体化解决方案Spring Cloud
2.4.2 分布式消息处理系统Kafka
2.4.3 分布式对象存储Redis
2.4.4 HBase
2.4.5 Elastic Search
2.4.6 代码规范
2.5 本章小结
第三章 需求分析
3.1 需求概述
3.2 功能需求
3.2.1 客户端模块需求分析
3.2.2 服务端模块需求分析
3.3 非功能需求
3.4 本章小结
第四章 系统概要设计
4.1 在线推荐引擎
4.1.1 日志采集模块
4.1.2 模型库
4.1.3 算法库
4.1.4 在线分析模块
4.1.5 离线分析模块
4.2 数据接入服务
4.3 在线推荐服务
4.4 本章小结
第五章 系统详细设计
5.1 数据库设计
5.1.1 HBase和 HDFS
5.1.2 Redis
5.2 在线推荐引擎
5.2.1 日志采集模块
5.2.2 模型库
5.2.3 算法库
5.2.4 在线分析模块
5.2.5 离线分析模块
5.3 数据接入服务
5.4 在线推荐服务
5.5 本章小结
第六章 系统实现
6.1 统一接口设计
6.1.1 Restful风格接口
6.1.2 各模块间调用接口设计
6.2 在线推荐引擎
6.2.1 日志采集模块
6.2.2 模型库
6.2.3 算法库
6.2.4 在线分析模块
6.2.5 离线分析模块
6.3 数据接入服务
6.4 在线推荐服务
6.5 本章小结
第七章 系统效果评估与测试
7.1 实验环境
7.1.1 硬件环境
7.1.2 软件环境
7.1.3 部署过程
7.2 功能测试
7.3 性能测试
7.3.1 测试业务场景
7.3.2 测试策略
7.3.3 测试结果
7.4 推荐效果测试
7.4.1 实验数据选取
7.4.2 评估指标
7.4.3 实验内容
7.5 系统可视化界面展示
7.6 本章小结
第八章 总结和展望
致谢
参考文献