论文题目：基于云计算技术的园所儿童大数据管理平台设计与实现
摘要：近年来,随着国内经济的快速发展和科研探索在幼教领域的进展,我国对教育行业的重视让幼教市场的规模逐渐扩大。而当前面向幼教领域的管理系统,不仅难以保证数据的安全性,而且难以应对短期激增并且有着较高价值的非结构化数据。从系统规划上看,大多会因为系统模块间牵连过于紧密或是各子系统间数据交互衔接困难,导致最终开发整合过程低效。为此,本文面向幼教领域研究和开发了一个基于Hadoop技术的园所儿童数据服务系统,为幼教领域搭建一个完整的资源管理和信息交互平台。论文的主要研究工作归纳如下:（1）充分梳理当前大数据技术栈的特点,整合计算机硬件资源,实现了云计算平台的部署。本系统采用Hadoop系统与基础服务平台相结合的结构设计,利用其对数据存储稳定、高效、灵活的特性,解决了海量激增的非结构化数据管理问题。（2）平台将Hadoop分布式系统与基于Spring Cloud的微服务架构相结合,将系统分为多个模块进行独立开发和部署,实现了各大模块的有效解耦。这种组合方式可以让平台保持较高的柔韧性,并且保有其在性能和功能上的灵活性和可扩展性。（3）基于需求分析和架构设计,实现了一个完整、可靠、高效的园所数据管理平台。针对资源共享模块,搭建了基于HDFS的园所幼教资源库,并利用基于人脸识别的照片分发系统,实现了照片管理模块内的功能。此外,论文先后分析并优化了基于内容的协同过滤算法,并基于Map Reduce分布式计算框架实现了幼教资源推荐服务。（4）为了提高分布式文件系统的稳定性和健壮性,本Hadoop集群的搭建采取了双Name Node节点的HA设计。同时根据系统内硬件资源配置情况以及运营中的实际问题,有针对性地从Map Reduce运算性能和HDFS小文件处理两个角度入手,有效改善了系统空间利用率和存取效率。最后研究并开发了一个实际部署运营的儿童数据资源管理平台,平台的部署与稳定运行验证了园所儿童数据管理平台的稳定性和高效性。
关键词：云计算;Hadoop技术;幼教领域管理;HDFS;Spring Cloud
学科专业：计算机技术（专业学位）
摘要
Abstract
第1章 绪论
1.1 课题背景及研究意义
1.2 国内外研究现状
1.3 研究的主要内容
1.4 论文组织结构
第2章 系统相关技术
2.1 分布式云计算服务
2.2 大数据生态体系结构
2.3 Hadoop系统架构
2.3.1 HDFS分布式文件系统
2.3.2 Map Reduce分布式计算框架
2.3.3 YARN资源调度管理器
2.3.4 HBase非关系型数据库
2.3.5 Zoo Keeper分布式协调服务
2.4 Java Web开发集成框架SSM
2.5 Spring Cloud微服务技术栈
2.6 本章小结
第3章 系统需求分析与总体设计
3.1 系统概述与目标
3.2 需求分析
3.2.1 功能需求与系统分析
3.2.2 系统用例分析
3.2.3 系统性能需求
3.3 系统设计
3.3.1 系统总体架构设计
3.3.2 基于微服务架构的网络拓扑结构
3.3.3 系统程序流程设计
3.3.4 业务功能模块设计
3.3.5 高可用的Hadoop集群架构设计
3.4 Map Reduce运行效率优化方案
3.4.1 Map Reduce计算效率问题分析
3.4.2 Map Reduce运算效率参数调优
3.5 Hadoop小文件处理策略优化
3.5.1 优化策略提出背景
3.5.2 基于文件归档的小文件存储策略
3.5.3 基于文件类型与元数据合并索引策略
3.6 本章小结
第4章 基于Hadoop与微服务的系统设计与实现
4.1 集群节点配置与架构搭建
4.1.1 高可用Hadoop集群搭建与部署
4.1.2 微服务系统结构实现
4.2 资源共享模块设计与实现
4.2.1 资源获取途径
4.2.2 数据资源存取设计
4.2.3 资源信息管理功能设计实现
4.2.4 资源检索功能设计实现
4.2.5 资源推荐功能设计实现
4.3 其它模块关键业务功能设计与实现
4.3.1 单点登录功能
4.3.2 基于人脸识别的照片分发功能
4.4 Hadoop小文件优化存取策略实现
4.4.1 小文件存储优化实现
4.4.2 小文件读取优化实现
4.5 本章小结
第5章 系统测试
5.1 系统开发环境说明
5.2 系统功能测试
5.2.1 资源共享模块测试
5.2.2 用户信息管理模块测试
5.2.3 园所管理模块测试
5.2.4 消息模块测试
5.2.5 照片管理模块测试
5.3 平台数据存取性能测试
5.4 系统应用性测试
5.4.1 节点失效处理测试
5.4.2 系统综合性能测试
5.4.3 平台运行效果展示
5.5 本章小结
第6章 总结与展望
6.1 总结
6.2 展望
参考文献
致谢