论文题目：基于文本挖掘的统计专业人才需求分析
摘要：近年来,互联网、人工智能等领域迅猛发展,数字化经济、数字化转型等概念方兴未艾,作为数据收集与量化分析的必备方法与工具,统计学在各行各业有着越来越广泛的应用,社会对统计专业人才的知识、技能、学科背景等各方面的要求也越来越高,而目前的人才培养往往重理论知识、轻实践应用,且与其他相关学科的融合培养较少,导致统计专业人才素质无法满足各行各业的用人需求。而未来的就业形势又极其严峻复杂,因此,有必要对统计专业人才的市场需求进行分析,为学生的职业目标与方向提供一定的参考,为高校制定人才培养方案提供依据。本文基于“前程无忧”招聘网站发布的招聘信息,对统计专业人才的需求进行分析。首先,从公司、资历、岗位三个维度进行描述性统计分析,获取统计专业人才的基本需求特征;其次,构建LDA主题模型,挖掘用人市场对统计专业人才的核心要求;然后用K-Means++文本聚类算法对岗位类型进行划分,并探究岗位之间的需求差异。另外,结合聚类结果,运用CART决策树模型探究薪资的影响因素,采用关联规则分析方法挖掘岗位类型、学历、工作经验等多个指标的之间的关联关系。对统计专业人才的需求进行分析,得出以下结论:（1）需求特征:主要分布在互联网行业、广东和上海等地;多为科技型、民营、中小企业;一般要求具有3-4年工作经验、本科学历;工作内容包含数据分析、项目实施和管理、市场调查与研究等;（2）岗位要求:核心要求是计算机技术、项目技能和管理能力;技能要求包括办公软件、PYTHON、SQL、R等;素质要求包括沟通能力、团队合作能力、逻辑思维、写作能力等;交叉学科主要是数学、计算机等;（3）岗位类别:管理运营、数据分析师、市场研究、数据工程师、生物/医学统计。管理运营岗位对工作经验要求较低,重视执行力、抗压能力;数据分析师和数据工程师对工作经验要求较高,前者要求具备较强的逻辑思维、数据敏感度以及工作效率,后者则要求具备较强的写作能力;市场研究岗位较为重视学习能力、创新能力;生物/医学统计对硕博人才的需求最大,对SAS软件使用、英语水平也有较高的要求;（4）薪资:主要集中在6-9千/月,工作经验对薪资的影响最大,其次是岗位类别,数据分析师工资最高,然后依次是数据分析师、生物/医学统计、市场研究、管理运营,学历和地区对薪资也有一定的影响。（5）关联关系:广东省、民营公司、数据分析师或管理运营岗位、薪资在3-9千/月的招聘信息基本要求本科学历;要求本科学历且提供6-9千元/月的薪资一般招聘管理运营岗位。
关键词：统计专业;人才需求;文本挖掘;职业目标;培养方案
学科专业：应用统计（专业学位）
摘要
Abstract
第1章 绪论
1.1 研究背景与意义
1.2 文献综述
1.2.1 统计专业人才研究综述
1.2.2 人才需求研究综述
1.3 技术路线
1.4 创新点
1.5 本文结构
第2章 文本挖掘相关理论和技术
2.1 文本挖掘
2.1.1 基本概念
2.1.2 基本流程
2.2 文本信息向量化
2.2.1 词袋模型(BOW)
2.2.2 词频-逆文档频率(TF-IDF)
2.3 LDA主题模型
2.3.1 基本概念
2.3.2 生成原理
2.3.3 Gibbs采样
2.4 文本聚类
2.4.1 基本概念
2.4.2 K-Means++聚类
2.4.3 距离度量
2.5 决策树
2.5.1 基本概念
2.5.2 分类与回归树(CART)
2.5.3 树剪枝
2.6 关联规则分析
2.6.1 基本概念
2.6.2 挖掘过程
第3章 数据采集与预处理
3.1 数据采集
3.1.1 数据来源
3.1.2 数据采集过程
3.1.3 数据采集结果
3.2 数据清洗
3.2.1 去重和缺失值处理
3.2.2 统计专业识别
3.2.3 数据标准化
3.3 文本预处理
3.3.1 分词
3.3.2 自定义词库
3.3.3 去停用词
第4章 统计专业人才需求的主要特征
4.1 企业画像
4.2 资历画像
4.3 岗位画像
第5章 模型构建与实证研究
5.1 岗位要求的主题词提取
5.1.1 基于词袋模型的文本向量化
5.1.2 选取主题个数
5.1.3 主题词项分布
5.2 岗位的K-Means++聚类
5.2.1 基于TF-IDF的文本向量化
5.2.2 聚类过程及结果
5.2.3 不同岗位对比
5.3 薪资的影响因素分析
5.4 岗位信息的关联规则挖掘
第6章 结论建议与展望
6.1 结论
6.2 建议
6.3 展望
参考文献
致谢