大数据分析课程报告（精选6篇）
大数据分析课程报告 第1篇
摘要
流形学习方法作为一类新兴的非线性维数约简方法，主要目标是获取高维观测数据的低维紧致表示，探索事物的内在规律和本征结构，已经成为数据挖掘、模式识别和机器学习等领域的研究热点。流形学习方法的非线性本质、几何直观性和计算可行性，使得它在许多标准的 toy 数据集和实际数据集上都取得了令人满意的结果，然而它们本身还存在着一些普遍性的问题，比如泛化学习问题、监督学习问题和大规模流形学习问题等。因此，本文从流形学习方法存在的问题出发，在算法设计和应用（图像数据与蛋白质相互作用数据）等方面展开了一系列研究工作。首先对流形学习的典型方法做了详细对比分析，然后针对流形的泛化学习和监督学习、表征流形的局部几何结构、构造全局的正则化线性回归模型、大规模数据的流形学习等几个方面进行了重点研究，提出了三种有效的流形学习算法，并和相关研究成果进行了理论与实验上的比较，从而验证了我们所提算法的有效性。
关键词：流形学习，维数约简，正交局部样条判别投影，局部多尺度回归嵌入
I
目录
目录.................................................................................................................................................II 第1章 研究背景.......................................................................................................................1
1.1 流形学习的研究背景...................................................................................................1 1.2 流形学习的研究现状...................................................................................................2 1.3 流形学习的应用...........................................................................................................4 第2章 流形学习方法综述.......................................................................................................5
2.1 流形学习方法介绍.......................................................................................................6 第3章 流形学习方法存在的问题...........................................................................................9
3.1 本征维数估计...............................................................................................................9 3.2近邻数选择.................................................................................................................10 3.3 噪声流形学习.............................................................................................................10 3.4 监督流形学习.............................................................................................................11 第4章 总结.............................................................................................................................11
II
第1章 研究背景
1.1 流形学习的研究背景
随着信息时代的到来，使得数据集更新更快、数据维度更高以及非结构化性等问题更突出。在科研研究的过程中不可避免地遇到大量的高维数据，这就需要一种技术能够使在保持数据信息足够完整的意义下从海量数据集中提取出有效而又合理的约简数据，满足人的存储需求和感知需要。流形学习这一非监督学习方法应运而生，引起越来越多机器学习和认知科学工作者的重视。而在海量的高维数据中，往往只有少量的有用信息，如果想快速高效的搜集到人们想要的、有用的那些少量信息且快速的处理信息，这就需要一些关键技术的支持，即是必须采用相应的降维技术。而流形学习正是在数据降维方面有着重要的贡献。然而，降维的过程与《矩阵分析》中的内容有着密切的关系。
基于流形的降维方法能充分利用数据中所隐藏的低维有价值信息，进一步提高检索性能。Seung从神经心理学的角度提出“感知以流形的形式存在，视觉记忆也可能是以稳态的流形存储”，为流形提供了与人类认识相关的理由。流形学习的方法主要有主成分分析（PCA）、多维尺度化（MDS）、基于局部切空间排列法（LTSA）和基于等度规映射（ISOMAP）、局部线性嵌入算法（LLE）、拉普拉斯特征映射（LE）等。另外，流形学习方法在人脸识别、图像处理、模式识别、计算机视觉、认知科学、人工智能、人机交互等众多学科中有着广泛的应用。
线性维数约简方法是通过在高维输入空间与低维子空间之间建立线性映射关系，把高维数据样本集投影到低维线性子空间。线性维数约简技术通常假设数据集采样于一个全局线性的高维观测空间。如果所要处理的数据集分布确实呈现出全局线性的结构，或者在一定程度上可以近似为全局线性结构，则这些方法能够有效地挖掘出数据集内在的线性结构，获得数据紧致的低维表示。在线性维数约简方法中，使用最广泛的算法有主分量分析（Principal Component Analysis, PCA）(Jolliffe, 2002;Turk and Pentland, 1991)和线性判别分析（Linear Discriminant Analysis, LDA）(Duda et al., 2001)。
主分量分析（PCA）主要是根据高维数据在低维空间重构误差最小的原则，来寻找一组最优的单位正交向量基（即主分量），并通过保留数据分布方差较大的若干主分量来达到降维的目的。然而，众所周知，由于 PCA 算法没有利用数据样本的类别信息，所以它是一种非监督的线性维数约简方法。与 PCA 算法不同，LDA 算法考虑到样本的类别信息，它是一种有监督的方法。基于各类样本服从高斯分布且不同类的协方差矩阵相同的假设，LDA 算法在 Fisher 准则下选择最优的投影向量，以使得数据样本的类间散度最大而类内散度最小。由于 LDA 算法利用了样本的类别信息，而样本的类别信息通常有助于改善识别率，因此 LDA 算法更适用于分类问题。
1.2 流形学习的研究现状
流形学习假定输入数据是嵌入在高维观测空间的低维流形上，流形学习方法的目的是找出高维数据中所隐藏的低维流形结构。经过十多年的研究与探索，人们提出了大量的流形学习理论与算法。经典的流形学习方法有等距特征映射算法（ISOMAP）(Tenenbaum et al., 2000)、局部线性嵌入算法（LLE）(Roweis and Saul, 2000;Saul and Roweis, 2003)、Laplacian 特征映射算法（Laplacian Eigenmaps，LE）(Belkin and Niyogi, 2002;Belkin and Niyogi, 2003)、Hessian特征映射算法（Hessian-based Locally Linear Embedding，HLLE）(Donoho and Grimes, 2003)、最大差异展开算法（Maximum Variance Unfolding，MVU）(Weinberger et al., 2005;Weinberger and Saul, 2004;Weinberger and Saul, 2006;Weinberger et al., 2004)、局部切空间排列算法（Local Tangent Space Alignment, LTSA）(Zhang and Zha, 2004)、黎曼流形学习算法（Riemannian Manifold Learning, RML）(Lin and Zha, 2007;Lin et al., 2006)和局部样条嵌入算法（Local Spline Embedding，LSE）(Xiang et al., 2006;Xiang et al., 2008)等。
Tenenbaum 提出的 ISOMAP 算法是多维尺度分析（Multidimensional Scaling, MDS）(Cox and Cox, 1994)在流形框架下的非线性推广，其核心思想是用测地距离代替欧氏距离来表征流形上数据点的内在几何关系。对于样本 点和它的近邻点之间的测地距离用它们之间的欧氏距离来代替；对于样本点和近邻点之外的点之间的测地距离用它们之间的最短路径来代替。Bernstein 等人证明了只要样本是随机抽取的，在样本集足够大且选择适当近邻参数k 时，近邻图上两点的最短路径可以逼近它们的测地距离(Bernstein et al., 2000)。当应用于内蕴平坦的凸流形时，ISOMAP 算法能够忠实地捕获数据内在的低维流形结构(De Silva and Tenenbaum, 2003)。
ISOMAP 算法的主要缺点在于：① 对样本点的噪声比较敏感；② 对于具有较大曲率或稀疏采样的数据集，不能发现其内在的本征结构；③ 需要计算全体数据集的测地距离矩阵，因此算法的时间复杂度较高。围绕 ISOMAP算法，已经出现了许多相关的理论分析与研究工作。
Balasubramanian 等人对ISOMAP 算法的拓扑稳定性进行了深入探讨(Balasubramanian and Schwartz, 2002)。对于数据分布所在的低维流形具有较大的内在曲率情况，de Silva 和Tenenbaum 提出了保角等距特征映射算法（conformal ISOMAP）(De Silva and Tenenbaum, 2003)。为了减小 ISOMAP 算法的计算复杂度，de Silva 和 Tenenbaum提出了带标记的等距特征映射算法（Landmark ISOMAP）(De Silva and Tenenbaum, 2003)。
针对 ISOMAP 算法对于数据集噪声敏感的问题，Choi 等人通过观察图中的网络流提出了一种消除临界孤立点的方法以加强 ISOMAP 算法的拓扑稳定性(Choi and Choi, 2007)。在构建近邻图方面，Yang 提出通过构造k 连通图方式来确保近邻图的连通性，以提高测地距离的估计精度(Yang, 2005)。
2009 年，Xiang 等人提出了局部样条嵌入算法（LSE）(Xiang et al., 2006;Xiang et al., 2008)。Xiang 认为，对于嵌入在高维输入空间的低维流形，非线性维数约简的任务实际上是寻找一组非线性的复合映射，即由局部坐标映射（Local Coordinatization Mapping）与全局排列映射（Global Alignment Mapping）复合而成的兼容映射（Compatible Mapping）。在兼容映射的概念框架下，LSE 算法首先通过主分量分析计算每个样本点局部邻域在切空间上的投影获得该邻域所有样本的局部坐标，从而保持流形的局部几何结构信息；然后采用Sobolev 空间的一组样条函数把每个样本点的局部坐标映射成 全局唯一的低维坐标。它们均是利用每个样本的局部切空间来捕获流形的局部几何，样本点在切空间的投影来表示样本点的局部坐标。然而它们的主要区别在于全局排列，LTSA 算法是利用仿射变换来进行全局排列，而 LSE 算法是利用样条函数来获得全局唯一的坐标。因此相对于 LTSA 而言，LSE 算法能够实现更小的重构误差。LSE 算法的主要缺点在于：一是无法保持全局尺度信息；二是不能学习具有较大曲率的低维流形结构。除此，如何选择满足要求的样条函数也是一个值得考虑的问题。
不同流形学习算法的区别在于所尝试保持流形的局部邻域结构信息以及利用这些信息构造全局嵌入的方法不同，与以往的维数约简方法相比，流形学习能够有效地探索非线性流形分布数据的内在规律与性质。但是在实际应用中流形学习方法仍然存在一些缺点，比如本征维数估计问题、样本外点学习问题、监督流形学习问题和噪声流形学习问题等。为了解决这些问题，相关的算法也不断涌现出来。Freedman 等提出了一种基于简化单纯复形的流形重构方法来自动估计流形的本征维数(Freedman, 2002)。
为了解决样本外点学习问题，研究人员分别在流形学习的线性化、核化和张量化等方面作了有益的探索(Yan et al., 2007)。Geng 等将样本的类别信息融入到 ISOMAP 算法，提出了一种用于可视化和分类的有监督的等距特征映射算法（S-ISOMAP）(Geng et al., 2005)。Zhang 等提出了一种基于局部线性平滑的流形学习消噪模型(Zhang and Zha, 2003)。这些方法的提出在一定程度上缓解了目前流形学习方法中存在的一些问题，但是还需要进一步充实和完善。
1.3 流形学习的应用
目前，流形学习方法的应用可归纳为以下几个方面：
1)数据的可视化。流形学习方法在高维数据的可视化方面有了广泛的应用。人不能直接感知高维数据的内部结构，但对三维以下数据的内在结构却有很强的感知能力。由于流形学习方法可以发现高维观测数据中蕴含的内在规律和本征结构，而且这种规律在本质上不依赖于我们实际观测到的数据维数。因此我们可以通过流形学习方法 对高维输入数据进行维数约简，使高维数据的内部关系和结构在低于三维的空间中展示出来，从而使人们能够直观地认识和了解高维的非线性数据的内在规律，达到可视化的目的。
2)信息检索。随着多媒体和网络技术的迅猛发展，图像和文本信息的应用日益广泛，对规模逐渐庞大的图像和文本数据库如何进行有效的管理已成为亟待解决的问题。灵活、高效、准确的信息检索策略是解决这一问题的关键技术之一。这些图像和文本信息呈现出高维、大规模、非线性结构，利用流形学习方法来处理这些信息，在大大降低时间和空间计算复杂度的同时，能够有效地保留这些信息在原始高维空间的相似性。
3)图像处理。流形学习给图像处理领域提供了一个强有力的工具。众所周知，图像处理与图像中物体的轮廓以及骨架等密切相关。如果我们把图像中物体的轮廓以及骨架等看成是嵌入在二维平面中的一维流形或者由一组一维流形构成，那么显然流形学习方法凭借其强大的流形逼近能力可以应用于图像处理领域。
第2章 流形学习方法综述
流形学习方法作为一种新兴的非线性维数约简方法，主要目标是获取高维观测数据的低维紧致表示，探索事物的内在规律和本征结构，已经成为数据挖掘、模式识别和机器学习等领域的研究热点。本章首先探讨了流形学习的基础性问题，即高维数据分析的流形建模问题；然后依据保持流形几何特性的不同，把现有的流形学习方法划分为全局特性保持方法和局部特性保持方法，并介绍了每一类方法中有代表性的流形学习算法的基本原理，对各种流形学习算法进行性能比较和可视化分析，最后就流形学习方法普遍存在的本征维数估计、近邻数选择、噪声流形学习、样本外点学习和监督流形学习问题等进行了分析和讨论。2.1 流形学习方法介绍
流形学习的定义：流形是局部具有欧氏空间性质的空间。假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。它是从观测到的现象中去寻找事物的本质，找到产生数据的内在规律。
流形学习用数学语言描述是：令Yyi且: Y是一个光滑的嵌套，其中D >> d。那么流形学习的目标是基于上的一个给定被观测数据集合xi去恢复Y与，也就是在Y 中随机产生隐藏的数据yi，然后通过 映射到观测空间，使得xifyi。
从流形学习的定义中可以看出，这是一个把数据从高维映射到低维的过程，用到了线性变换，当然少不了矩阵的分解及其基本运算。2.1.1 多维尺度分析（Multidimensional Scaling, MDS）
多维尺度分析（Multidimensional Scaling, MDS）是一种经典的线性降维方法，其主要思想是：根据数据点间的欧氏距离，构造关系矩阵，为了尽可能地保持每对观测数据点间的欧氏距离，只需对此关系矩阵进行特征分解，从而获得每个数据在低维空间中的低维坐标。
DDDxx设给定的高维观测数据点集为YU，i，观测数据点对i，Tyj间的欧氏距离为ijxiyj，传统MDS 的算法步骤如下：
a)首先根据求出的两点之间的欧氏距离
ij构造n阶平方欧式距离矩阵Aij2 nn。b)将矩阵A进行双中心化计算，即计算
B1HAH2（其中H 为中心化eeTHIn，将矩阵H左乘和右乘时称为双中心化）矩阵。
c)计算低维坐标Y。即将B奇异值分解，设B的最大的d个特征值diag1,2,...,dYUT。
u1,u2,...,ud则d维低维坐标为，对应特征向量，U虽然作为线性方法，MDS在流形学习中不能有效发现内在低维结构。但是从这一基本的算法中我们可以清楚的看出矩阵分析在流形学习研究中的应用。在这个MDS算法中，运用到了矩阵中的线性空间变换、矩阵特征值和特征向量的计算、矩阵的中心化计算、矩阵的奇异值的分解等相关知识点。想象一下，如果没有这些知识点做基础，这些算法如何进行。2.1.2 等距特征映射（ISOMAP）
（1）基本思想:Tenenbaum等人提出的等距特征映射算法（ISOMAP）是建立在多维尺度分析（MDS）基础上的一种非线性维数约简方法。ISOMAP算法利用所有样本点对之间的测地距离矩阵来代替MDS算法中的欧氏距离矩阵，以保持嵌入在高维观测空间中内在低维流形的全局几何特性。算法的关键是计算每个样本点与所有其它样本点之间的测地距离。对于近邻点，利用输入空间的欧氏距离直接得到其测地距离；对于非近邻点，利用近邻图上两点之间的最短路径近似测地距离。然后对于构造的全局测地距离矩阵，利用MDS算法在高维输入空间与低维嵌入空间之间建立等距映射，从而发现嵌入在高维空间的内在低维表示(Tenenbaum et al., 2000)。
（2）算法流程 <1>构造近邻图G
<2>计算最短路径
<3>计算 d 维嵌入(3)算法分析 ISOMAP算法是一种保持全局几何特性的方法，它的低维嵌入结果能够反映出高维观测样本所在流形上的测地距离。如果高维观测样本所在的低维流形与欧氏空间的一个子集是整体等距的，且与样本所在流形等距的欧氏空间的子集是一个凸集，那么ISOMAP算法能够取得比较理想的嵌入结果。但是当流形曲率较大或者流形上有“孔洞”，即与流形等距的欧氏空间的子集非凸时，流形上的测地距离估计会产生较大的误差，导致嵌入结果产生变形。
从算法的时间复杂度来看，ISOMAP算法有两个计算瓶颈(De Silva and Tenenbaum, 2003)。第一个是计算n×n 的最短路径距离矩阵DG。当使用Floyd算法时，计算复杂度为O(n3)；若采用Dijkstra算法，可将计算复杂度降低到O(kn2log n)（k 为近邻数大小）(Cormen, 2001)。第二个计算瓶颈源于应用MDS时的特征分解。由于距离矩阵是稠密的，所以特征分解的计算复杂度为O(n3)。从中我们可以看出，随着样本个数n 的增大，ISOMAP算法计算效率低下的问题会变得十分突出。2.1.3局部线性嵌入（LLE）
1、基本思想
与ISOMAP和MVU算法不同，局部线性嵌入算法（LLE）是一种局部特性保持方法。LLE算法的核心是保持降维前后近邻之间的局部线性结构不变。算法的主要思想是假定每个数据点与它的近邻点位于流形的一个线性或近似线性的局部邻域，在该邻域中的数据点可以由其近邻点来线性表示，重建低维流形时，相应的内在低维空间中的数据点保持相同的局部近邻关系，即低维流形空间的每个数据点用其近邻点线性表示的权重与它们在高维观测空间中的线性表示权重相同，而各个局部邻域之间的相互重叠部分则描述了由局部线性到全局非线性的排列信息(Roweis and Saul, 2000)。这样就可以把高维输入数据映射到全局唯一的低维坐标系统。
2、算法流程
LLE算法的基本步骤分为三步：（1）选择邻域（2）计算重构权值矩阵W（3）求低维嵌入Y
3、算法分析
通过前面算法描述我们不难发现，LLE算法可以学习任意维具有局部线性结构的低维流形。它以重构权值矩阵作为高维观测空间与低维嵌入空间之间联系的桥梁，使得数据点与其近邻点在平移、旋转和缩放等变化下保持近邻关系不变。而且LLE算法具有解析的全局最优解，无需迭代。在算法的计算复杂度上，选择邻域的计算复杂度为O(Dn2)，计算重构权值矩阵的计算复杂度为O((D+k)k2n)，求解低维嵌入Y 的计算复杂度为O(dn2)。因此与ISOMAP和MVU算法相比，LLE算法的计算复杂度要小得多。
但LLE算法也存在一些缺点：① 由于LLE算法只是保持局部近邻的重构权值关系，并不是保持距离关系，因此，LLE算法通常不能很好的恢复出具有等距性质的流形。② LLE算法希望样本集均匀稠密采样于低维流形，因此，对于受噪声污染、样本密度稀疏或相互关联较弱的数据集，在从高维观测空间到低维嵌入空间的映射过程中，可能会将相互关联较弱的远点映射到局部近邻点的位置，从而破坏了低维嵌入结果。
第3章 流形学习方法存在的问题
流形学习相对于传统的线性维数约简方法来说，它能够更好地发现高维复杂非线性数据内在的几何结构与规律。但其各种算法本身还存在着一些普遍性的问题，比如本征维数估计问题、近邻数选择问题、噪声流形学习问题、泛化学习问题和监督学习问题等。本小节将对这些问题进行简要的分析和讨论。
3.1 本征维数估计
本征维数估计是流形学习的一个基本问题(赵连伟 et al., 2005)。本征维数一般被定义为描述数据集中所有数据所需要的自由参数（或独立坐标）的最小数目。它反映了隐藏在高维观测数据中潜在低维流形的拓扑属性。在非 线性维数约简过程中，本征维数估计的准确与否对低维空间的嵌入结果有着重要的影响。如果本征维数估计过大，将会保留数据的冗余信息，使嵌入结果中含有噪声；相反如果本征维数估计过小，将会丢失数据的有用信息，导致高维空间中不同的点在低维空间可能会交叠。因此，设计稳定可靠的本征维数估计方法将有助于流形学习算法的应用和性能的改善。
目前现有的本征维数估计方法大致分为两大类：特征映射法和几何学习法(Camastra, 2003)。特征映射法包括全局 PCA 方法(Bennett, 1969)、局部 PCA 方法(Bruske and Sommer, 1998;Fukunaga and Olsen, 1971)和多维尺度分析方法(Cox and Cox, 2000)，它主要利用了数据分布的本征特征是数据的局部特征的基本思想，对局部数据进行特征分解，选取对应特征值最大的特征向量作为本征特征。显然，这类方法所估计的本征维数大小在很大程度上取决于数据的局部邻域划分和阈值的选择，因此特征映射方法不能提供本征维数的可靠估计。几何学习法主要基于最近邻距离（Nearest Neighbor Distances）或分形维（Fractal Dimension）(Camastra, 2003)来探索数据集所蕴含的几何信息，这类方法通常需要充足的样本数，因此，对于样本数少、观测空间维数较高的情况，经常会出现本征维数欠估计的情况。
3.2近邻数选择
流形学习探测低维流形结构成功与否在很大程度上取决于近邻数的选择(Zeng, 2008)，然而在构造近邻图时如何选择一个合适的近邻数是一个公开的问题。如果近邻数选择过大，将会产生“短路边”现象（“short-circuit” edges），从而严重破坏原始流形数据的拓扑连通性。
3.3 噪声流形学习
当观测数据均匀稠密采样于一个理想的低维光滑流形时，流形学习方法可以成功地挖掘出其内在的低维结构和本质规律。但是在实际应用中，我们经常发现高维采样数据由于受各种因素的影响，一般总是存在着噪声和污染，这将势必影响流形学习算法的低维嵌入结果。3.4 监督流形学习
现有的流形学习方法多数用于无监督学习情况，如解决降维与数据可视化等问题。当已知数据的类别信息，如何利用这些信息有效地改进原始流形学习算法的分类识别能力是监督流形学习所要解决的问题。从数据分类的角度来看，人们希望高维观测数据经过维数约简后在低维空间中类内差异小而类间差异大，从而有利于样本的分类识别。原始的流形学习算法都是无监督学习过程，一些引进监督信息的改进算法纷纷被提出来(Li et al., 2009;Zhao et al., 2006)。这些方法的基本思想是利用样本的类别信息指导构建有监督的近邻图，然后利用流形学习方法进行低维嵌入。尽管这些方法能够获得较好的分类结果，但是这种通过类别属性构建的近邻图往往会被分割成多个互不相连的子图，而不是一个完整的近邻图，这就给原始流形学习算法的最终应用带来了很大的不便。
第4章 总结
流形学习是一个具有基础性、前瞻性的研究方向，其研究成果和技术已经立即应用于模式识别、计算机视觉、图像处理等相关领域。如高维数据的可视化、可听化；基于内容检索的模型；视频中三维对象的跟踪和检测；从静态二维图像中进行三维对象的姿态估计和识别；二维和三维对象的形状重构；从运动中构建结构、从阴影中成形等。此外流形学习还应用于自然语言处理、基因表达分析等生物信息处理领域，特别是在基因表达分析中，用于检测和区分不同的疾病和疾病类型。
尽管流形学习的算法和应用在过去的几年中已经取得了丰硕的成果，但是由于其数学理论基础较为深厚复杂，以及多个学科之间交叉融合，所以仍有许多亟需研究和解决的问题，尤其在下述几个方面：
1.目前已有很多流形学习算法，但很多算法只是建立在实验的基础之上，并没有充分理论基础支持，所以我们一方面要进一步探索能够有效学习到流形局部几何和拓扑结构的算法，提高流形投影算法的性能，另外更重要的是要不断完善理论基础。
2.各支几何都是研究空间在变换群下的不变性，微分几何亦是如此。而很多情况下我们正需要这种不变性，所以研究局部样本密度、噪声水平、流形的正则性、局部曲率、挠率结构的交互作用对流形学习的研究有积极促进作用。
3.统计学习理论得到充分发展并逐渐成熟，流形学习理论在其基础上发展自然可以把统计学中有用的技术应用于流形学习中，如流形上的取样和Monte Carlo估计、假设检验，以及流形上关于不变测度的概率分布密度问题，都值得进一步研究。
4.目前大部分学习算法都是基于局部的，而基于局部算法一个很大缺陷就在于受噪声影响较大，所以要研究减小局部方法对于噪声和离群值的影响，提高学习算法鲁棒性及泛化能力。
5.谱方法对噪声十分敏感。希望大家自己做做实验体会一下，流形学习中谱方法的脆弱。
6.采样问题对结果的影响。
7.一个最尴尬的事情莫过于，如果用来做识别，流形学习线性化的方法比原来非线性的方法效果要好得多，如果用原始方法做识别，那个效果叫一个差。也正因为此，使很多人对流形学习产生了怀疑。
8.把偏微分几何方法引入到流形学习中来是一个很有希望的方向。这样的工作在最近一年已经有出现的迹象。
参考文献
[1] R.Basri and D.W.Jacobs.Lambertian reflectance and linear subspaces.IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(2):218–233, 2003.[2] R.Vidal.Subspace clustering.IEEE Signal Processing Magazine, 28(2):52–68, 2011.[3] J.Shi and J.Malik, “Normalized cuts and image segmentation,” IEEE Transactions Pattern Analysis Machine Intelligence, 22(8):888–905, 2000.[4] G.Liu, Z.Lin, S.Yan, J.Sun, Y.Yu, and Y.Ma.Robust recovery of subspace structures by low-rank representation.IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(1):171–184, 2013.[5] E.Elhamifar and R.Vidal.Sparse subspace clustering: Algorithm, theory, and applications.IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(11):2765–2781, 2013.[6] Y.Wang, Y.Jiang, Y.Wu, and Z.Zhou.Spectral clustering on multiple manifolds.IEEE Transactions on Neural Networks, 22(7):1149–1161, 2011.[7] B.Cheng, G.Liu, J.Wang, Z.Huang, and S.Yan, Multi-task low rank affinity pursuit for image segmentation, ICCV, 2011.[8] C.Lang, G.Liu, J.Yu, and S.Yan, Saliency detection by multitask sparsity pursuit, IEEE Transactions on Image Processing, 21(3): 1327–1338, 2012.
大数据分析课程报告 第2篇
大数据专业开设的课程有很多，例如高等数学、数理统计、概率论;Python编程、JAVA编程、Web开发、Linux操作系统;面向对象程序设计、数据挖掘、机器学习数据库技术、大数据平台搭建及运维、大数据应用开发、可视化设计与开发等。
不同的院校对课程安排略有不同，这些课程旨在培养学生对系统管理和数据挖掘的方法，成为具备大数据分析处理、数据仓库管理、平台综合部署、大数据平台应用软件开发和数据产品的可视化展现与分析能力的高级专业大数据技术人才。
大数据专业未来就业方向
1、大数据工程师
大数据工程师包涵了很多，比如大数据开发，测试，运维，挖据等等。
2、Hadoop开发工程师
参与优化改进数据平台基础服务，参与日传输量超过百TB的数据传输体系优化，日处理量超过PB级别的数据处理平台改进，多维实时查询分析系统的构建优化。
3、大数据研发工程师
构建分布式大数据服务平台，参与和构建包括海量数据存储、离线/实时计算、实时查询，大数据系统运维等系统;服务各种业务需求，服务日益增长的业务和数据量。
4、大数据分析师
利用数据挖掘等工具对多种数据源进行诊断分析，建设征信分析模型并优化;负责项目的需求调研、通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测。
大数据需要学习的课程
第一阶段：大数据技术入门
1大数据入门：介绍当前流行大数据技术，数据技术原理，并介绍其思想，介绍大数据技术培训课程，概要介绍。
2Linux大数据必备：介绍Lniux常见版本，VMware虚拟机安装Linux系统，虚拟机网络配置，文件基本命令操作，远程连接工具使用，用户和组创建，删除，更改和授权，文件/目录创建，删除，移动，拷贝重命名，编辑器基本使用，文件常用操作，磁盘基本管理命令，内存使用监控命令，软件安装方式，介绍LinuxShell的变量，控制，循环基本语法，LinuxCrontab定时任务使用，对Lniux基础知识，进行阶段性实战训练，这个过程需要动手操作，将理论付诸实践。
3CM&CDHHadoop的Cloudera版：包含Hadoop，HBase，Hiva，Spark，Flume等，介绍CM的安装，CDH的安装，配置，等等。
第二阶段：海量数据高级分析语言
Scala是一门多范式的编程语言，类似于java，设计的初衷是实现可伸缩的语言，并集成面向对象编程和函数式编程的多种特性，介绍其优略势，基础语句，语法和用法， 介绍Scala的函数，函数按名称调用，使用命名参数函数，函数使用可变参数，递归函数，默认参数值，高阶函数，嵌套函数，匿名函数，部分应用函数，柯里函数，闭包，需要进行动手的操作。
第三阶段：海量数据存储分布式存储
1HadoopHDFS分布式存储：HDFS是Hadoop的分布式文件存储系统，是一个高度容错性的系统，适合部署在廉价的机器上，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用，介绍其的入门基础知识，深入剖析。
2HBase分布式存储：HBase-HadoopDatabase是一个高可靠性，高性能，面向列，可伸缩的分布式存储系统，利用HBase技术可在廉价PC上搭建起大规模结构化存储集群，介绍其入门的基础知识，以及设计原则，需实际操作才能熟练。
第四阶段：海量数据分析分布式计算
1HadoopMapReduce分布式计算：是一种编程模型，用于打过莫数据集的并行运算。
2Hiva数据挖掘：对其进行概要性简介，数据定义，创建，修改，删除等操作。
大数据分析课程报告 第3篇
一、问题的提出
小学是一个人成长发展的起步阶段,也是德育的根基阶段,但是长期以来小学德育总不尽如人意。原因很多,主要表现在:
1.小学德育理念跟不上现实需要的变化
虽然课改已经走过13个年头,当前小学德育仍然存在过于理想化和简单政治化的倾向,目标要求过高且缺少层次要求,内容无所不包,过程重知轻行。主要采取的还是学习道德知识、榜样典型引导、集体进行活动等方法。这些方法忽视了学生的深层思想情感、意志信念、道德品质和习惯养成,不能把思想道德知识内化为学生品质、外化为学生的行动,因此在小学生良好习惯养成上一直事倍功半。
现代社会由于比传统社会更加开放,交往的节奏更快,对每个人的举止文明、诚实守信、尊重他人、懂得感恩、勤俭节约、遵守秩序、锻炼身体、讲究卫生等,比传统社会都有更高的要求。小学德育必须直面现实,直接指向良好行为习惯的养成,才能把小学生真正培养成为未来社会所需要的合格公民。
2.小学生行为习惯“知行脱节”现象严重
所有的德育,如果不重视习惯养成,就可能只是纸上谈兵,如同小和尚念经,有口无心;所有的德育,如果不落实到习惯养成,不仅没有实效,而且会导致小学生落下言行不一甚至口是心非的病根。
现在每个学校对学生的良好行为习惯培养都高度重视,提出了很多要求,在实际操作过程中也费尽心思,但收效甚微,学生身上常常出现知行脱节现象:一个懂得保护环境的学生,在家里、在大街上、在没有老师看见的时候会随地乱扔纸屑;一个懂得尊老爱幼、热爱劳动的学生,在家无礼顶撞长辈,不愿意整理自己的房间;一个懂得文明礼貌的学生,对同学却满口脏话……诸如此类的现象都说明小学德育在知而不行上已经走得太远。
3.小学生良好行为习惯养成缺少系统设计和反复强化
现在的小学德育整体上是“跟景式”的,通常逢重大节日进行,或者是按照上面设计的活动如“雏鹰争章”等开展,并没有依据学生身心及德育发展规律进行系统设计。而小学德育国家课程(品德)虽有具体要求,小学各种班队、心理健康等地方课程也有明确目标,但都不直接指向学生良好行为习惯养成。
小学德育对整个小学阶段学生应该养成的良好行为习惯没有相应的规范,在良好行为习惯的强化训练上更没有明确具体的要求。因此小学德育,花费了不少时间,开展了很多活动,却总不能深入人心,没有收到实际成效。
4.小学德育校本课程随意性太大
德育与学校实际、学生实际关系密切,对学生的行为习惯要求在城乡不同区域学校会有所不同,因此,只有校本德育课程才能植根于本校学生、教师内心和实践。目前很多学校开发的校本德育课程基本上是零散的,或者是单一的,有的开展生命教育,有的开展生态教育,有的开展环境教育等。这表面上使得某种教育成为学校的特色,但实际上弱化了德育课程的整体性,造成学生良好行为习惯养成教育的偏颇及缺失。
二、解决问题的过程与方法
1.起步阶段:以培养“劳动自理”等习惯为目标,初步形成“六个主题四大活动课程”的小学生良好行为习惯养成推进方式
1998年在苏州市教育局提出的“主题德育”工作模式框架下,我根据当时所在昆山国际学校小学生的特点如浪费严重、普遍比较冷漠、不坚强、没有责任心、住宿焦虑等问题,有针对性地设计了“快乐”“礼仪”“爱心”“感恩”“责任”“自理”六大好习惯养成主题,逐步形成了有学校特色的四大经典习惯养成活动课程。
第一,“希尔顿逸林酒店—国际学校关爱课程”:做曲奇饼送敬老院老人、做月饼义卖、捐罐头送社区贫困家庭等。
第二,“生活自理技能课程”:低年级学生叠被子、梳辫子、叠衣服比赛,中年级学生做点心、水果拼盘等技能学习,高年级学生进行小厨师技艺展示等。
第三,“小学生礼仪风采课程”:借助活动训练培养学生礼仪行为习惯,并因此成为昆山电视台指定合作单位,举办昆山市一年一度的“小学生礼仪风采大赛”。
第四,“主题单元感恩课程”:以感恩亲人、感恩老师、感恩朋友、感恩集体、感恩社会、感恩生活、感恩祖国、感恩自然为八个单元实施感恩教育。
通过以上四大经典习惯养成活动课程,昆山国际学校的小学生以“有礼仪、有爱心、知感恩、自理能力强”的“好习惯标识”具有与众不同的气质,赢得了社会的赞誉,学校成了家长首选的热门学校。
在总结“爱心”“感恩”等六大习惯养成教育经验的基础上,2002、2003年我们又进一步从小学心理健康教育方面进行加强小学生行为习惯养成教育的探索研究,并出版了小学心理健康活动课校本课程1套6册《快乐de成长》和故事晨会课程《第二颗太阳——100个生活哲理小故事》。《快乐de成长》在2007年江苏省教研室组织的江苏省小学优秀校本课程评比中获一等奖。2003年年底,我们承办江苏省心理学会年会现场,在省内有了一定的影响。团队核心成员朱小敏、尹弘敏、王琴等参与编写广西版的《中小学生心理健康教育》教材,其中“爱心”“感恩”“责任”“自理”等习惯养成教育经验得到应用及推广。
2.发展阶段:以完善小学生良好行为习惯养成的内容为目标,逐步形成“每月一事”训练模式
2003—2009年,我调任昆山市裕元实验学校副校长,兼任昆山市教育学会德育分会理事长。我们以裕元实验学校为根据地,深化实践小学生习惯养成教育路径。我们发现“六大主题”需要细化内容与目标,建构以培养良好行为习惯为主的系列校本德育课程。经过多年实践,我们形成“每月一事”训练模式,将“六大习惯养成主题”发展为12个“每月一事”主题:
“每月一事”训练模式的主要特色有:
第一,主题选择立足于学生一生有用的最重要的习惯。
第二,主题内容从一件小事展开,具体落实时要求在更高层面不断丰富完善。
第三,主题活动以五个板块——主题阅读、主题课程、主题实践、主题展示、主题反思为主体,鼓励教师在活动中创造性实施。
我们的实践得到了同行及上级的认同,苏州市教育局政宣处将2008年定为习惯养成年,要求全市小学向昆山学习习惯养成主题化的做法。2009年11月,我们承办“理想德育——每月一事”全国开放周活动,活动历时一周,来自全国的400多名代表全方位检阅了我们的系列做法,教育在线网站、苏州电视台均进行了报道。
3.提升阶段:以良好行为习惯养成有系统有落实为重点,建构“小学主题大单元校本德育课程”办学特色
2008年9月,我被评为江苏省品德学科特级教师,兼任苏州市名师共同体品德组组长,昆山市教育局批准成立昆山市朱小敏名师工作室。2009年8月,我担任昆山市新镇中心小学校长,申报并通过江苏省规划办“十二五”立项课题《小学主题大单元德育课程的校本开发》。
我们继续坚持把习惯养成作为重点,经过昆山市朱小敏名师工作室团队和苏州市品德组名师共同体成员学校共同合作,对十多年来各学校小学生习惯养成的课例和活动案例进行梳理提炼,以“社会主义核心价值观”为导向,用“主题单元”作架构,以“校本课程”为载体,深化“小学主题大单元校本德育课程”的开发和建构,体现了教育理念,取得了显著成效,彰显了办学特色。
三、成果的主要内容
以学生一生受用为根基,以社会主义核心价值观为导向,按每月一个主题,用大单元形式,把校内所有德育课程和常规活动都聚焦到习惯养成,探索了小学生良好行为习惯养成的教学模式上,形成了小学生良好行为习惯养成的有效路径。
1.确定了小学生良好行为习惯养成的 12 个主题
心理学家认为,人的习惯养成一般要经过21天的重复练习,所以我们用“每月一个主题”的方式来保障习惯养成的可持续性。同时遵循“关注内容,讲究方式;考虑时节,照应常规;强调价值引领,注重实践导行”三大原则,提炼并确定12个习惯养成主题,即“节约、规则、公益、自然、劳动、艺术、健身、交往、求知、感恩、自信、自省”。建构一门以良好行为习惯养成为主的德育课程,为正处于人格形成时期的孩子播下最好的种子,撒下最好的养料,打下做人的底子,使每位学生养成终身受益的好习惯。
2.研制了小学生良好行为习惯养成的基本内容及课程融合方案
小学生良好行为习惯养成需依托德育课程方能取得实效。德育课程包括国家课程(品德)和地方课程(晨会、班队会、心育)以及主题德育活动等。在这些课程中,只有品德课程有统一教材,其他课程都是“八仙过海,各显神通”。由于这些课程通常都是兼职老师,不少兼职老师不知道上什么、怎么上,也就很容易会偏离学科要求,有些学校甚至直接用来上语文、数学、英语课。
我们以“12个习惯养成”为主题,将德育背景、内容、形式等信息中的“相似块”整合在一起,以德育课堂教学为中心,兼顾低、中、高年段学生的年龄特点,融通课堂教育、课外教育和野外教育,联合学校教育、家庭教育和社会教育,使各种教育力量和教育信息得到整合,将各个分立的课程进行优化组合,确保德育课程有内容可上,上出实效。
根据小学儿童身心发展规律和不同的德育单元课程特点,我们还改变了传统小学每节课40分钟的规定,实施长短课时有机结合的弹性化时间制度,分别按照微型课(15分钟晨会)、小课时(30分钟心理健康教育)、中课时(40分钟班队会)和大课时(60分钟大德育活动)等不同时间长度灵活安排课时,从而打破了传统的单一化课时制度。
3.探索了小学生良好行为习惯养成的有效教学模式
(1)主题阅读——让良好习惯根植心灵
以12个好习惯养成为主题,选择与主题相关的诗词、美文等,按年段进行阶梯式编稿。建立“晨诵、午读”的长效机制,每月围绕一个重点习惯,开发并丰富诵读内容,真正让阅读成为学生日常的生活方式,借助阅读为孩子的习惯养成奠定知识和情感基础,让良好习惯根植心灵。
(2)主题课程——让良好习惯浸润课堂
每个月不仅所有班级课表中的晨会、班会、队会、品德、心育课均围绕该月主题统筹安排,在实践中我们还探索了多种德育课教学模式:如心育课的“心灵点击—心灵探索—心灵导航—心灵牧场”教学模式;班会课的“常规活动、专题活动、特色活动”活动模式;晨会课的“故事晨会、游戏晨会、诵读晨会”教学模式;品德课的“联、动、悟、行”(联—勾联整合,动—活动构建,悟—体验内化,行—有效践行)教学模式。因此,学生的习惯培养在各具特色的德育课程教学中得到浸润,融入生命。
(3)主题实践——让良好习惯天天实践
知行结合是习惯养成的重要环节,实践体验是生命成长中不可或缺的独特享受,在小学生良好行为习惯养成教育的研究和实践过程中,各成员学校结合学校特点和师生实际,创设情境,营造氛围,按低、中、高阶梯式设计实践性活动,给学生提供多样化的体验平台。同时进一步整合学校特色活动、综合实践活动等板块,使习惯养成教育与学校常规管理、主题活动等融为一体。有生活回家作业,有小组合作活动,有班级年级实践基地体验,有走进社区社会活动等,让好习惯天天实践。
(4)主题展示——让良好习惯随处呈现
将培养良好习惯过程中的学生实践活动照片、日记、画作、小报、卡片、实物作品等成果通过丰富多彩的形式展示。展示平台有:班级展示墙、学校展示园、专题展板、主题广播,及校园电视台、《昆山日报》、学校网站等。同时与聆听窗外声音、培养卓越口才、建设数码社区等行动融合,让良好习惯随处呈现。各成员学校联合开展的主题月展示曾经轰动昆山教育,在苏州电视台多次报道。
随处呈现的好习惯在展示中得到强化,孩子们在举手投足间、在班级校园里、在社会舆论中、在家长的赞赏下随时享受着习惯带来的喜悦和收获。
(5)主题反思——让良好习惯与日俱进
主题反思包括评价策略和师生随笔两大板块。评价策略指每月均设计该月习惯养成的评价表、过程性评价要点等。师生随笔体现每日一省,以学生随笔和教师随笔为主,通过一个个具体生动的案例,向大家提供可借鉴、可操作的实践路径和智慧经验。面对千差万别的生命个体,各成员学校坚持优化操作流程,及时记录典型个案,组织有效反思,不断提高习惯养成的针对性和实效性,让良好习惯与时俱进。
四、成效与反思
(一)成效
1.真正改变了小学德育在学生行为养成方面的欠缺现状
教育最重要的是培养习惯,习惯是规训的结果,是濡染的结果,也是引领的结果。我们建构的以培养习惯为主的课程:如以“不闯红灯”培养学生的守规则习惯等,以一件小事作为引子,指向培养学生的终身习惯,然后,分年段编撰校本德育课程,教给学生一生有用的东西,使德育内容从“大而空”变为“小而实”,从灌输变为体验,真正改变了小学德育在学生行为养成方面的欠缺现状。
2.有效养成了学生的良好行为习惯,进而提升了学生的公民素质
好习惯培养不能“突击”也不能“随机”,必须进行系统训练和反复强化。我们以12个好习惯为基础,从未来社会所需要的合格公民素养层面进行整体设计和实施,让小学生在一个个好习惯的养成过程中形成良好素养。让每个小学生从小养成良好习惯,不仅使学生个人终身受益,也使整个民族的素质整体提升。项目学校学生的良好行为习惯在校风、学风方面都有充分体现,学生的形象和素质都耳目一新,在升入中学甚至大学后仍然能够保持,家长、社会亦赞不绝口。
3.初步掌握了小学生良好行为习惯养成的基本规律和有效模式
从讲道理式的说教、间隙性的突击活动;从“六大主题”到12类好习惯养成;从学生被动接受到积极参与,主体践行。在12年的探索中,我们逐步掌握了小学生良好习惯养成的基本规律和有效模式。我们通过主题阅读丰富知识和情感,通过主题课程浸润洗礼心灵,通过主题实践训练强化行为,通过主题展示显示品行德性,通过主题反思提炼升华智慧,这些对品德教育规律性的认识和模式的建构,使我们不但收获了学生在行为习惯上的良性固化,也收获了对品德教育规律性认识的深化。
(二)反思
1.对小学生行为习惯养成的反复性需要进行更加具体细致的认知和探索
从心理机制上说,习惯是经过长期多次强化和积累而建立起来的一种动力定型和自动化的条件反射系统。一个人要养成良好的行为习惯是很艰难的,只要有一回禁不起诱惑就可能失去对道德的坚守。良好行为习惯的形成具有反复性、曲折性、长期性。目前我们所做的只是依靠外力的督促教育,不断强化,形成习惯。但习惯成为小学生的自觉行为,要经过反复训练,需要坚强的意志。从学生的外在表现看,好习惯养成时有反复,我们在小学生行为习惯养成的反复性上需要进行更加细致的认知和探索。
2.教师在学生行为习惯养成中的示范性需要加强
学生行为习惯养成中的示范性,在学校范畴内,当以教师最重要。教师的一言一行,举手投足,无时无刻不在潜移默化地影响着学生,教师自身的敬业精神、工作态度、工作行为对学生良好行为习惯的养成起着极其重要的作用。但部分教师的工作作风对学生的行为习惯养成会有不良影响:如工作方式简单粗暴,对学校的规章制度执行不力,不能正确面对自己的过失或错误,不能与同事友好合作等。教师在学生行为习惯养成中的示范性需要加强
3.对道德两难困境中的学生道德认知和行为选择需要进一步探索和强化
大数据分析课程报告 第4篇
【关键词】 大数据；数据库原理与应用；教学改革
【中图分类号】G640.2【文献标识码】A【文章编号】2095-3089（2016）18-00-01
一、引言
近年来，随着信息技术的迅猛发展与普及，行业应用系统的规模迅速扩大，产生的数据呈爆炸性增长，许多企业把几个数据集放在一起，形成了多个PB级数据量，数据的种类和范围不断丰富，冲破了原本结构化的范畴。随着社交数据、企业活动和应用数据的不断增多，决策者越来越需要有效的信息，数据的真实性和安全性变得尤为重要。如何掌握庞大的数据信息，并对含有意义的数据进行专业化处理成为数据库管理人员的重要任务。大数据和云计算有着密不可分的联系，它无法用单台计算机处理，必须对海量的数据进行分布式管理和挖掘。数据库目前应用在全国联网、订票系统和银行业务系统等大型网站，在互联网日趋流行的动态网站中，显得更加重要。
二、数据库原理与应用课程中存在的问题
数据库原理与应用主要介绍数据库技术的基本理论，SQL Server的功能，数据库设计方法、维护和管理以及数据库系统开发应用的相关技术，是一门理论与实践并重的课程，但目前在教学过程中按照传统的教学模式重理论而轻实践。根据教学经验和同行之间的交流，发现课程教学过程中存在很多问题，如方法陈旧、学生的操作能力辅导环节薄弱等。具体如下：
1.缺少一体化课程设计
在教学过程中教师只是单纯的传授知识，训练学生的某种技能，而在大数据时代下，数据量存储大、种类多、处理速度快，来源广泛。因此，在教学过程中要整合专业知识和大数据的时代背景，综合个人能力和专业建设能力进行培养和训练。
2.课程学习目标不明确
根据调查信息和电商专业的学生发现，数据库原理与应用课程的学习目标一般只列出教授的知识点、教学过程中的重点和难点以及学生应掌握哪些知识点，使课程教学滞留在基本的知识传授阶段，也弱化了教师职责，不利于学生能力的培养。知识的理解只是基础，灵活应用数据库也只是个过程，数据库系统管理能力的提高才是最终目标，而目前教学过程中很少有课程把大数据与学生数据库管理能力结合起来。
3.学生能力培养不足
数据库原理与应用课程对学生的评估方法偏向于基础知识的考核，把学生的注意力偏向在理论知识和局部技巧上，导致数据库知识没有形成完整的认识，设计思维和方法不系统，在操作过程中不能灵活运用，达不到解决未来企业中实际问题的效果。以后一旦遇到大型复杂项目时，学生不能快速有效地进行构思、设计、实现、维护和运行。
4.教学中缺乏反馈
课程教学中的反馈是对授课和实施过程中遇到的问题进行分析与讨论，由学生提出，反馈给教师，是一种互动式的教学活动，把教师和学生绑定成学习的共同体，注重两者之间合作学习、教学相长，达到共同提高的目的。缺乏反馈会直接影响教学目标的有效达成，也不利于教师在教学环节中素质的提高、教学方法的重新设计等。
三、数据库原理与应用课程改革的具体措施
1.课程群一体化
数据库一体化应以大数据思想为指导，围绕数据库原理与应用培养目标要求，将信管和电商专业培养方案中具有逻辑关系的课程整合起来，形成配套的课程体系。数据库相关课程的一体化课程群应由三种类别课程组成：前驱、当前和后续课程。其中前驱课程为计算机基础、java和大数据分析，当前课程为数据库原理与应用、Oracle开发与利用，后续课程为计算机网络和软件工程。通过前驱课程学生能够掌握软件开发的基础和大数据相关知识等，当学生学习数据库原理与应用课程和Oracle的开发与利用时，会有较为清晰的思路，两类课程相互作用就可以培养开发复杂数据库的能力。目驱动学习时，学生可以自学计算机网络和软件工程等相关知识，这种课程群一体化就把与数据库相关的课程融合成为一个有机整体，通过不同课程之间知识点的串联，能够加深对前驱课程的理解，为后续课程的学习打下基础。可见，数据库原理与应用的学习是软件开发人员培养中的重要纽带。课程群一体化能够整合不同学科的知识，充分培养学生的专业技能，使学生对学科知识有一个系统的认识和把握。
2.加强能力培养目标的制定
在数据库原理与应用课程教学改革过程中，首先要制定学生的能力培养目标，清晰给出课程的学习目标，明确课程应遵循哪些标准，培养学生综合能力。这样既可以确定专业培养目标的合理性，也可以为学生的能力评估提供可靠的依据。通过数据库原理与应用课程群的一体化设置，发挥中间枢纽的数据库课程学习目标设置应兼顾前驱课程和后续课程的能力培养要求，分为两部分：专业技术目标和软件开发综合能力目标。专业技术目标侧重于教学实践过程中学生技术水平的提高，应适当增加实践操作的课时量，技术目标主要由以下几个部分组成：大数据分析下数据库操作、表的操作、T-SQL编程语言、数据库的安全管理以及数据库的备份与还原。软件开发综合能力目标是培养项目管理人员为目的，对项目经理的要求不仅要懂数据库技术，软件开发与语言，还要懂管理学等，既能管理项目又能管理人员。
3.学习能力的培养
除课堂理论教学以外，还可以增加主动式项目驱动学习，这样可以保证课程学习目标的顺利实现。由于传统的教学对能力培养不够重视，不能有效且全面覆盖能力目标，因此，大数据背景下能力目标的培养需要经过实际项目来实现。让学生在参与某项目的全过程，对每个阶段进行认真分析，这样不仅提高技术性能力，还可以培养内在的非技术能力。
4.注重教学中的反馈
反馈是每位教师教学过程中非常重要的一个环节。对学生来说，反馈不仅可以启发学生积极对教学进行思考，深化课程的学习目标，还有助于学生深层次的学和问，加深对理论和实践知识以及学习过程的认识。对数据库原理与应用教师来说，反馈是教师梳理修正教学过程的有效途径，通过教学结果的反馈，教师可以认识到传授知识的准确性、了解学生真正需要那些方面的技能，然后在教学中不断重新设计，提高教育水平，并对教育观念进行客观理性的认识、判断和评价，达到预期的课程目标。
参考文献：
[1]姜大志.基于CDIO的主动式项目驱动学习方法研究-以Java类课程教学改革为例_[J].高等工程教育研究，2012，（4）：159-164.
[2]王鉴，王明娣.大学课堂教学改革问题：生活世界理论的视角[J].高等教育研究，2013，34（11）：77-83.
[3]邓宏钟，李孟军，迟妍，谭思呈.“慕课”时代的课程知识体系构建[J].课程教育研究，2013，（7）：5-87.
[4]毕秋锦.深化课堂教学改革构建和谐高效课堂[J].现代学校领导与管理，2014，（6）：61.
北邮 大数据技术课程重点总结 第5篇
1.什么是数据挖掘，什么是机器学习： 什么是机器学习
关注的问题：计算机程序如何随着经验积累自动提高性能； 研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能； 通过输入和输出，来训练一个模型。
2.大数据分析系统层次结构：应用层、算法层、系统软件层、基础设施层 3.传统的机器学习流程
预处理-》特征提取-》特征选择-》再到推理-》预测或者识别。
手工地选取特征是一件非常费力、启发式（需要专业知识）的方法，如果数据被很好的表达成了特征，通常线性模型就能达到满意的精度。
4.大数据分析的主要思想方法
4.1三个思维上的转变
关注全集（不是随机样本而是全体数据）：面临大规模数据时，依赖于采样分析；统计学习的目的——用尽可能少的数据来证实尽可能重大的发现；大数据是指不用随机分析这样的捷径，而是采用大部分或全体数据。关注概率（不是精确性而是概率）：大数据的简单算法比小数据的复杂算法更有效 关注关系（不是因果关系而是相关关系）：建立在相关关系分析法基础上的预测是大数据的核心，相关关系的核心是量化两个数据值之间的数理关系，关联物是预测的关键。
4.2数据创新的思维方式
可量化是数据的核心特征（将所有可能与不可能的信息数据化）；挖掘数据潜在的价值是数据创新的核心；三类最有价值的信息：位置信息、信令信息以及网管和日志。数据混搭为创造新应用提供了重要支持。
数据坟墓：提供数据服务，其他人都比我聪明！
数据废气：是用户在线交互的副产品，包括了浏览的页面，停留了多久，鼠标光标停留的位置、输入的信息。
4.3大数据分析的要素
大数据“价值链”构成：数据、技术与需求（思维）；数据的价值在于正确的解读。5.数据化与数字化的区别
数据化：将现象转变为可制表分析的量化形式的过程；
数字化：将模拟数据转换成使用0、1表示的二进制码的过程
6.基于协同过滤的推荐机制
基于协同过滤的推荐（这种机制是现今应用最为广泛的推荐机制）——基于模型的推荐（SVM、聚类、潜在语义分析、贝叶斯网络、线性回归、逻辑回归）余弦距离（又称余弦相似度）：表示是否有相同的倾向 欧几里得距离（又称欧几里得相似度）：表示绝对的距离 这种推荐方法的优缺点：
它不需要对物品或者用户进行严格的建模，而且不要求物品的描述是机器可理解的；推荐是开放的，可以共用他人的经验，很好的支持用户发现潜在的兴趣偏好。数据稀疏性问题，大量的用户只是评价了一小部分的项目，而大多数的项目是没有进行评分；冷启动问题，新物品和新用户依赖于用户历史偏好数据的多少和准确性，一些特殊品味的用户不能给予很好的推荐。
7.机器学习：构建复杂系统的可能方法/途径
机器学习使用场景的核心三要素：存在潜在模式、不容易列出规则并编程实现、有历史的数据
8.机器学习的基础算法之PLA算法和Pocket算法（贪心PLA）
感知器——线性二维分类器，都属于二分类算法
二者的区别：迭代过程有所不同，结束条件有所不同； 证明了线性可分的情况下是PLA和Pocket可以收敛。
9.机器为什么能学习
学习过程被分解为两个问题：
能否确保Eout(g)与 Ein(g)足够相似？ 能否使 Ein(g)足够小？
规模较大的N，有限的dVC，较低的Ein条件下，学习是可能的。
切入点：利用具体特征的，基于有监督方式的，批量学习的分析，进行二分类预测。
10.VC维：
11.噪声的种类：
12.误差函数（损失函数）
13.给出数据计算误差
14.线性回归算法：简单并且有效的方法，典型公式
线性回归的误差函数：使得各点到目标线/平面的平均距离最小！
15.线性回归重点算法部分：
16.线性分类与线性回归的区别：
17.过拟合：
原因：模型复杂太高，噪声，数据量规模有限。解决方案：使用简单的模型，数据清洗（整形），正则化，验证。
18.正则化
19.分布式文件系统： 一种通过网络实现文件在多台主机上进行分布式存储的文件系统；分布式文件系统一般采用C/S模式，客户端以特定的通信协议通过网络与服务器建立连接，提出文件访问请求；客户端和服务器可以通过设置访问权限来限制请求方对底层数据存储块的访问。
20.计算机集群结构：
分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。
与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是，目前的分布式文件系统所采用的计算机集群都是由普通硬件构成的，因此大大降低了硬件上的开销。
21.分布式文件系统的结构：
分布式文件系统在物理结构上是由计算机集群中的多个节点构成，这些节点分为两类，一类叫“主节点”(MasterNode)或者也被称为“名称结点”(NameNode)，另一类叫“从节点”（Slave Node）或者也被称为“数据节点。
22.HDFS 主要特性：兼容廉价的硬件设备、支持大数据存储、流数据读写、简单的文件模型、强大的跨平台兼容性；
局限性：不适合低延迟数据处理、无法高校存储大量小文件、不支持多用户写入及任意修改文件
块：
hdfs的名称节点存储元数据、元数据保存在内存中、保存文件，block，datanode之间的映射关系；hdfs的数据节点存储文件内容、文件内容保存在磁盘、维护了block id到datanode本地文件的映射关系。
23.分布式数据库概述：
四类典型的作用于大数据存储和管理的分布式数据库：并行数据库、NoSQL数据管理系统、NewSQL数据管理系统、云数据管理系统。并行数据库：
NoSQL数据管理系统：
NewSQL数据管理系统：
云数据管理系统：
Nosql简介：数据模型灵活、简洁；水平可扩展性强；系统吞吐量高； 关系数据库无法满足大数据表现：无法满足海量数据的管理需求、无法满足数据高并发的需求、无法满足高可拓展性和高可用性的需求。
Nosql与关系数据库的比较：
NoSQL的四大类型：键值数据库、列族数据库、文档数据库、图形数据库
NoSQL的理论基础（CAP与ACID、BASE）CAP：
一个分布式系统不可能同时满足一致性、可用性和分区容忍性这三个需求。
ACID（关系数据库的事务具有的四个特性）
BASE
NoSQL到NewSQL：
大数据应用：
百度大数据引擎的构成：开放云、数据工厂、百度大脑 开放云：
数据工厂：
百度大脑：
阿里大数据应用：去IOE
大数据在电信行业的应用：
24.分布式并行编程框架MapReduce 25.MapReduce的体系结构：Client、JobTracker、TaskTracker、Task
MapReduce的工作流程：
Split（分片）：
Map端的Shuffle过程详解：
Reduce端的shuffle详解：
MapReduce小结：
26.Spark特点：
Hadoop的局限性：
Spark生态系统：
RDD：
RDD的优势：
RDD之间依赖关系的两种类型：
Stage划分：
Sprak小结：
流数据：
流计算处理流程：数据实时采集（保证实时性、低延迟、可靠稳定）、数据实时计算、实时查询服务（实时查询服务可以不断更新结果，并将用户所需的结果实时推送给用户）。
流处理系统与传统数据处理系统的区别：
开源流计算框架——Storm（免费、开源的分布式实时计算系统）：
Storm的工作流程：
流计算小结：
图计算系统——Pregel简介：
BSP模型：
图计算小结：
Pregel计算模型：
Pregel执行过程：
Pregel容错机制：
HBase：
BigTable：特点：
HBase：
HBase与传统关系数据库的对比：
HBase数据模型：
HBased 中的数据坐标：
HBase功能组件：
Region的定位:
HBased 系统架构：
大数据分析课程报告 第6篇
电影大数据报告：大数据时代的电影消费洞察
近日，猫眼电影发布了关于“大数据时代的电影消费洞察”的报告（以下简称报告），报告数据分析来源于超5亿人次的猫眼电影消费数据和4000家影院数据。报告显示，2015上半年全国电影票房线上化率超过50%，最受好评的国产片是《战狼》，进口片是《速度与激情》。
公开数据显示，2015上半年中国电影票房同比激增49%，达到202亿元。其中，中国电影市场的高速互联网化趋势明显，3月份线上出票占大盘比超过50%。报告指出，目前国内三四线城市的票房增速明显高于一二线城市，2014年上半年一二线城市票房为93亿元，2015年上半年增至135亿元，同比增长45%；2014年上半年三四线城市票房为43亿元，2015年上半年增至67亿元，同比增长56%。
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网
一个属于调研行业的B2B网站
国内最具权威的市场调研门户网站之一
学数据分析、找行业报告、招调查人才可移步一起调研网