证券大数据应用

证券大数据应用（精选8篇）

证券大数据应用 第1篇

证券大数据应用

一、可能获得的数据源

1.投资者信息（实名认证信息、联系方式、证券账户、理财账户等）2.投资者个人交易数据（股票交易、基金交易、互联网证券交易等）3.投资者个人行为数据

4.股市交易数据/实时行情等

5.上市公司/准备上市公司数据（基本资料、财报等）6.宏观经济数据 7.政策法规

8.行业投资案例库 9.行业分析报告

10.互联网金融相关媒体数据

11.互联网金融垂直社区数据（例如雪球投资组合）12.各行业垂直门户网站数据

13.社会化媒体数据（微博、微信公众号、论坛、新闻资讯门户等）14.各行业电力运行数据

以上数据有些可直接由券商系统（门店数据、终端APP等）即可获取，有些需要从合作机构获取，有些只能通过垂直爬虫爬取聚合。

二、有了大数据能干什么 对投资者（2C）：

投资建议：例如券商官方推荐，类雪球投资组合、京东财谜的去中心化推荐 投资社区：雪球、天厚投资社交等 在线证券交易 在线投资理财 财富管理 量化投资分析

对公司（2B）： 公司投资理财 公司投资并购 股权众筹

公司舆情监控分析 竞争分析/竞争情报 行业分析报告

对券商本身：

用户获取/盘活：大券商盘活存量用户、中小券商获取增量用户

用户账户的建立与持续运营：通过有粘性的服务（例如雪球投资组合），引导用户绑定互联网证券理财账户、证券账户，打通用户账户体系，持续运营。综合金融服务：股票、投资、理财、众筹、投行、财富管理 投资报告：行业分析报告、投资建议平台基础设施： 大数据风控等 线上线下渠道一体化 客户流失跟踪 潜在客户挖掘

三、运营体系

目标用户群分析（2B、2C，线上目标用户群、线下目标用户群）建立有粘性的互联网产品及服务 线上+线下获取用户/盘活用户

基于大数据，持续完善产品、持续运营用户

《数据挖掘技术在证券行业中的应用》 姚毓才 1.客户关系管理

用客户交易数据统计出每个客户的交易情况，根据客户行为进行聚类。建立数据仓库来存放对全体客户、预定义客户群、某个客户的信息和交易数据，并通过对这些数据进行挖掘和关联分析，实现面向主题的信息抽取。对客户的需求模式和盈利价值进行分类，找出最有价值和盈利潜力的客户群，以及他们最需要的服务，更好地配置资源，改进服务，牢牢抓住最有价值的客户。通过对客户资源信息进行多角度挖掘，了解客户各项指标（如资产贡献、忠诚度、盈利率、持仓比率等），掌握客户投诉、客户流失等信息，通过对客户数据聚类，将客户进行分群，考察每类客户对证券公司的贡献情况，这样可以根据客户的产生类别的交易行为等其他特点知道该类用户是否对公司具有价值，并且证券公司根据客户行为的特点对贡献度大的客户类采取相应的政策照顾，并且还能吸引某些行为类似的贡献度较低类的客户发展为较高贡献的客户。2.股市基本分析

任何金融资产的“真实”价值等于这项资产的所有者的所有预期收益流量的现值。具体地说，分析家不仅需要预测折现率，而且还必须预测这种证券的每股平均收益和派息率。证券的真实价值一经确定，就可以用来与这种证券的市场价格进行比较，从而鉴别这种证券的定价是否恰当。如果真实价值低于市场当前价格，那么该证券价值是被高估了，应该卖出；如果证券的真实价值高于市场当前价格，那么该证券价值是被低估了，应该买进。具体的分析策略包括宏观经济信息、产业分析、区域分析和公司分析几类。3.股市技术分析

利用时间序列预测股票价格。数据挖掘是对大量的历史数据进行处理和分析，提炼出有价值的信息（表现为规则、模型等模式信息），其中的时间序列模型，可以用于股票价格的预测。4.经营状况分析

通过数据挖掘，可以及时了解营业状况、资金情况、利润情况、客户群分布等重要的信息。并结合大盘走势，提供不同行情条件下的最大收益经营方式。同时，通过对各营业部经营情况的横向比较，以及对本营业部历史数据的纵向比较，对营业部的经营状况做出分析，提出经营建议。5.咨询服务

根据采集行情和交易数据，结合行情分析，预测未来大盘走势，发现交易情况随着大盘变化的规律，并根据这些规律做出趋势分析，对客户针对性进行咨询。6.风险防范

通过对资金数据的分析，可以控制营业风险，同时可以改变公司总部原来的资金控制模式，并通过横向比较及时了解资金情况，起到风险预警的作用。

证券大数据应用 第2篇

证券业经过十几年的发展已经成为当今中国计算机应用高度密集的行业之一。高度的信息化使其积累了大量的数据，包括企业内部数据如企业财务状况、产品销售情况等，以及企业的外部数据，如企业产品的市场占有率、客户数量、客户的偏好等等。怎样利用这些数据，深层次地挖掘数据资源并进行分析，使公司的决策者能及时掌握公司的运行情况，并根据这些分析结果制定长远规划，从而提高公司的管理水平和竞争优势，成为证券公司技术部门目前的努力方向。

【项目背景】

正是基于以上发生的市场变化，很多知名的证券企业开始谋求通过技术创新来挖掘内部资源，全面提高企业竞争力。大鹏证券作为一家全国性综合类证券公司，是其中最早进行变革的公司之一。大鹏证券成立于1993年，随着该公司业务的不断发展，公司管理层逐步意识到：要提升经纪业务的核心竞争力，必须改变原有的“以证券交易为中心”的运作模式，引入客户关系管理理念，实施客户关系管理，建立“以客户为中心”的经纪业务运作模式。通过了解客户的行为轮廓、投资需求、投资倾向、风险承受能力，对客户进行有针对性的“一对一”的个性化理财服务，帮助客户实现资产的保值、增值，提高客户服务质量，提高客户的满意度和忠诚度，从而最大化客户对公司的终身价值。大鹏证券期望通过先进的数据仓库技术对经纪业务、客户数据进行强有力的分析，从定量分析的角度认知、了解客户和业务状况，为客户关系管理的成功实施提供理性决策支持。

【数据仓库选型】

依据自身的需要并结合大鹏证券目前的现状，大鹏证券在数据仓库的选型方面进行了大量认真细致的工作。大鹏证券在平台选型时他们主要考虑了以下几点：

1.供应商的既往成功经验以及产品的成熟度

2.供应商的售后服务和技术支持能力

3.供应商的资源调配能力

4.衡量数据库性能的主要指标TPC-D。主要有3方面的数据需要考虑：

a.QppD：描述系统的查询处理能力。(数据越大越好)

b.QthD：即流量测试结果，描述系统在多个用户同时进行查询时的处理能力。换言之，它也充分代表了系统的并行处理能力。(数据越大越好)

c.QphD：即价格性能比。(数据越小越好)

5.系统的并行处理能力

6.系统管理的复杂度

7.系统的可用性和可靠性

8.系统的扩展性

在经过慎重的反复评测与比较后，大鹏证券最终选择了全球领先的数据管理及企业集成解决方案供应商Sybase公司。大鹏证券之所以选择Sybase，是因为Sybase在数据仓库领域具有很强的实力，尤其是其在国内外证券市场中广泛的企业知名度与众多成功的应用实施案例，并从多家第三方企业那里了解了比较详细的应用情况。可以说Sybase技术与服务能力是勿庸置疑的。在具体的沟通过程中，Sybase提供的方案满足了我们的应用要求。

首先Sybase的方案具有优异的集成性，数据仓库是多种数据源数据集中后的数据集合，必须能够将来自多个数据源的数据的浏览和分析集成一体，Sybase的方案完美的解决了这个问题。还有就是安全性。证券行业安全是顶级重要的事情，Sybase的方案给我们提供了完善的安全性控制。随着我们业务的发展，系统扩展将是不可避免的问题，Sybase的方案允许我们从简单易行的体系架构开始实施，并可以轻松地、平滑地扩展现有的体系架构以适应未来的需求。同时他们的方案还考虑到新建的数据仓库体系与我们信息框架总体规划的结合，这给我们未来的发展更是带来了极大的便利。此外Sybase的方案还具有良好的开放性，能够支持多种开放接口或标准的技术，并且还支持我们已有的异构数据源。当然，系统的高性能是不言而喻的，因为优异的数据加载和数据查询速度，是数据仓库成功与否的标志之一。通过以上全方位的考察，Sybase的方案给我们留下了深刻的印象，在与其他方案进行反复比较后，我们一致认为如果不选择Sybase，那将是一个失误，

【解决方案】

在赢得大鹏证券的投标后，Sybase开始了更进一步的设计。根据数据仓库的方法学，数据仓库体系架构可以分为五个层次。这五个层次反映了应用运行的基本逻辑结构和过程。每层都具有自己的技术实现方式及相应的评价准则。这五个应用层次是：

设计建模层：该层次是整个分析应用系统的起点，主要完成对现有业务系统数据源的分析，按照数据仓库建模理论完成数据仓库结构设计。

数据获取层：确定项目实施所需的数据清洗工具，定义出数据从原业务系统到数据仓库系统的ETL技术方案，最终完成数据清洗、转换、加载的工作

数据存储层：通过对数据仓库数据量的估计，和客户访问数的估计对数据仓库主平台所需的软件和硬件作出评估，确定主平台的系统配置情况。

数据展现层：主要根据客户需求选定前端数据展现的软件，同时根据客户需求决定数据展现方式，进行数据展现的开发。

元数据管理层：主要完成对整个数据仓库实施中的元数据进行管理的功能，包括：逻辑到物理模型的映射、数据访问的授权、用户安全控制等等。

根据这一设计思路的指导，Sybase设计的大鹏证券数据仓库系统的拓扑图如下：

通过精密的设计，目前，大鹏证券数据仓库系统实现了各个营业部与总部之间联网，能够保证各个网点物理上的通信畅通。数据仓库的数据将会由两种方式展现到前端，一种是传统的C/S方式，一种是B/S方式。对于IT人员，一般采取C/S方式，用于进行报表设计。对于其他业务用户(如：FC、FC经理、营业部业务人员、总部市场分析人员、经纪业务总部的领导)，一般采用B/S方式，通过WEB浏览器访问数据，比较方便灵活、维护量也较少。下图展现了大鹏证券各个业务网点与总部的网络连接情况：

Sybase设计的大鹏证券数据仓库系统是集中式数据仓库，可以跨越各个分公司收集可操作数据，把它们集中在一个数据库中。这些数据将覆盖公司的许多不同领域，面向整个公司提供信息服务。选择集中式数据仓库设计的原因在于，集中式数据仓库具有以下三大优势：

1.数据的集中存放有利于实现较大强度的集中管理。系统可以依据企业管理需求，为各级部门和下属单位严格设置各种权限，管理人员可实时查询整个公司的营销管理信息;

2.数据的集中存放有利于信息共享。所有部门和营业部都使用同一个数据库，使整个公司的数据能在一个统一的视图下提供给各个不同的用户，保证各部门、各营业部之间数据的一致性。

3.数据的集中存放便于系统管理维护，降低管理费用。整个维护工作集中在总公司的数据库服务器，大大减少了系统维护费用。

同时，该体系架构还可以很好的控制大鹏在数据仓库初期的投资和降低系统维护难度。其集中式数据仓库结构图如下：

【实施效果】

在经过紧张的设计与实施工作后，大鹏证券数据仓库系统终于为大鹏证券公司带来了可喜的变化，其实施效果主要表现在以下几个方面：

1.大鹏证券数据仓库前端工具BRIO和ODS提供了很方便的开发环境，可以迅速的实现用户的各种新增需求。

2.由于大鹏证券数据仓库系统数据模型设计的合理、可扩展性很好，在系统更替的情况下基本实现了数据的无缝连接，没有出现数据间断的情况。

3.大鹏证券数据仓库系统能够很好地分析交易情况，及早防范金融风险。

4.大鹏证券数据仓库系统帮助大鹏证券公司确定保持客户忠诚度、吸引新的客户和维持足够赢利所需要的创新方法。

5.大鹏证券数据仓库系统使大鹏证券公司能够更深入地理解每个细分顾客群的需求，确定哪个细分的顾客群是目标客户群，根据每个目标细分顾客群开发适合的产品和服务，确定每个细分顾客群使用哪种服务手段最有效。

此外，大鹏证券数据仓库系统的统计功能还大大提高了大鹏证券业务人员的工作效率，减轻了他们的工作负担。其分析功能则囊括了包括资产、交易、贡献、流动等等各个业务部门关心的方面，使大鹏证券的业务部门可以从自然轮廓、行为轮廓、综合方面进行分析，从而为公司的领导层提供决策方面的依据、为客户服务部门提供资料、为市场部提供明确的客户分类、为市场销售工作提供依据和支持。

【客户评价】

经过一段时间的应用，大鹏证券公司对该系统的效果非常满意。大鹏证券的业务管理部门认为利用这一系统可以将所有的操作记录进行归类和整理，并结合行情走势、上市公司资料、宏观微观经济数据等，在掌握大量数据的情况下，对交易、盈亏情况、公司的利润分布等进行统计和分析，从而更好地为客户提供个性化的投资组合与理财建议，真正作到对客户的贴心服务。

证券大数据应用 第3篇

笔者利用数据挖掘技术, 对证券公司的客户价值进行深入分析, 对客户进行细分, 提供差别服务, 力图为证券公司的客户关系管理提供借鉴和参考意义。

1 客户价值和客户细分理论

客户价值包括客户对企业的现有价值和客户对企业的未来价值两方面。客户未来价值即客户潜在价值。对客户的现有价值和未来价值进行量化分析, 可为证券公司实行针对性的客户关系管理和客户细分提供决策依据和参考。

客户细分是指企业在明确的策略、业务模式及专注的市场条件下, 根据客户价值、客户需求和偏好等综合因素对客户进行分类, 同一类别的客户具有一定程度的相似性, 不同类别的客户间存在有明显差异性[1]。客户细分包括聚类和预测性细分, 聚类是在没有明确细分目的的情况下, 将客户划分成若干类, 同一类客户具有一定的共性, 使用无监督学习的方式;而预测性细分是在已知各客户子群体的特征定义的基础上, 有目的地寻找细分特征值以区分客户群体, 通过有监督学习进行[2]。

对客户进行细分的目的就是针对不同客户类别提供差异化的服务和产品[3], 争取使客户满意度最大化。市场因素的变化, 用户数据不断丰富, 都会引起客户细分的变化。因此, 客户细分需定期根据市场及客户情况的动态变化进行相应调整, 正确的客户细分能为企业有效降低成本, 同时为企业获得更强、更有利可图的市场渗透。

2 客户关系管理与数据挖掘

客户关系管理是一个获取、保持和增加可获利客户的方法和过程, 通过提高客户的忠诚度而最终提高企业利润率。证券公司通过实施客户关系管理, 提供快速、周到的优质服务, 可吸引和保持更多客户, 从而提高核心竞争力。要实施客户关系管理, 证券公司必须对客户资料进行深入分析, 根据“一对一”营销原则, 满足客户个性化需求, 提高客户的忠诚度和保有率。当然, 做到完全“一对一”是非常困难的, 需要对客户进行细分, 同一类别的客户使用同样的营销规则。

数据挖掘也称数据库知识发现, 就是从大量的、有噪声的、不完全的、随机的、模糊的数据中, 提取隐含于其中的有用的、有潜在价值的信息和知识的过程[4]。当然, 这些知识必须是可以被理解的、能用于决策判断的。

数据挖掘任务有多种, 常见的有监督学习 (分类) 、无监督学习 (聚类) 、关联规则挖掘和序列模式挖掘。数据挖掘的数据量丰富, 能有针对性地进行数据分析和处理, 为决策者提供相关信息和内容。

3 客户细分的数据挖掘过程

本文对客户进行细分, 采用基于客户终身价值理论的分类方法, 不仅考虑客户的当前价值, 同时也考虑客户的潜在价值。通过目前价值与潜在价值可将客户分为以下四类:第一, 低价值客户:客户的当前价值和潜在价值都比较低, 属于退出型客户群体;第二, 潜价值客户:客户的当前价值较低, 但其潜在价值较高, 属于高成长型客户;第三, 次价值客户:客户的当前价值较高, 但其潜在价值不高, 属于萎缩型客户;第四, 高价值客户:客户的当前价值和潜在价值都很高, 属于明星型客户, 是企业需要重点关注的客户。

假设每个客户具有n个属性, 每个客户属性为一个维度, 可用n维空间作为客户的属性空间, 一个客户可用空间中的一个点来表示, 假设U1={A11, A21, …An1}, 表示可用n个属性值表示客户U1, 属性值可以是连续的, 也可以是离散的, m个客户就可用n维空间中的m个点来表示。

笔者利用k-Means聚类来建立客户细分的动态模型。

k-Means聚类算法是所有聚类算法中使用最为广泛的, 根据数据点集合和要聚类的数目k, 根据距离函数反复地把数据点分入k个聚类中, 其算法过程如下。

第一, 首先, 随机选取k个数据点作为初始聚类中心, 如:{U1, U2, …, Uk}。

第二, 计算每个数据点与各聚类中心的距离。根据公式 (1) 把各个数据点分配给距离其最近的聚类中心, 然后根据公式 (2) 计算各个类的中心位置, 即聚类中所有数据点的均值作为新的聚类中心。

第三, 使用计算出的新聚类中心, 重复第二步, 如此反复, 直到没有 (或最小数目) 数据点被重新分配给不同的聚类, 或没有 (或最小数目) 聚类中心发生变化, 或是误差平方和 (SSE) 局部最小, 停止迭代。

其中Cj表示是第j个聚类, hj是聚类Cj的聚类中心 (Cj中所有数据点的均值向量) , dist (x, hj) 表示数据点x和聚类中心hj之间的距离。

按照前述客户的价值, 通过对数据的聚类将客户细分为四个类别, 客户的类别并不是一成不变的, 需随市场变化而定期检测指标变化, 并动态修订客户类别。若遇到特殊情况, 还可进行特殊处理, 针对不同客户群体, 实施不同的客户营销策略。

4 结语

笔者从客户细分观点出发, 按照客户价值, 通过挖掘海量客户数据, 实现证券公司客户细分的动态更新, 及时反映客户群的动态变化特征, 为证券公司的客户关系管理提供依据, 从而及时为不同类别的客户提供不同的营销策略和服务。

摘要：随着Web大数据的发展, 互联网中的证券信息越来越丰富, 越来越多的人进入证券市场, 而证券公司拥有客户的基本信息、交易数据等海量数据, 给数据挖掘提供了基础条件。同时, 证券公司的竞争环境对公司的客户关系管理提出了更高层次的目标, 需要从海量客户数据中挖掘出信息和规律来加强客户关系管理。通过分析现实需要, 按客户价值对客户细分的过程进行深入分析和研究, 且利用数据挖掘的方法, 实现客户分类的动态细分模型, 力图为证券公司的客户关系管理提供借鉴和参考。

关键词：大数据,证券公司,客户关系管理,数据挖掘

参考文献

[1]陈明亮.客户生命周期模式研究[J].浙江大学学报, 2009 (11) .

[2]郭明, 郑惠莉.用数据挖掘法分析电信客户流失[J].现代通信, 2010 (3) :7-9.

[3]邵兵家, 于同奎.客户关系管理—理论与实践[M].北京:清华大学出版社, 2008:106.

产业大数据创新应用 第4篇

产业互联网将是下一个百万亿商业时代

首先，杜登斌谈了对“互联网+”的看法。他认为，“互联网+”的目标是依托消费互联网模式带动和引导传统产业和企业升级转型，核心不在“互联网”，而在于后面的“+”。今年政府工作报告部署“中国制造2025”时特别强调，要顺应“互联网+”的发展趋势，以信息化与工业化深度融合为主线，重点发展新一代信息技术等十大领域。他分析说，所选的十大重点领域都是规模生产的基础工业，都是自动化、技术含量较高的行业，进行互联网智能化相对容易，互联网改造费用占比也相对较小，成本可控。其次，这些行业乃国之重器，必须同步最先进的工业技术。最后，这些都是国家主导的行业，“可以举国体制下快速完成智能制造后，再向其他行业扩展”。

同时，“互联网+”的力量从消费侧扩展到了生产侧，从用户侧扩展到了产业侧、企业侧，这些都昭示着“产业互联网”的到来。随着社会趋势从引导消费过渡为创造消费，企业产业的进一步虚拟化，产业互联网将成为下一个百万亿商业时代。

而在产业互联网时代，杜登斌认为实体经济与金融结合起来才是升级转型的根本出路；而与金融结合起来，必然需要大数据解决方案来解决产业的评估、定价以及信用等问题。所以，产业互联网的翅膀是金融，核心是大数据。

以数据资产为核心的工业大数据技术创新与应用

“没有大数据就没有供给侧的结构性改革。”杜登斌说，在信息化条件下应运而生的“互联网+”技术以各类信息数据为生产资料，推动经济的分布式发展和效率的系统性提升，让管理者、生产者和消费者等各种过去分散、独立的社会主体实现良性互动，创造出与信息社会相对应的新的经济形态、管理方式和产业演进路径，为智能制造、物联网和产业信息化奠定了基础。他简要阐述了产业互联网时代，工业大数据技术创新的思路、规划、设计、模式和目标。

思路：产业互联网必须围绕数据资产创新来实现。首先，要有采集挖掘分析平台，形成产业价值、产品价格基数数据，来完成基础定价、基础评估等；其次，要有综合应用服务平台，使数据资产、权属、数据变现，来完成评估、征信、量化交易等；最后，要有金融创新平台，使数据资产证券化，来完成指数、量化交易等。

规划：六位一体综合解决方案。即以数据资产为核心，构建集云计算、云存储、云服务、云资产、云交易、云金融为一体的综合产业金融服务共享平台。

设计：基于采集挖掘梯级开发。通过垂直定向采集挖掘技术实现数据的大集中（云数据），形成云数据资产。在云数据之上构建各种应用，形成数据云服务和数据云应用，完成数据变现。基于云数据的应用，实现数据资产的归集与估值、征信定价、指数，完成数据金融化。

模式：基于大数据应用的业务线。通过基于工业大数据产权价值、产品价格等多维度的采集、分析，形成工业大数据的评估平台，为金融机构、投资者提供投资决策依据。通过工业大数据采集、挖掘技术，构建数据的中央厨房，进行数据和信息原创和二次、三次加工；同时完成产业、产品数据与信息和产业、金融相互融合，构建产业生态融合系统。通过大数据产业应用平台进行资产和权益归集，开展大数据实时匹配和统计，建立大数据产业定价和指数系，围绕产业指数进行金融创新，形成大数据金融量化交易。

目标：最终能够服务于“互联网+”、“大数据+”，来实现智慧城市、智慧中国。

工业大数据金融创新应用需要突破的问题

针对工业大数据金融创新应用需要突破的问题，杜登斌提出工业大数据的定价、评估、交易难题。工业大数据属于高附加值产业，较难界定价值和价格，迫切需要利用大数据产业金融的解决方案，实现数据交易和金融的嫁接。

杜登斌认为，抢夺全球定价话语权是中国产业互联网发展的重要使命。他始终相信一切可量化，万物皆数据，通过科学合理地构建模型，大数据技术就能够解决产品的定价问题。甚至，大数据技术还可以完成人的价值评估、产业指数测算，促进量化交易发展，进行产业的风险预警及预测。这一切的设想和坚实的论证分析，使在场听众满怀憧憬，颇有启发。

社区大数据应用讨论 第5篇

代收包裹只是开发商利用末端配送优势所提供的新服务之一。深圳开发商某公司早已推出一款名为“彩生活”的app，它集合了社区周边一公里内衣、食、住、行、娱、购、游等商户资源的平台，通过审核把关，构建社区一公里微商圈。比如住户可以随时用app下单叫外卖、预约洗车服务、预约家政上门服务等。一方面是使用方付费，只需要住户往系统的个人账户里预存一部分钱，就有人按约定时间提供老人按摩等，每参与一次扣一次钱。跟百度广告系统一样，按点击（服务）付费。而商户也要缴纳一部分的广告费用。

在传统的房企运营模式里，物管长期以来是以低利润的房企配套服务身份存在，大多数房地产下属的物业管理公司也以博口碑为主，服务水平越高，则利润就会越低，大部分的中小开发商物管是亏损经营，大型开发商的物管利润率很低。比如2012年碧桂园实现了接近6亿元的物业管理收入，但利润约为6,000多万元。

可是在互联网浪潮正在颠覆所有传统商业模式的今天，曾经是“赔钱货”的物管因为其拥有庞大的白领客源数据库，正在变成会下金蛋的鹅。以上述的某公司彩生活为例，目前彩生活收入以及利润占某公司集团整体不足一成，不过已连续三年复合增长超过25%。2012年，彩生活实现收入1.85亿元，同比增长48%；净利润超过4,000万元，净利率达14%，毛利率高达40%以上。远高于同行的水平。在2013年6月，某公司完成了一笔700万美元的融资，这笔融资不是用于买地或还款，其总裁潘军称，这笔钱将主要用于物管平台彩生活业务的运营，主要为“2.1”版的彩生活社区进行光纤到户的投资。

除了利用网络平台营造社区一公里“微商圈”，与电商结合解决“最后一公里”难题外，房企所掌握的社区平台还有着更多的可挖掘空间。

在2013年末，万科入股徽商银行，越秀地产收购香港创兴银行等等事件，普遍被地产媒体认为很可能是为了打通更多的融资渠道，获得更多的低息资金。但其实像万科、越秀地产等资金实力充足，很容易就可以发现低息高等级美元债券的开发商，所谋并不会像常人一眼所见那么明显。

2014年初的将经理人手捧热咖啡，品尝精美餐点，分享了一份中国家庭金融的研究成果。在《万科周刊》上可以看到，这份中国家庭金融研究的ppt，关注了中国不同地区家庭的资产结构、资产管理方面的现状。联想到万科董秘谭华杰在万科入购徽商银行后称，参股商业银行是为了更好地满足公司客户在金融服务方面的需求，可望发挥协同效应，帮助公司率先向客户提供国内领先的社区金融服务，提升公司在全面居住服务方面的竞争力。

大数据的商业应用 第6篇

对大数据的开放和应用将对社会、商业和个人都产生巨大而深远的影响。目前我们已经观察到或者可以预测到的影响包括但不仅限于以下几个方面。

第一，围绕大数据的应用将激发前所未有的创新浪潮。社交网络的流行和物联网的建设使得对个体和群体（无论是人或物）的实时观察和了解正在逐渐成为可能，这为预测群体行为和了解个体偏好提供了强有力的工具。利用大数据这一特性的应用已经在多个领域展现其惊人的威力和创新能力。

第二，大数据的开放将极大地提升社会的公开透明度和提高政策制定的效率。一方面，多种类型数据的公开大大提升了政府的透明度，通过公众的监督提高民主程度。另一方面，通过为大众提供创新的平台，充分汲取群体的智慧，有效榨取数据的可利用价值，反过来可以提升社会效率和政府效率。

第三，随着大数据时代的来临和深化，在商业、经济及其他领域中，决策行为将日益基于数据和分析而做出，而并非基于经验和直觉。伴随着数据的大量累积和数据处理能力的不断提升，利用数据来进行判断和预测的能力将会得到无限的放大，数据将引领社会前进的方向。第四，个人成为大数据链条中不可或缺的一环，而对数据的依赖将改变人类的生活方式。

对银行的影响

（一）大数据提供了全新的沟通渠道和营销手段

一方面，社交媒体的兴起给银行提供了全新的与客户接触的渠道。已经有多家银行开通了官方微博，通过树立社会化的形象，拉近与客户之间的距离，利用社交媒体的力量，往往能够取得意想不到的效果。光大银行在2011年4月份通过其官方微博发起了“95595酒窝哦酒窝——光大电子银行酒窝传递活动”，向网民征集酒窝照片，并由参与者向好友进行传递，征集的照片会组成一个笑容墙展示，一个月的时间里有超过740000人参与了活动，使得光大银行的客服电话号码一夜走红。

另一方面，通过打通银行内部数据和外部社会化的数据可以获得更为完整的客户拼图，从而进行更为精准的营销和管理。银行本身拥有客户的大量数据，通过对数据的分析可以获得很多信息，从而成为进行管理和营销的依据。但由于银行拥有的客户信息并不全面，这种分析有时候难以得出理想的结果甚至有可能得出错误的结论。比如说，如果某位信用卡客户月均刷卡6次，平均每次刷卡金额500元，平均每年打3次客服电话，从未有过投诉，按照传统的数据分析，该客户是一位满意度较高、流失风险较低的客户。但如果看到该客户的微博，得到的真实情况是：工资卡和信用卡不在同一家银行，还款不方便，好几次打客服电话没接通，客户多次在微博上抱怨，该客户流失风险较高。

（二）大数据滋生了新型金融业态参与市场竞争

大量的数据来源和强大的数据分析工具正催生出很多新的金融业态来直接瓜分银行的信贷市场。在英国，一家叫做Wonga的公司利用海量数据挖掘算法来做贷款业务，他们大量使用社交媒体和其他网络工具，将客户的信息碎片关联起来，预测客户的违约风险，为其信贷业务提供依据。在中国，阿里巴巴旗下的阿里信贷自2012年8月起全面向普通会员开放，提供无抵押、无担保的低额贷款。而其依仗的正是掌握在手中的海量客户经营数据，有了这些数据，阿里巴巴可以说是对客户的资信状况了如指掌，从而最大程度地降低了信贷业务的风险。如果说像Wonga这种需要去网络上搜集数据来进行放贷的公司尚不足为惧，那么像阿里巴巴这种本身拥有雄厚客户基础和海量数据资产的公司介入信贷行业，将对行业格局产生深远的影响。“网络融资”可能成为 20 年后的主流，甚至可能发展到资金供需信息直接在网上发布并匹配，供需双方直接完成资金融通。

（三）利用数据的能力日益成为银行竞争的关键

麦肯锡在其研报中分析了不同行业从大数据浪潮中获利的可能，金融行业拔得头筹。作为金融行业的主要组成部分，银行业利用数据来提升竞争能力具有得天独厚的条件。

第一，银行业天然拥有大量的客户数据和交易数据，这是一笔巨大的财富。第二，银行业面临的客户群体足够大，能够得出具有指导意义的统计结论。

第三，在“小数据”时代，银行业已经在以信用评级模型和市场营销模型为代表的数据分析上积累了大量的实战经验，具备向“大数据”分析跨越的基础。随着“大数据”时代的来临，银行运用科学分析手段对海量数据进行分析和挖掘，可以更好地了解客户的消费习惯和行为特征，分析优化运营流程，提高风险模型的精确度，研究和预测市场营销和公关活动的效果，从每一个经营环节中挖掘数据的价值，从而进入全新的科学分析和决策时代。在这种情况之下，利用大数据的能力将成为决定银行竞争力的关键因素。

（四）从长远看大数据将全面颠覆金融服务形态

从长远来看，随着数据化和网络化的全面深入发展，金融服务将向虚拟化方向发展，从而全面颠覆金融服务形态。一是产品的虚拟化，资金流将越来越多地体现为数据信号的交换，电子货币等数字化金融产品的发展空间巨大。二是服务的虚拟化通过移动互联网、全息仿真技术等科技手段，银行完全可以通过完全虚拟的渠道向客户提供业务服务，现有的实体柜面可能趋于消亡。三是流程的虚拟化，银行业务流程中各类单据、凭证等将以数字文件的形式出现，通过网络进行处理，从而提高处理的便利性和效率。在这样的服务形态下，银行的整体运作就是一个数据的洪流，“数字金融”得以全面实现，银行的管理理念和运营方式也随之得以全面颠覆。

银行的发展方向

（一）促进金融服务与社交网络的融合

商业银行要打破传统数据源的边界，更加注重社交媒体等新型数据来源，通过各种渠道获取尽可能多的客户信息，并从这些数据中挖掘出更多的价值。

一是整合新的客户接触渠道，充分利用社交网络的作用，增强对客户的了解和互动，树立良好的品牌形象。

二是注重新媒体客服的发展，利用论坛、聊天工具、微博、博客等网络工具将其打造成为与电话客服并行的重要服务渠道。

三是将银行内部数据和外部社交数据互联，获得更加完整的客户视图，从而进行更为高效的客户关系管理。

四是创造性利用社交网络数据和移动数据等进行产品创新和精准营销。比如，当银行通过客户的移动定位信息知道该客户正在某商场购物，便自动发送关于该商场的某餐馆的刷卡促销活动的短信；设计新产品的时候在网络上征求客户意见，激发客户参与的热情，在了解客户需求的同时达到良好的宣传效果。

五是注重新媒体渠道的舆情监测，在风险事件爆发之前就进行及时有效的处置，将负面影响降至最低。

实现金融服务与社交网络的融合存在一些现实的困难，只能通过不断摸索的方式前进。首先，银行难以得知客户在社交网络上的用户名，也就难以进行数据整合。可以考虑进行一些针对性的市场活动来收集客户的用户名，或者在将来的客户申请表上添加社交网络用户名的选项。也可以考虑和社交网络进行直接的合作，在实名制的社交网络上，可以利用客户的官方证件号码来实现客户信息的对接。

其次，目前尚缺乏成熟有效的非结构化数据的处理工具。在初期可以采取半人工的方式进行处理。IT业投入在非结构化数据处理工具的研发力量非常强，相信不久的将来就能够有相对成熟的分析工具问世。

第三，目前在银行庞大的客户群体中，热衷于新媒体的毕竟只是一部分。如果凭借对他们的分析来制定针对全体客户的策略，统计样本的偏差可能会导致策略的失效。因此暂时只能用于制定一些针对特定客户群体的策略。随着出生在网络年代的年青一代的成长，这样的偏差会越来越小，最终将能覆盖几乎全部的客户群体。

第四，金融服务对系统安全性和稳定性的要求都远高于社交平台，在实现服务对接的时候可能会影响用户体验。最后，在诸如客户的定位信息之类的数据是否属于隐私，如何使用方面还存在许多法律上的空白。这些问题都有待各行业协调解决。

（二）布局与大数据金融的竞争和合作

这里所说的“大数据金融” 特指类似于阿里信贷这种基于大数据的金融服务商。随着大数据金融的发展，银行与他们的竞争和合作不可避免。一方面，银行可以通过发展自己的大数据平台与其开展直接竞争。在当前的各大电商平台上，每天都有大量的交易发生，但是这些交易的支付结算大多被第三方支付机构垄断，银行处于支付链条的末端，获取的价值非常小。大数据金融的核心竞争力在于其拥有的大量客户经营数据，银行在其产业链中的影响力很小，这也是阿里巴巴可以终止与建行的合作自行开展信贷业务的原因。为应对这种局面，银行可以考虑自行搭建大数据平台，获取属于自己的大数据，将核心话语权牢牢掌握在自己的手中。事实上，已经有不少银行开始了这方面的布局。2012年6月28日，建行的电子商务平台“善融商务”正式上线，包括B2B和B2C，业务范围包括电子商务服务、金融服务、营运管理服务、企业社区服务及企业和个人商城。这可以看作是建行对于阿里巴巴终止合作的直接应对。交行打造的电子商务平台“交博汇” 也开始向客户开放。在为客户提供增值服务的同时获得客户的动态经营信息，成为银行共同的驱动力。

另一方面，银行需要与大数据金融企业加强合作互利。完整和综合的大数据注定难以被某一家企业、机构或政府部门所独自掌控，因此任何想垄断大数据的想法和行为都是不现实的，企业之间的合作互赢是发展的潮流。在认同大数据巨大价值的共识下，银行可与电信、电商、社交网络等大数据平台开展合作，进行数据和信息的共享和利用，全面整合客户有效信息，将金融服务与移动网络、电子商务、社交网络等完美融合。建行与阿里巴巴的信贷合作可以说是在这方面进行了非常有益的探索，可惜由于阿里巴巴要求在信贷利息中分利被拒绝而导致合作终止。但由此可见建立银行与电信运营商、电商、社交网络等参与方的合理的利润分配模式是否合理是合作能否成功的关键因素。

（三）培养面对大数据时代的核心能力 一是数据整合的能力。不仅仅是银行内部数据的整合，更重要的是和大数据链条上其他外部数据整合的能力。大数据时代，有能力整合和管理数据的企业才能够主导产业链，作为大数据链条中的一环，银行应当以更加积极的姿态与链条上的其他企业进行数据和信息的交换，越是完整的数据，能够产生的作用就越大。由于各行业的数据标准和格式存在差异，如何逐渐统一数据标准以便进行更方便的数据交换和融合是当前面临的巨大挑战。

二是数据分析的能力。这里要注意区分传统的商业智能和大数据时代的数据分析能力。首先，传统的商业智能所处理的数据大多都是银行自身数据库当中的标准化、结构化的数据，而在大数据时代，更多需要处理的是大量的半结构化和非结构化的数据。其次，大数据时代处理的数据量与现在完全不在一个量级，现有的很多数据处理方法已经不能满足需求。最后，当前银行中常用的数据分析比如信用评级和市场营销模型，都是在建模后再进行系统实施，持续的时间较长。而在大数据时代，对于数据处理的实时性有很高的要求。这些本质上的区别不仅要求银行使用专门的数据储存技术和设备，更要求采用专门的数据分析方法和使用体系。不得不说的是，中资银行在对数据分析的重视程度和能力上与国际先进银行有着巨大的差距，很多中资银行在“小数据”时代的数据分析能力都亟需加强。

大数据在智慧城市的10大应用 第7篇

大数据是智慧城市各个领域都能够实现“智慧化”的关键性支撑技术，智慧城市的建设离不开大数据。建设智慧城市，是城市发展的新范式和新战略。大数据将遍布智慧城市的方方面面，从政府决策与服务，到人们衣食住行的生活方式，再到城市的产业布局和规划，直到城市的运营和管理方式，都将在大数据支撑下走向“智慧化”，大数据成为智慧城市的智慧引擎。

欧盟利用大数据实现智慧城市的做法给我们很多启示。

欧盟对智慧城市的评价分为六个方面：智慧经济、智慧治理、智慧生活、智慧人民、智慧环境、智慧移动性。也就是说智慧城市要促进经济的发展，要改进和帮助更多大众的参与，让老百姓享受智慧的生活，人民得到更好的服务，居住环境更加优化。智慧城市的应用很广泛，我们都知道有物流、交通、电网、工业、农业、建筑、环境、医疗等方面。现在我要讲的是，智慧城市本身会催生大数据，我们可以看到一个企业会涉及到很多环境，管理环境，开放环境，知识环境、服务环境，过去这些环境的关联度不够，那么现在通过数据库使得这些环境能够联合起来，使得企业的效率提高40%-60%，根据赛门铁克的一份最新调研报告，今天全世界所有企业的信息存储总量已达2.2ZB，企业平均10PB，大企业更大点，小企业小点。一般企业都会建立数据库，必须进行数据的集资和数据的挖掘，企业的数据在企业内部已经占有很重要的位置。

(1)智慧经济

首先大数据在商业上怎么能很好运用，它会分析用户的购物行为，什么商品搭配在一起会卖得更好，还有很多公司通过分析找到最佳客户，淘宝数据魔方则是淘宝平台上的大数据应用方案。那么商家可以了解淘宝平台上的行业宏观情况、自己品牌的市场状况、消费者行为情况等，并可以据此作出经营决策。

美国有个投资公司分析了全球3.4亿微博账户留言，判断民众情绪，人们高兴的时候会买股票，而焦虑的时候会抛售股票，依此决定公司股票的买入或卖出，该公司今年第一季度获得7%的收益率。

阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和诚信的企业，从而无需担保来放贷，目前已放贷300多亿元，坏帐率仅0.3％，大大低于商业银行。

企业通过信息收集很好的掌握企业的运营状况，分析居民与财务有关的记录包括贷款申请、租赁、房地产、购买零售商品、纳税申报、水电费缴付、有线电视缴费、电话缴费、报纸与杂志订阅、机动车档案等，能够得出消费者的个人信用评分，从而推断客户支付意向与支付能力，发现潜在的欺诈。

IBM日本公司建立了一个经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算出采购经理人指数PMI预测值。

印第安纳大学学者利用Google提供的心情分析工具，对270万用户在2008年3～12月所张贴的970万条留言，挖掘出用户happiness、kindness、alertness、sureness、vitality 和calmness等六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。

利用大数据分析可实现对合理库存量的管理，华尔街对冲基金依据购物网站顾客评论分析企业产品销售状况，华尔街银行根据求职网站岗位数量推断就业率。

(2)智慧治理

美国纽约的警察分析交通拥堵与犯罪发生地点的关系，有效改进治安。美国纽约的交通部门从交通违规和事故的统计数据中发现规律，改进了道路设计。

利用短信、微博、微信和搜索引擎可以收集热点事件与舆情挖掘。

电信运营商拥有大量的手机数据，通过对手机数据的挖掘，不针对个人而是着眼于群体行为，可从中分析：实时动态的流动人口的来源及分布情况；出行和实时交通客流信息及拥塞情况。利用手机用户身份和位置的检测可了解突发性事件的聚集情况。

MIT的Reality Mining项目，通过对10万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规则性和重复性，进行流行病预警和犯罪预测。

(3)环境监测

对城市的河流进行采样，通过卫星发布，收集产量的数据，这个数据非常大，通过这个数据分析能够判别城市中有没有污染。

(4)智慧医疗

无论是药品的研发还是商业模式的开发运用数据分析都能够得到很好的分析，我们医院里有大量的病例，这里有大量的数据，传统的普通病例很难挖掘数据，现在变成电子化有利于更高数据挖掘，数据的挖掘有利于发现医疗知识，由于医疗资源的分配不均，因此远程医疗十分必要，另外，居家监护很重要，谷歌公司与美国疾病控制和预防中心等机构合作，依据网民搜索内容分析全球范围内流感等病疫传播状况，谷歌的判断与疾控中心的判断是一致的。

社交网络为许多慢性病患者提供了临床症状交流和诊治经验分享平台，医院借此可获得足够多的临床效果统计。个性化的医疗同样很重要，我们发现，同样的治疗对一些病人无效，75％癌症病人，70％的老年痴呆者、50％的关节炎病人、43％的糖尿病患者、40％的哮喘病患者，38％的抑郁症病人。因为人体对药品代谢方式的差异取决于个体特定的基因、酶和蛋白质组合，因此基因信息对选择最优治疗非常关键。对人体个性体质的挖掘会做到真正意义上的对症下药，一个人的基因信息大概1GB。

(5)智能搜索

除此之外，我们还通过网络进行学习，早期的网络学习是通过网站专业人员编制的内容，如今我们希望能够实现更加智能的搜索。随着移动互联网的出现，搜索引擎会变成基于语音的智能搜索；基于位置的搜索；基于个性化搜索。

(6)舆情监测

大众传播发展的很快，这里包含着大量的数据，例如微博传播具有裂变性、主动性、即时性、便捷性、交互性、草根性，跟进性和临场感，每一个微博用户既是“服务器”，也是“受众”。中国的微博比社交网络更热，因为140个字符的微博在英文和中为分别约等于25个和85个英语单词，即中文微博的信息量是Twitter的3～4倍。最近两个月在YouTube上上载的视频超过了ABC、NBC和 CBS 电视台自1948年以来24/7/365 连续播出的内容，而“云平台＋多屏融合”模式已成为智能家居和智能车载等的发展方向。

(7)精准营销

美国信用营销分析专家张川告诉《环球时报》记者，在大数据分析的应用上，美国政府和大公司领先新兴国家至少20年。15年前，美国的信用卡公司就可以进行数据挖掘实现精准营销：在合适的时间，通过合适渠道，把合适的营销信息投送给每个顾客。

(8)犯罪预警

随着智能电话和电脑网络的普及，美国政府和大公司把自己的触角伸到个人生活的每个方面。美国个人的一切在线行为数据都被收集储存，再加上已被有关机构掌握的个人信用数据、犯罪记录和人口统计等数据，有关公司和政府机构可以运用数据挖掘的办法，监控和预测个人的行为，并做出相关决策。

(9)全球安全监测

如美国已具备对全球网络空间的监视控制能力。斯诺登披露的“棱镜”计划，缘于美国政府的“星风”监视计划。2004年，布什政府通过司法程序，将“星风”监视计划分拆成由国家安全局执行的4个监视计划，除“棱镜”外，还包括“主干道”、“码头”和“核子”。其中，“棱镜”用于监视互联网个人信息。“核子”则主要负责截获电话通话者对话内容及关键词。“主干道”和“码头”分别对通信和互联网上数以亿兆计的“元数据”进行存储和分析。“元数据”主要指通话或通信的时间、地点、使用设备、参与者等，不包括电话或邮件等的内容。

(10)市场价格监测

肯尼思·丘基尔是《经济学家》杂志数据编辑、《大数据：一次将改变我们生活、工作和思考方式的革命》一书的合著者之一，他日前在美国《外交政策》杂志掀起一场有关“大数据时代令隐私保护问题更加突出”的讨论。丘基尔举例说，警方如果要侦破一个城市的加油站是否存在合谋操控价格的“卡特尔行为”，以往要靠线人举报。但今天，可以做大数据分析——分析该市油价变化和加油站分布情况。通过分析，可以发现正常的价格变化规律，如果价格变化持续异常，就可以怀疑存在价格垄断的行为。丘基尔认为，大数据的价值在于存储后的再使用。不过，关键的一个问题是，收集、保存一切信息，与隐私保护政策是有冲突的，“保存一切信息是必要的，但是在这么做之前，我们有必要问自己一个问题，即现行的隐私保护政策是不是妨碍了我们正在迈入的大数据世界”。丘基尔提到，社会有必要就此进行大辩论，以便为大数据时代的隐私保护划定新的边界。

结束语

美国IT咨询公司Avanade商业情报部副总裁斯蒂夫·帕尔默告诉《环球时报》记者，大数据是指非常“膨胀”的数据集，用典型的数据分析软件和工具难以对其进行捕捉、储存、管理、分享、分析和可视化。大数据有3个特征：一是数据的数量大;二是产生或被吸收的速度和频率快;三是数据的多样性。为从大数据中“挖出金矿”，一家企业或机构必须能够应对大数据上述3个特征。帕尔默说，大数据给人类带来的真正机遇是把许多信息碎片拼起来，为我们的决策服务。

附：全球顶尖大数据公司一览

企业名称：IBM

网址：http:///

2011年5月，IBM正式推出InfoSphere大数据分析平台。InfoSphere大数据分析平台包括 BigInsights和Streams，二者互补，Biglnsights基于Hadoop，对大规模的静态数据进行分析，它提供多节点的分布式计算，可以随时增加节点，提升数据处理能力。Streams采用内存计算方式分析实时数据。InfoSphere大数据分析平台还集成了数据仓库、数据库、数据集成、业务流程管理等组件。

企业名称：亚马逊

网址：http:///

对于云计算和大数据，亚马逊绝对具有先见之明，早在2009年就推出了亚马逊弹性MapReduce（Amazon Elastic MapReduce），亚马逊对Hadoop的需求和应用可谓了若指掌，无论是中小型企业还是大型组织。弹性MapReduce是一项能够迅速扩展的Web服务，运行在亚马逊弹性计算云（Amazon EC2）和亚马逊简单存储服务（Amazon S3）上。这可是货真价实的云：面对数据密集型任务，比如互联网索引、数据挖掘、日志文件分析、机器学习、金融分析、科学模拟和生物信息学研究，用户需要多大容量，立即就能配置到多大容量。

除了数据处理外，用户还可以使用Karmasphere Analyst的基于服务的版本，Karmasphere Analyst是一种可视化工作区，用于在亚马逊弹性MapReduce上分析数据。用户还可以提取结果文件，以便在数据库或者微软Excel或Tableau等工具中使用。

企业名称：甲骨文

网址：http:///

甲骨文在近期发布的Oracle大数据机（Oracle Big Data Appliance）为许多企业提供了一种处理海量非结构化数据的方法。在2011年10月初召开的Oracle OpenWorld 2011大会上甲骨文正式推出了Oracle大数据机。对于那些正在寻求以更高效的方法来采集、组织和分析海量非结构化数据的企业而言，该产品具有很大的吸引力。

与甲骨文近期推出的其他一体化产品一样，Oracle大数据机集成了硬件、存储和软件，包括Apache Hadoop软件的开源代码分发、新的甲骨文NoSQL数据库和用于统计分析的R语言开源代码分发。该产品被设计为能够与甲骨文Database 11g、Oracle Exadata数据库云服务器，以及针对商业智能应用的新的Oracle Exalytics商业智能云服务器一起协同工作。

企业名称：谷歌

网址：http:///

谷歌一直是科技行业的领军者，近年来几乎在任何一项互联网科技项目你都能看到谷歌的身影，大数据时代谷歌自然不会错过。何况如果对其拥有的海量数据进行深入挖掘，这对于提升谷歌搜索乃至所有谷歌服务的价值无可估量。

BigQuery是Google推出的一项Web服务，用来在云端处理大数据。该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。BigQuery允许用户上传他们的超大量数据并通过其直接进行交互式分析，从而不必投资建立自己的数据中心。Google曾表示BigQuery引擎可 以快速扫描高达70TB未经压缩处理的数据，并且可马上得到分析结果。大数据在云端模型具备很多优势，BigQuery服务无需组织提供或建立数据仓库。而BigQuery在安全性和数据备份服务也相当完善。

去年底该服务只向一小部分开发者开放，现在任何人都可以注册这项服务。免费帐号可以让你每月访问高达100GB的数据，你也可以付费使用额外查询和存储空间。

企业名称：微软

网址：http:///

微软研究部门从2006年起就一直致力于某种非常类似于Hadoop的项目，被称为“Dryad”。今年年初，该计划通过与SQL Server和Windows Azure云的集成实现了Dryad的产品化。虽然现在微软还没有更新，但看上去Dryad似乎将成为在SQL Server平台上影响大数据爱好者的有力竞争者。

微软进入这一市场可谓“姗姗来迟”，而且在一定程度上说，数据仓库分析和内存分析计算市场落下了后腿。2011年初微软发布的SQL Server R2 Parallel Data Warehouse（PDW，并行数据仓库），PDW使用了大规模并行处理来支持高扩展性，它可以帮助客户扩展部署数百TB级别数据的分析解决方案。微软目前已经开始提供Hadoop Connector for SQL Server Parallel Data Warehouse和Hadoop Connector for SQL Server社区技术预览版本的连接器。该连接器是双向的，你可以在Hadoop和微软数据库服务器之间向前或者向后迁移数据。

微软在去年推出了基于Azure云平台的测试版Hadoop服务，今年它承诺会推出与Windows兼容的基于Hadoop的大数据解决方案（Big Data Solution），这是微软SQL Server 2012版本（首发日期还不知道）的一部分，现在也不清楚微软是否会与其他硬件合作伙伴或者相关大数据设备厂商合作。

企业名称：EMC

网址：http:///

EMC于1979年成立于美国麻州Hopkinton市，1989年开始进入企业数据储存市场。EMC公司是全球信息存储及管理产品、服务和解决方案方面的领先公司。EMC是每一种主要计算平台的信息存储标准，而且，世界上最重要信息中的 2/3 以上都是通过EMC的解决方案管理的。

面对大数据时代，EMC公司推出用于支持大数据分析的下一代平台――EMC Greenplum统一分析平台（UAP）。Greenplum UAP是一个唯一的统一数据分析平台，可扩展至其他工具，其独特之处在于，它将对大数据的认知和分享贯穿整个分析过程，实现比以往更高的商业价值。

企业名称：Teradata

网址：http:///

Teradata公司(Teradata Corporation，纽约证券交易所交易代码TDC)是全球领先的数据仓库，大数据分析和整合营销管理解决方案供应商，专注于数据库软件，数据仓库专用平台及企业分析方案。不久前宣布推出一款集硬件、软件和服务于一体的全面产品组合——Teradata分析生态系统(Teradata Analytical Ecosystem)，使不同的 Teradata 系统实现无缝协作，为企业客户提供分析和更深入的洞察力，帮助其预测商业机会和加速实现商业价值。Teradata Unity 将确保整个Teradata Analytical Ecosystem的同步和统一。为了增强在大数据分析领域的优势，Teradata还收购Aster Data公司，以增强其非传统数据分析的能力，突破了SQL分析的限制，协助企业从全部数据中获取更多价值。

企业名称：NetApp

网址：http://

Network Appliance，Inc.（NetApp，美国网域存储技术有限公司）是IT存储业界的佼佼者，自1992年创业以来，不断以创新的理念和领先的技术引领存储行业的发展。Network Appliance, Inc.(NetApp)是向目前的数据密集型企业提供统一存储解决方案的居世界最前列的公司。

NetApp StorageGRID 是一个久经验证的对象存储软件解决方案，设计用于管理 PB 级、全球分布的存储库，这些存储库包含企业和服务提供商的图像、视频和记录。通过消除数据块和文件中数据容器的典型约束，NetApp StorageGRID 提供了强大的可扩展性。它支持单个全局命名空间内的数十亿个文件或对象和 PB 级容量。

NetApp StorageGRID 实现了智能的数据管理和安全的内容保留。它通过一个具有内置安全性的全局策略引擎来优化数据存放、元数据管理和效率，该引擎管理数据的存储、放置、保护和检索的方式。此外，使用数字指纹和加密等技术防止内容受到篡改。

NetApp StorageGRID 有助于随时随地提供数据，以便于不间断地运营。该解决方案被设计为允许灵活进行部署配置，以满足全球的多站点组织的不同需要。

企业名称：Sybase

网址：

Sybase公司成立于1984年11月，总部设在美国加州的Emeryville(现为美国加州的Dublin市)。作为全球最大的独立软件厂商之一，Sybase公司致力于帮助企业等各种机构进行应用、内容及数据的管理和发布。

Sybase IQ是Sybase公司推出的特别为数据仓库设计的关系型数据库。相比于传统的“行式存储”的关系型数据库，Sybase IQ 使用了独特的列式存储方式，在进行分析查询时，仅需读取查询所需的列，其垂直分区策略不仅能够支持大量的用户、大规模数据，还可以提交对商业信息的高速访问，其速度可达到传统的关系型数据库的百倍甚至千倍。“随着 Sybase IQ 不断地在分析应用 POC 测试中拔得头筹，有时甚至超过其他对手 100 倍之多”，Gartner 评价道，“ Sybase IQ 逐渐成为从数据集市到企业数据仓库架构最令人渴望的 DBMS(数据库管理系统)。”

自 2009 年推出以来，Sybase 陆续发布了 Sybase IQ 15.1、15.2、15.3 以至最新的 Sybase IQ 15.4 版本，每个版本都着力于增加新的核心能力以促进更深入的高级分析。Sybase IQ 15.4是面向大数据的高级分析平台，将大数据转变成可指挥每个人都行动的情报信息，从而在整个企业的用户和业务流程范围内轻松具备大数据的分析能力。

因此，有人说Sybase IQ15.4正在彻底改变“大数据分析”。

企业名称：惠普

网址：

大数据时代来临，老牌巨头惠普也不甘落后。不久前惠普企业服务事业部宣布推出全新服务，帮助客户更快部署惠普子公司Vertica的Vertica Analytics Platform，从而迅速洞悉关键的业务信息，辅助决策过程。

Vertica Analytics Platform 让用户能够大规模实时分析物理、虚拟和云环境中的结构化、半结构化和非结构化数据，从而深入洞悉“大数据”。

Advanced Information Services for Vertica 帮助客户最大化实现 Vertica 分析平台性能，并构建企业分析专用环境。惠普提供从评估到实施的一系列服务，与客户共同定义多种交付方式组合，并找出匹配其现有基础设施的最佳解决方案。

Advanced Information Services for Vertica已在全球上市，将为实现“瞬捷”企业构建灵活的智能环境。

企业名称：沃尔玛

网址：http:///

在这里看到沃尔玛的身影，可能很多人会有疑问，全球最大的传统零售业巨头沃尔玛怎么就跟大数据扯上关系了？看了下面的介绍你就会明白了。

沃尔玛是最早通过利用大数据而受益的企业之一，曾经拥有世界上最大的数据仓库系统。通过对消费者的购物行为等非结构化数据进行分析，沃尔玛成为最了解顾客购物习惯的零售商，并创造了“啤酒与尿布”的经典商业案例。早在2007年，沃尔玛就已建立了一个超大的数据中心，其存储能力高达4Pb以上。《经济学人》在2010年的一篇报道中指出，沃尔玛的数据量已经是美国国会图书馆的167倍。

沃尔玛实验室计划将沃尔玛的10个不同的网站整合成一个，同时将一个10个节点的Hadoop集群扩展到250个节点的Hadoop集群。目前实验室正在设计几个能将当前像Oracle、Neteeza这样的开放资源的数据库进行迁移、整合的工具。

沃尔玛曾进行了一些列的收购，包括Kosmix（沃尔玛实验室前身）、Small Society、Set Direction、OneRiot、Social Calenda、Grabble等多家中小型创业公司，这些创业公司要么精于数据挖掘和各种算法，要么在移动社交领域有其专长，从此我们就可以看出沃尔玛进军移动互联网和挖掘大数据的决心。相信在沃尔玛的带领下，传统行业也会慢慢意识到大数据的重要性，加速步入大数据时代。

企业名称：Clustrix

网址：

Clustrix创立于2005年，是Y Combinator 2006年冬季班的成员。Clustrix可以为SQL数据库提供专利数据应用方法，帮助人们处理大量的数据，使SQL数据库无限扩容成为可能。最近Clustrix从Sequoia Capital、USVP和 ATA Ventures三家风险投资公司处再次获得价值675万美元的风险投资，至今已获融资1200万美元。Clustrix总部设在美国旧金山，研发中心设在西雅图。为打开欧洲市场，公司计划将总部迁至荷兰的阿姆斯特丹，并将于年底前在印度设立办公室。

企业名称：Cloudera

网址：http:///

Cloudera是一家专业从事基于Apache Hadoop的数据管理软件销售和服务的公司，总部位于加州帕洛阿尔托，2009年3月发布了第一款商业产品，当时获得由AccelPartners领投的500万美元投资。该公司于2010年6月正式推出Cloudera企业产品。2011年11月募集到4000万美元风险投资资金，此轮融资由风险投资机构Ignition Partners的合伙人弗兰克·阿泰勒(Frank Artale)领投。Cloudera之前的投资者顶尖风投机构Accel Partners、Greylock Partners、Meritech Capital Partners 和In-Q-Tel也参与本轮投资。

证券大数据应用 第8篇

《中华人民共和国反洗钱法》(以下简称《反洗钱法》)颁布实施如今已历经十载,一系列制度的建立确立了中国反洗钱的工作框架,在反洗钱监管、案件调查、国际合作、宣传培训等方面都取得了重大成就。在人民银行的领导下,各金融机构参与反洗钱工作,将反洗钱工作落实到金融体系运行中,其中可疑交易报送作为金融机构反洗钱三大任务之一,成为提供洗钱线索最重要的工作内容,十年实践中可疑交易报送经历了从无到有到逐渐完善的过程,但也出现了防卫性报送等一系列问题,对可疑交易数据的研究成为目前完善反洗钱工作的重要内容。

二、运用大数据分析可疑交易洗钱行为的重要意义

在《反洗钱法》的框架基础上,人民银行先后制定了新的《金融机构反洗钱规定》和《金融机构大额交易和可疑交易报告管理办法》,可疑交易数据报送成为金融机构反洗钱三大基本义务之一。根据人民银行反洗钱局2013年《反洗钱年度报告》显示,2013年反洗钱分析监测中心共接收可疑交易报告2453.10万份,筛选向外报送有效可疑交易线索165份。大量的无效性数据充斥导致反洗钱分析监测部门无法及时分析堆积如山的报告,执法部门也难以掌握最新的有效洗钱动态。在人民银行风险为本政策导向下,强调要求报告机构更加注重主观识别和综合判断,努力减少防卫性报送。2014年《反洗钱年度报告》统计显示2014年反洗钱分析监测中心共接收可疑交易报告1772.53万份,相较2013年下降27.7%,向外报送有效可疑交易线索282份,较2013年增长70.9%。从接收的可疑交易报告的总量和反洗钱分析监测中心向外报出数量来看,防卫性报送情况得到一定缓解。但是根据2014年的数据,仍然每十万份可疑交易报告仅有一条有效线索。反洗钱工作因此陷于对交易历史的分析,而缺少对即时数据的处理和对未来趋势的预测。[1]所以提高可疑交易报告有效性在进行政策引导下,应采用科学的技术分析手段,运用大数据分析理论。同时,在对可疑交易的界定方面,《金融机构大额交易和可疑交易报告管理办法》第十一条至第十三条要求金融机构将48种交易或行为作为可疑交易进行报告,[2]但是对可疑交易的界定主要着眼于交易行为本身。应当将交易行为叠加综合交易人员信息、交易目的、交易习惯等因素综合考虑,形成数据类型、结构多样大规模的数据集合,将可疑交易数据的有效识别建立在有效的信息系统和技术手段支持的基础上的同时,倚仗科学的大数据分析理论,运用多维度的数据供给、历史及未来的数据及行为预测,更精准地从大量证券交易行为中获取更可靠的可疑交易数据。

三、证券公司可疑交易报送存在的主要问题

1、证券公司的可疑交易报告重量不重质

根据《金融机构大额交易和可疑交易报告管理办法》第八条规定,证券公司应当在可疑交易发生后的10个工作日内以电子方式报送中国反洗钱监测分析中心。“可疑”是一种主观认识,证券公司在做判断时更倾向于以较低的标准认定可疑,以规避监管机构的处罚,所以证券公司进行可疑交易报送仅是从监管角度履行职责,避免受到监管处罚,而非从识别洗钱风险角度,这必然与监管机构对可疑交易报送制度设计的初衷不符。同时,证券公司将可疑交易报送作为反洗钱义务的目的,报送即完成了其目的,而监管机构则认为报送可疑交易仅是反洗钱工作的起点。所以,由于证券公司与监管机构对反洗钱工作认识角度的不同,证券公司在履行可疑交易报告义务时往往形式意义大于实质意义,也就导致了大量无效报告的存在。在风险为本政策导向下,证券公司应当更加注重主观识别和综合判断,努力减少防卫性报送。

2、证券公司的可疑交易报告内容单一

证券公司的可疑交易数据通常来自于证券风险监控平台的数据警示提醒,国内领先的证券风险监控系统对于可疑交易的监控也仅能从单一交易行为本身出发,比如无交易户资金大额划转、无交易户资金频繁收付、短期交易开销户等,都是从单次操作角度定性可疑。同时,证券公司上报的可疑交易数据也是单条交易行为。事实上,“可疑”作为推理性的结论,应当建立在大量具有说服性证据的基础之上。单条交易记录的报送难以证明该行为可疑,同时也增加了监管机关对数据筛查的工作量。

四、大数据视角下证券公司可疑交易的形成和特征

1、证券公司可疑交易大数据的内容

根据《金融机构大额交易和可疑交易报告管理办法》,虽然强调金融机构在分析基础上对可疑交易的主观识别和判断,但仍然没有完全取消客观标准,并首次新增了证券期货业和保险业的可疑交易报告的客观标准。反洗钱主管部门对可疑交易报告的客观标准进行明确规定,对于满足可疑交易设定标准的交易应当予以上报。但是反洗钱主管部门制定的客观标准仅是从资金调度和交易行为本身出发,无法实现市场环境、客户交易习惯、外部机构信息互联等多维度的数据分析共享。

一个完整的洗钱过程往往需要跨越时间、地域、设计周密复杂等一系列交易环节。在分析层面上,可疑交易数据分析往往需要从单笔交易、相关账户、账户所属客户、客户关联组织等多个切面的层次进行综合分析才能做出准确判断。[3]系统要识别和还原这一完整过程必须为其提供大跨度时间和空间的系列数据。所以证券期货业可疑交易大数据的形成不仅仅包括在单个证券期货公司系统内部的客户交易行为、客户信息资料等数据,还应当包括对于其他证券期货公司中该客户的交易行为以及关联客户交易行为的数据互联,在保障客户信息安全的前提下仅在触发可疑交易时做出风险提示而非具体信息。同时,除了对交易行为的分析,还应当包括与财产关系、社会关系等数据的互联。

2、证券公司可疑交易大数据的特征

首先,随着计算能力和存储能力的提升,大数据分析方法与传统分析方法的最大区别在于分析的对象是全体数据,而不是数据样本。证券交易行为本身即是一项数据体量大、种类多、更新快、价值密度低的数据集,在证券交易行为的基础上,还需要关联客户资产信息数据、关联客户交易数据、客户历史交易数据等,形成多维度的数据网络,使结构化数据与非结构化数据有机关联。大数据的应用要求在整个数据集中查找出符合可疑交易分析结论的数据,而非抽样分析,保证了对可疑交监测的全面性、完整性。

其次,大数据分析统计的最大特点在于不追求算法的复杂性和精确性,而追求可以高效地对整个数据集的分析。通过多维度多层次数据的集合归整关联,以及对算法的设计和选择,对于瞬息万变的数据,最终的筛选结果并不要求精确性,也即筛选的数据达到具有可疑交易风险较高的程度即可,而非要求所有筛选数据直接达到认定洗钱行为的程度,以保证对可疑交易监测的高效性。

最后,对于基于大数据分析得出的证券期货业可疑交易行为数据的结论逻辑应当是相关关系,而非因果关系。通过对来源广泛、种类繁多、变化迅速、结构多样的数据集在内部建立关联关系而对某一次证券交易行为做出可疑交易识别,在逻辑仅能做出相关判断,而无法做出因果判断。所以运用大数据分析方法筛选出的大数据应当强调人工分析的重要性。

五、大数据视角下证券公司可疑交易洗钱行为分析

1、大数据视角下的可疑交易行为识别

大数据理论的发展能够实现通过对大量与证券交易行为相关的资料进行分析,把隐没在一大批看来杂乱无章的数据,例如客户年龄、社会关系、职业、信用等与客户交易行为相关的信息集中、萃取和提炼出来,找出其证券交易行为与相关信息的在洗钱中的内在规律,以求最大化的开发大数据归集对于可疑交易识别的功能。

首先应针对截面数据的统计监测方法对大数据进行风险识别。所谓截面数据,即在某一时点上的数据间的类比分析。《金融机构大额交易和可疑交易报告管理办法》第十二条第四款、第六款将“长期闲置的账户原因不明地突然启用,并在短期人发生大量证券交易”、“开户后短期内大量买卖证券,然后迅速销户”列为可疑交易标准。该客户标准仅从客户自身的交易习惯进行分析,而忽略了市场环境、忽略了群体行为数据。事实上在证券市场上涨期,上述两种行为大量存在,并无法起到识别可疑交易风险的作用。从截面数据分析角度进行对比分析,对于因市场环境等外在因素导致的群体性行为可避免被误认为可疑交易。

其次应针对时间序列数据的统计监测方法对大数据进行风险识别。时间序列即对单个客户自身的所有证券交易行为进行历史记录,根据其自身的所有综合信息测算出其交易习惯,并根据客户信息的更改随时重新测算,相当于通过大数据的统计为每个客户建立个人交易习惯档案,对于落在交易习惯范围外的数据则具有可疑交易嫌疑。对客户历史信息的建立,能够识别出个体相对于自身的可疑,而非相对于群体的可疑,个体的可疑对于识别洗钱风险更具现实意义。

2、大数据视角下的可疑交易风险评估

通过多层次、多领域数据的集合可以搭建出具有联动性的大数据集合,以帮助识别出证券可疑交易行为。通过大数据相关分析及回归分析方法,测定不同因子间的相关关系规律性,将相互联系、相互依赖、相互制约的数量关系内在逻辑进行搭建,将不确定、不严格的依存关系,通过多变量间的关联而变得清晰。交易是一个过程,财产关系是一种状态,状态和过程存在相互印证的关系,在某些情况下,脱离财产关系,仅从交易行为获得取涉嫌犯罪的线索是很难的。例如对于法人账户的非股份交易过户行为,如果单纯看到该法人在信用系统中显示有较高的债务负担,则二者并无关联,如果该法人账户的股份通过非交易行为过户的接收方恰为其债权人,则该非股份交易过户即不可疑,为非货币交易偿还债务行为。即通过该种信息网的形式,达到对可疑交易的风险评估效果,以实现数据的有效性。

六、证券公司在大数据下如何做好可疑交易报告

1、多渠道建立多维度的大数据体系

可疑交易大数据的建立分为内部信息系统数据采集以及实现与外部多机构的信息系统互联两方面。首先,证券公司应有效整合可疑交易监测分析与客户尽职调查两项工作,客户尽职调查与可疑交易的报告二者之间是密切关联、相辅相成的关系。[4]通过客户尽职调查、客户风险等级划分工作全面收集客户信息,通过多手段多渠道保障客户信息采集的真实准确完整。其次,构建有效的系统对接保障数据的传输准确、安全。风险监控平台的数据应与客户柜台系统一致,做好内部系统的对接与关联,保障大数据建立的有效性。最后,在各证券公司间应建立客户关联账户信息以及关联人账户信息的关联机制,保证不侵犯客户隐私及客户交易安全的前提下尽可能地实现大数据完整性。外部信息系统数据采集方面,首先需要出台制度性的规定,保证证券公司在向外部机构索取数据过程得到外部机构配合,做到有法可依。目前除了与公安部门户籍管理系统相连接外,证券公司还未建立与工商、税务、技术监督管理等部门信息管理系统的接口,证券公司与外部横向信息传输难以落实,真正的大数据体系就无法建立,而外部信息的收集与科学关联是大数据系统建立起来的关键。

2、开发更加科学的反洗钱监控系统

目前证券公司采用的反洗钱监控系统普遍存在数据抓取单向性的问题,无法适应大数据状态下数据互联互通下的数据分析要求。没有科学可用的监控信息系统,大数据的集合及数据的有机关联将失去意义,只有具备配套的监控系统来实现大数据下可疑数据的识别,可疑交易的大数据分析理论才能落地,才具有现实意义。所以,证券公司应当组织开发适应于大数据分析理论的反洗钱监控系统,同时证券监督管理部门也应当予以支持。

3、积极开发可疑交易指标

在大数据分析理论之下,仅从证券交易行为自身角度出发制定的可疑交易标准将不再适用。证券公司应当结合自身的反洗钱要求及水平制定符合自身情况的可疑交易标准,更加强调可疑交易报送的质而非量。可疑交易指标的开发应以风险管理为原则,以洗钱风险作为根本评价指标,转变应对监管机构检查的可疑交易报送思路,切实的将反洗钱作为该项工作的核心。可疑交易指标的开发应对大数据的数据集为依据,建立多维度信息关联的指标,实现大数据统计的意义。

4、提高报送数据质量

证券公司的可疑交易数据报送通常以数据包的形式,内容包含客户基本资料以及识别出的单笔可疑交易,并未形成推理性的信息组合。在大数据信息系统及大数据理论分析之下,完全可以形成对交易推定可疑并形成合理怀疑的信息组合,所以证券公司在向监管机构报送可疑交易报告时,应当保证报告的完整、清晰、推论合理,减少监督管理部门的可疑交易信息洗钱风险评估的工作量。

5、提高主动分析能力

大数据的分析理论对于可疑交易的筛查只能提供相关性的可靠保证,而非提供因果关系的绝对保证。即使通过多维度的复杂数据分析算法得出的数据,也并不能完全保证其符合洗钱行为要素,所以必然需要辅之以人工核查。实现对于客户的可疑交易行为进行交易目的分析,提高人工主动分析的能力。提高主动分析能力可以改变证券公司在可疑交易报告报送中的被动地位,保证每一笔报送的数据经过核查并实现证券公司自身的内心确信,而提高可疑交易报送的质量。同时,对于可疑交易报送应建立不以数量为标准,而强调数据质量和数据全面性原则。

七、结语

反洗钱是《反洗钱法》赋予金融机构的一项重要任务,要求金融机构将履行反洗钱工作落实到具体业务的开展过程中,实现业务本身就是反洗钱实施和实现的过程,业务与反洗钱工作相辅相成,相互促进,所以金融机构应当提高对反洗钱工作的认识。同时依靠外部监管力量建立与外部机构信息的互联互通合作。在证券公司、其他金融机构、监管机构、外部机构的共同努力下推动大数据可疑交易数据分析和报送的建立,对于整个金融系统识别洗钱风险都具有重大意义。同时,应用大数据理论分析可疑交易是符合国际反洗钱组织风险为本监管理念的,是真正实现以风险为导向的数据分析理论。

参考文献

[1]高增安.反洗钱:可疑交易行为报告制度有效吗.证券市场导报.2007(4)

[2]汪加才,谷瑞军.金融机构可疑交易监测分析的策略与方法研究.海南金融.2012(10)

[3]汤俊.反洗钱可疑交易报告工作绩效评估要素及其技术实现.西南金融.2013(3)

[4]潘丽,刘伟.可疑交易监测分析制度及效率研究.金融与保险.2009(9)