第一篇：金融大数据行业分析
基于大数据分析的互联网金融风险预警研究
摘要：大数据分析和互联网金融都是时下最火热的词汇，大数据和互联网在金融行业的完美运用无疑将带给整个金融行业以巨大的变革。但互联网金融是机遇与风险并存的，它的风险因其与网络的融合比传统金融业更大，做好金融风险预警是十分重要的，本文分析了互联网金融风险预警机制，并提出了具体措施。 关键词:大数据分析;互联网金融;金融风险;风险预警 引言
当前，大数据时代已经来临，数据的大量积累和迫切需要数据处理的时期，大数据分析应运而生。与此同时，阿里巴巴、腾讯、等互联网巨头纷纷涉足金融服务，以支付宝为代表的各类互联网金融产品纷纷出现，基于大数据分析的互联网金融日益发展。大量客户为获得高投资回报将金融资源转向互联网，对互联网金融风险预警的研究得到广泛关注。
(一)基于大数据分析的互联网金融特点、优势
大数据分析就是通过统计方法对数据进行分析，获得数据中有价值的东西，以发挥数据的作用。互联网金融把传统的金融业务与互联网相结合，带给大家全新的体验，互联网金融基于对大数据的分析。不可否认，互联网金融具有自身的优越性。
互联网覆盖面积大，各个系统间相互联系，信息共享，其便捷的数据传递可以解决信息不对称问题;互联网金融在支付、信贷、存款等各领域均有创新，快捷的交易突破地理距离和时间的限制，便利人民大众的生活，冲击了传统金融行业的传统金融业务。
(二)基于大数据分析的互联网金融的风险 1，信用风险
互联网金融毕竟还属于新兴事物，配套的法律法规体系尚不完善，信用体系构建也有待进一步加强，对注册企业的资格审查要求不如银行严格，准入门槛也参差不齐，客户身份识别上也有漏洞，不能排除一些注册企业资质不够，发生违约的信用风险，甚至利用互联网金融从事洗钱等违法犯罪行为。一般情况下，主流的互联网金融软件，如支付宝，采用第三方支付的方式在一定程度上降低了信用风险，但还有些企业由于资金、技术等各方面原因，本身不具备第三方支付能力，信用风险极大。 2，隐私风险
在网络中，数据信息可以快捷流动的同时也存在信息泄露的风险。如开户资料中要求投资者详细提供身份信息，银行账号、银行账号密码、手机号码，家庭住址等信息，如果泄露出去会给投资者带来难以估量的损失。还有一些软件要求绑定手机，用手机验证码完成系列交易，那万一手机丢失，则隐私泄露，威胁财产安全。 3，技术风险
互联网金融基于互联网的大数据分析，必须以互联网的正常运作为前提条件，网络环境还有待进一步优化，网络金融犯罪问题突出，黑客攻击，网络病毒、网络技术故障等情况下，网络不能正常运行，给投资者带来资金损失的风险。而且这样的风险规模巨大，难以及时控制。
(三)金融风险的预警机制 1，预警信号的分析 早期预警信号往往是金融风险的先兆，关注早期预警信号可以再风险到来前预测时态发展趋势，采取有效措施进行风险管理。早期预警信号有的很明晰，比如企业的信誉受损、财务状况重大变化等，可以做出很清晰的判断。有的信号如财务报表、政策变化等就需要决策者判断、分析、做出正确的解读了。总之，对早期预警信号的分析判断风险还是机制中的一种较为直观的方法。 2，预警指标体系的设计
建立科学的指标体系是金融风险预警分析的首要基础，我们希望能通过对一系列的数据进行分析，把握金融风险爆发的前兆，在风险发生前做出预警，规避风险。指标的选取要遵循一定的原则，比如可测、可控、相关、抗干扰、有代表性等，方便得到数据，并且灵敏的反应互联网金融风险。我们可以从宏观经济金融指标、中观经济金融指标、微观经济金融指标三个方面分别建立指标体系，针对不同系统做出预警。
(四)风险预警措施
1，科学的数据指标体系和考核评价体系
科学的风险监控体系考核评价体系都要要以数据为核心，以定量描述的指标为检测标准，对达到预警值得指标要及时处理。具体步骤就是，首先选取合适的指标，建立一套与金融风险变动的相关性较强的指标体系，再根据经验及预测选取各个指标的预警值，最后用数值监控互联网金融的风险。对参与者各项评估检查也要依托数据体系，量化考核机制，严明奖惩制度，对各项指标均在目标值以内的参与者给予奖励或适当减小检查频率，对指标达到风险预警指标值得参与者采取增大检查频率，约见谈话，要求反思原因，要求制定改正措施等特定性处理措施。
2，三位一体的风险预警监控网络
对风险预警的监控要靠部门间的协调配合，相互制约，金融监管部门监管、行业内部自律管理、社会公众监督相互配合，形成三位一体的风险预警监控网络是行之有效的监管方案。监管部门起到引导作用，制定目标和规范，统筹该预警机制的建立和维护工作。金融部门要根据自身发展情况制定内部管理制度、风险防范措施，具体执行互联网金融风险的预警工作。当然了，要使该预警监控网络发挥巨大作用还离不开广大人民群众的监督。 3，完整的法律体系保障
互联网金融要想健康持续发展，必须在法律法规的框架下运行，还要有政府的政策支持和投资者的相互监督、自律管理。创造健康、公平的环境，保护互联网金融投资者的资金安全。政府要加强立法和执法监管，制定的规定要具体化，比如建立大额资金报告制度，可疑交易报告制度等，对突发事件或可疑事件可以采取技术加以暂停或延迟成交等措施，要规范各方的行为，比如开户时的客户身份核实需要的具体证件等都要做出具体的规定，督促各个参与者自觉加强风险预警工作，对违法违规的参与者处罚措施要做到实处，提高监管能力。 结语
综上所述，我们必须建立健全金融风险预警体制机制，采取有效的措施防范风险，为保障互联网金融正常运行，基于大数据的金融风险预警系统，在金融互联网化的时代背景下将会得到快速的发展
第二篇：2017中国大数据金融论坛
http://
2017中国大数据金融论坛
论坛议题Forum topics i大数据金融的发展及应用领域 i大数据金融生态、场景化建设 i政府大数据应用现状及发展趋势 i数据共享、征信共享、隐私边界
i大数据标准化建设 i大数据助力互联网金融
i大数据助推消费金融、供应链金融等新金融形态 i大数据推进征信体系的建设 i大数据金融盈利模式探析 i机器学习、智能投顾 i大数据风控、反欺诈
i大数据技术发展及IT架构转型 i不良资产处置
本次论坛旨在推动大数据金融在中国的发展，明确大数据金融的发展态势与应用模式，提升业内企业核心竞争力，同时加强行业内紧密合作，推进大数据金融生态的良好发展，促进互联网金融、消费金融、供应链金融体系的良好建立，落实普惠金融、大数据的国家战略。本次活动将邀请权威指导机构、监管部门，聚集优秀的网贷平台，金融科技公司，电商平台，http://
数据提供商，知名征信机构，银行及小额信贷公司，大数据服务提供商，社交、支付平台，传统金融机构，信用评级公司，消费金融、供应链金融公司，共同分享大数据金融的发展趋势及要领，探索产品技术创新，多角度推动大数据金融行业建设 企业类型Enterprises 企业类型：
监管部门、权威协会，网贷平台、金融科技公司、电商平台、数据提供商、安全技术提供商，知名征信机构，银行及小额信贷公司、大数据服务提供商、社交平台、支付平台、消费金融等行业内的领先公司 代表企业：
百度金融(百度钱包)、蚂蚁金服、腾讯、京东金融、苏宁金融(苏宁金融研究院)、FICO、Experian、融360、信用宝、易宝支付、毕马威中国、百融金服、集奥聚合、平安科技、夸客金融、红杉资本等
2017中国大数据金融论坛|BDFF 组织机构
指导单位：中国共和国商务部中国电子商务协会 主办单位：耘熵信息
协办单位：中国电子商务协会互联网金融研究中心 战略合作单位：易观数据苏宁金融研究院
战略合作媒体：网贷之家数据猿征信宝数据观
支持机构：中关村大数据产业联盟中关村贵阳科技园中国大数据专家委员会 论坛特色：
信息来源： http://
https:///event-3889772.html
第三篇：金融业如何利用大数据进行精准营销
导读 近几年各行各业对大数据技术的应用越来越多，但凡有财力的企业都跃跃欲试，更何况是“手握重金”的金融行业。金融业如何利用大数据进行精准营销?如何构建新一代大数据运营中心?且听永洪科技高级咨询师胡星昱围绕金融行业的经验分享。
说到大数据，有两点我们要强调一下：一个是数据资产化，另一个是决策数据化。
IT部门转变成利润中心
信息技术部门是做IT支撑的，每年都会进行软、硬件大批量采购，企业内部都认为信息技术部门是成本中心，信息技术部门的数据也都是伴随业务发生时产生的一个附属物。 随着大数据技术发展，企业希望通过数据寻找业务规律，对客户需求进行挖掘，因为这样做会给业务带来直接的价值，帮助业务进行优化和提升，所以数据成了金融机构的一项宝贵资产，掌握数据量最大的信息技术部门也逐渐成为企业的利润中心。
从战略方向上讲，以前在企业内部，主要是决策人员根据经验主观判断进行决策，这样做的风险很大，因为人会受到自己所处环境和情绪的影响。所以企业必须借助数据的帮助来做决策，并进行客观的验证和预测，要从原来依据经验说话向依据数据说话进行转变。
在数据量和数据分析需求日益增加的挑战下，从战略层面上讲，金融机构需要建立一套“数据驱动型”的模式，即真正落实大数据运营中心。
从战术方面上讲，金融行业内企业可以尝试三种战术方向。首先可以通过用户画像、精准营销来做运营优化。其次是通过运营分析、产品定价来做精细化管理。最后是利用实时的反欺诈反洗钱应用，以及中小企业的贷款评估来提高风险控制能力，最终实现全面提升金融企业的核心价值和能力。
新一代金融大数据运营中心 金融行业内的企业现在都需要一套整体化的业务架构。构建业务架构要从搭建一套企业级数据中心说起。企业级数据中心会包含企业的业务系统、外部数据和一些机器日志，这些结构化、半结构化和非结构化的数据，都要被汇集在一起。
在这些数据之上，金融行业内企业可以建立各种各样的分析模型。比如利用用户画像做精准营销，用EVA指标模型和反欺诈模型做多维盈利分析、反欺诈的交易分析等。
运营优化、管理提升、风险监控，这三个方向到底给金融行业带来什么价值?
首先是精准营销。精准营销真正要做的就是了解客户：客户到底是什么样的?客户是谁?客户需要什么产品?客户有什么产品偏好?客户喜欢哪些产品组合……还有就是如何进行有效营销、如何提升客户价值、保持客户忠诚度。
比如，现在很多金融机构都有APP，就可以分析用户在寻找什么产品，用户在找到一款产品并真正实现交易的过程中会浏览哪些页面，在哪个页面停留最长时间，交易中断是什么原因造成的等，而分析结果可以用于提升运营效果。
说到精准营销就不能不谈用户画像。以前经常听到“360度用户画像”这个词。 但我觉得，“360度用户画像”更像一个广告宣传语，因为人是非常复杂的动物，很难用可数的纬度来100%地描述，所以需要从一定目的出发来建立用户画像。
尤其是在企业内部没有足够数据来构建用户画像，需要通过外界渠道来获取数据支撑的时候。数据的获取是有成本的，更不应该盲目搭建用户画像体系。也就是说，用户画像的本质其实应该是从业务角度出发，对客户需求、消费能力，以及客户信用额度等进行分析。
举个小例子，比如说做存贷款产品营销时，可对高价值信用卡用户的AUM进行分析。筛选他们每月的消费金额、信用额度、当前存款情况、贷款有没有拖欠，是不是商务卡持有者等，通过这些维度对用户进行分析。再针对不同用户分群给出不同的营销策略。比如说哪些用户该提升额度，哪些应该为其推荐金融产品。营销在落实时，可以先通过短信进行营销，再通过呼叫中心来了解客户意图。当客户有意向时，再交由理财经理进行进一步跟进。
除精准营销，还有多维盈利分析。多维盈利分析金融机构已经做很多年了，我最近也与国内几十家金融机构进行了交流，发现其实在业务上他们都希望多维盈利分析能够做到帐户级。可实际上，大部分金融机构现有的IT架构只能支撑做到产品级，或是科目级分析。为什么?就是因为金融机构普遍数据处理能力不够。如果要跑一个帐户级的结果出来，系统要跑好几个小时。而通过数据运营中心，就可以实现几十分钟出结果，企业就可以更好地进行精细化管理。
在风险监控方面，可以列出很多风险监控的指标，再通过这些指标用大数据平台进行实时监控，真正了解整个企业当前所处的风险等级。
传统业务架构存在的6大缺点
上述应用在传统架构下能否实现?我认为传统业务架构存在6大缺点。
第一是不够敏捷，对业务新需求满足的时间太长。我通过交流了解到，有些金融机构内部业务新的需求提出后，需要几周，甚至几个月时间才能把报表提交上去，业务人员才能看到他需要的数据，这种效率显然跟不上市场变化。
第二是性能不佳，在海量数据面前，没有足够的计算能力去实时计算数据。
第三是洞察力弱，传统IT架构已无法深入挖掘海量数据的数据价值。金融企业的分析人员已不满足于只看到数据呈现，还希望对数据进行聚类、分类的算法来挖掘数据价值。 第四是扩展性差，海量历史数据无法单机存储，传统的IT架构又不支持水平扩展。 第五是无法挖掘非结构化数据价值，现在每年金融机构的数据增量中有百分之七十到八十的数据属于非结构化数据，如果不能把这部分数据的价值挖掘出来，是严重的浪费。
第六是成本高，从系统搭建到项目实施整个过程不可控。动辄上百万元资金成本或一到两年时间成本的项目在金融机构中很多。
所以，永洪提出了新一代的金融大数据应用中心的IT架构，可以根据业务需求不同，分为在线需求和离线需求。
在线or离线
为什么要分在线和离线?其实，很多需求都是按时效性区分的。
举个小例子，比如我们会分析现有的客户中，哪些属于即将流失的客户，哪些是高价值客户。在这个过程中，要经过复杂的模型，考量多个指标来判断，而结果也许并不需要马上就得到。但在分析某个地区时，高价值客户最近的消费倾向这种分析需求是非常灵活且时刻变化的，这就要求能够实时得到计算结果。
下面，我把在线和离线分开介绍。
在线分析需求，我们总结出了一个最佳实践。这里顺便回答下如何实现敏捷分析的问题。在以前的架构中，通常是把业务逻辑和数据模型结合在一起，也就是根据业务需求制作数据模型，制作CUBE，做二次表，进行汇总计算，最后反馈和展现的只是一个很小数据量的结果。在那这样的架构中，前端需求一旦变化就需要改模型，造成工作量大，交付时间也会拖长。
所以永洪提倡把数据模型和业务逻辑分开。数据模型只把跟分析主题相关的数据关联到一起，做一张大宽表。比如，现在要进行营销相关分析，就把数据交易数据、用户数据、渠道数据都打通，关联起来，但这些数据不要汇总，也就是要保持交易记录级的数据粒度，而要分析哪些纬度，需要什么粒度的数据，都可以通过实时的计算，这样就不会造成业务逻辑和数据模型混在一起。
不能每个分析需求都建一个CUBE，之前我见过有的企业数据仓库中有上千个cube，因为数量太大，根本没人来管理。而每当有新需求提出，也只能做新CUBE。这么做对企业来说有风险。
如果不愿意对数据来进行汇总计算，而是进行实时计算，就要提供大量细节数据实时计算的能力，这时可以采用了MPP数据集市来处理在线分析需求。
在这个过程中，永洪运用了列存储、分布式计算、列存计算的技术来提高运行效率，就算是百亿级的数据，也可以通过这种分布式的集群，实时进行分析计算，然后反馈给用户。 此外，大数据平台离线分析是通过Hadoop的平台来做结构化和非结构化数据的存储，解析。然后在上面会用YARN量做资源管理——根据分析需求决定是用批处理模块还是搜索模块、是用流处理还是用机器学习等。
永洪科技现正在帮助国内各个企业进行数据挖掘应用。我们的客户范围涉及电信行业、能源、政府、金融、零售，还有IT互联网行业，永洪会帮助他们提升数据运营效果。
接下来，简单介绍几个做过的案例。
首先是一个股份银行，永洪通过大数据平台，帮助他们进行用户画像的精准营销，把金融机构持卡人的信息、信用卡信息、微信卡信息都拿过来。在大数据平台上，通过画像和算法给用户进行画像分群，根据分析需求来构建画像模型，基于Map Raduce聚类和算法对用户进行分类，然后再进行数据域处理，最终完成用户的画像。
另外,永洪也帮助华北一些金融机构在传统数仓上搭建在线分析平台，以及帮助他们建立全行的报表平台。例如行长驾驶舱和业务类型报表。永洪也为中信金融机构杭州分行、四川分行搭建了在线分析平台。杭州分行通过在线平台帮助用户实时分析零售数据。以前他们的分析人员大部分精力都用在整理数据和制作报表上，通过永洪的在线平台，业务人员可以自己接触到数据，并且可快速地生成分析报告，把真正精力都放在分析数据这块。
现在，整个行业正处在数据架构和数据分析系统的变革时期，永洪科技非常希望通过提供专业技术和服务来帮助金融机构把数据价值挖掘出来，提高业务能力，提高竞争力。
胡星昱：澳大利亚莫纳什大学商业信息系统硕士，拥有3年大型企业需求分析，项目实施和解决方案制作经验;曾为国外大型零售企业和政府机构设计和实现数据分析系统，成功推进国内多个大型金融项目的需求、设计、研发、实施工作。在企业级系统集成，大数据，BI领域有丰富的项目经验;目前主要负责产品和解决方案的咨询工作。
第四篇：大数据时代的互联网金融风险研究
摘 要 近20年来，互联网的商业化应用不仅对传统金融机构的业务产生了巨大影响，还促使互联网思维向金融市场发展，从而衍生出新的支付方式、投融资模式和渠道，如p2p网贷、众筹融资、基于大数据的网络信用贷款等。该文对互联网金融的概念与起源、国内和国外的发展情况、存在的金融风险及研究现状等存在的问题，进行了系统梳理，提出了大数据时代的互联网金融风险研究重点。
关键词 大数据 互联网金融 金融风险
一、关于互联网金融的概念与发展趋势
(一)互联网金融的概念
互联网金融(itfin)是指以依托于支付、云计算、社交网络以及搜索引擎、app等互联网工具，实现资金融通、支付和信息中介等业务的一种新兴金融模式。通过借助互联网技术、移动通信技术，实现资金融通、支付和信息中介等业务。它与商业银行的间接融资和资本市场的直接融资都不同，互联网金融是在实现安全、移动等要素基础之上，用户接受并认可以及为了适应新的需求而产生的新模式及新业务。
(二)互联网金融在国内的发展
1.互联网支付。依托互联网，以第三方支付为中介，通过电脑、平板、手机等设备，在买家和卖家之间进行资金中转后再划转的服务，如支付宝、财付通等。
2. p2p网络借贷。p2p全称是peer-to-peer(或person-to-person)的缩写，意为点对点(人对人)。p2p网络借贷是通过网络中介平台实现的直接借贷，如人人贷、陆金所、宜信等。
3.网络小额贷款。网络小额贷款是p2p网络借贷的另一种借贷模式，是指互联网企业通过其控制的小额贷款公司，向旗下电子商务平台客户提供的小额信用贷款，如阿里巴巴、苏宁、京东、百度等设立的小贷公司。
4.融资众筹。融资众筹是指通过网络平台为项目发起人筹集某项活动所需的定量资金，并由项目发起人向投资人提供一定回报的融资形式。
5.在线金融产品和服务。主要可分为以下形式：一是线下实体业务的金融机构的互联网化，如网上银行，网上证券交易、网上保险销售等;二是完全通过互联网提供业务开展的专业网络金融机构，如众安在线财产保险;三是提供金融业务的服务支持，但并不提供金融业务本身的，类似于金融产品和业务的搜索。
6.公募基金互联网销售服务。根据网络销售平台的不同，基于互联网的公募基金互联网销售大概可以分为两类：一是传统基金通过互联网为投资人提供基金销售服务，其实质是传统销售渠道的互联网化;二是基金销售机构借助其他互联网机构平台进行基金的销售，包括第三方电子商务平台开设网店销售基金、第三方支付平台的基金销售等模式。
二、互联网金融的风险管理与控制
(一)互联网金融存在的风险
1.互联网金融风险分析。当前，我国经济发展已进入新常态，中国经济的增长动力已从要素驱动、投资驱动转向创新驱动。经济新常态将带来新的经济结构、新的发展方式、新的思维方法、新的商业模式、新的金融创新模式，经济发展将呈现新的特征。
相比传统的资本市场直接进行融资，商业银行介入间接的进行融资不同，互联网金融是利用移动通信技术和互联网技术，来实现金融的信息传递、支付和融资等功能的一种新兴融资模式。随着移动互联网技术的发展，互联网金融模式也得到了快速的发展。据统计，截至2015年底，中国互联网金融的市场规模达到12万～15万亿元，占gdp的近20%。而互联网金融用户人数也超过5亿，成为世界第一。根据报告，2015年，全球投入金融科技领域的资金是2011年的近8倍，“过去5年，超过400亿美元的资金流入这个领域”，麦肯锡马奔表示，数据显示，与2015年4月1日前，仅有800家的金融科技公司相比，当前全球金融科技公司已突破2000家。
2.互联网金融的本质，互联网金融的经济属性。互联网金融是这个时代的代表，是信息社会这样一个时代背景下，特殊的金融形态。在工业社会，人类社会开始进入机械化的时代;在信息社会，人类社会进入数字化的时代。工业社会标志就是蒸汽机的发明，驱动社会增长的是能源;信息社会的标志是互联网，驱动增长的是数据。
互联网金融的技术属性，互联网金融的技术基础与传统金融技术基础完全不同。在数字货币领域，有一个非常重要的技术叫做区块链技术，所谓区块链技术是用一套数学的方法，互联网金融实质上是在区块链技术上的某一个应用，从而重建了金融。目前，在工业经济时代，通过数据来解决问题，在未来，通过数学方法解决在互联网上的价值创造和价值交换。
互联网金融的组织属性，可以理解为众筹模式下的金融。在工业社会，一切商业活动以产业链条来组织，满足如个性化的定制，碎片化的需求和场景化的服务。从这个角度出发，重组整个商业逻辑和流程，互联网金融同样也会被需求链所重组，真正地从需求当中做到点对点，由消费者发起，并影响整个上游的生产和供应。众筹的范围可以包括思想、股权，这是互联网金融的本质组织属性。
(二)互联网金融风险研究现状
1.声誉风险。互联网金融本身民营资本色彩浓厚;资本金不足，抵御风险与偿付能力相对较弱;期限错配，流动性风险较大。而且互联网金融缺乏长期数据积累，风险计量模型科学性有待考证。同时，缺乏隐形的政府信用做担保和可靠的资本金补充渠道，与传统国有银行或股份制银行竞争，处于一定劣势地位。
2.监管风险。目前，银行业的监管框架是基于新巴塞尔协议设计的。新巴塞尔协议主要是针对传统银行的传统风险而设计，巴塞尔协议下的三大支柱，即最低资本要求、外部监管、市场约束。然而，这三大支柱对新兴的互联网金融监管几乎无效，直接导致了互联网金融目前属于监管缺位状态。同时，政府主管部门对互联网金融的态度也尚不明确。
3.投机风险。从目前发展情况来看，互联网金融募集到的资金，主要投向货币市场、资本市场、债券市场、外汇市场等虚拟经济领域，与实体经济渐行渐远，其自身风险不断集聚。
4.信息安全风险。互联网金融广泛采用了大数据的数据挖掘与数据重构，这随之而来带来了两大风险：第一，网络系统、存储中心本身存在漏洞引起技术风险;第二，海量客户信息与个人隐私的信息泄露风险。
(三)互联网金融的风险控制
1.设定风险标准。互联网金融首先从企业自律开始，梳理自身的业务流程和交易结构，行程企业标准，最后上升到行业标准。
2.接受客户监督。互联网金融需要接受客户的监督;需要涉及契约是否规划，交易双方所签合同权利、义务是否对等，合同是否合规、合法等。针对目前很多互联网金融企业的不同不规范的情况，可以请法律专家来进行审核，审核以后才能进行发布。
3.发布行业规范。发布行业公约规范，要有履约机制、约束机制进行考核，同时辅以舆论监督规范，让传统的报纸、杂志、电视等发挥其监督作用。
三、结语
今天的互联网金融虽然还不完全成熟，也存在一定风险，但是互联网金融必将是一个巨大的产业集群，会让我们每个投资者(消费者)，从目前的眼球关注阶段进入深入参与交易阶段，最后发展到人人从中受益。
(作者单位为武汉大学经济与管理学院)
[作者简介：肖凌(1978―)，智慧城市研究师，发表论文3篇，主要从事云计算、大数据与传统行业市场方面结合研究。
第五篇：大数据分析
1什么是大数据? 云中大数据：融合技术
如今，大数据分析和云计算是全球企业最为关注的两大 IT 话题，大数据分析提供独具价值的洞察，帮助企业打造竞争优势，启迪创新，推动收益增长。作为 IT 服务的交付模式，云计算可以增强业务灵活性，提高生产力，同时增加效率，降低成本。
2大数据能给我们带来什么?
中国社会的急剧发展带来了数据的暴增，从街头的交通摄像头到商场的打折信息，再到网商的用户资料、信息，无不充斥着大量的数据，而在这背后，如何找出有用数据，如何发现规律，如何找到新的商业机会?
大数据究竟能给我们带来什么?
信息时代的特征之一就是数据的密集爆发，而这种数据的变化没有一个循序渐进的过程，呈现跨越式的特征。比如手机里的信息不断地堆积，从最开始的通讯录到短信、彩信，再发展到现在的智能手机时代，更多的来自于应用的数据如微博等正在积累起大量的数据信息。放大到社会而言，产生的数据更是异常庞杂。毫无疑问，大数据时代已经来了。
什么是大数据?
，数据已从 TB 级别跃升至 PB 级别;对大数据，现在比较流行的是用 4 个“V”来总结其四个层面的含义：容量巨大(Volume)
数据类型多(Variety)，从普通的文字、视频、图片到逐渐增多的地理位置信息等，类型纷繁，已无规律可循;价值密度低(Value)，以视频为例，在连续不间断监控过程中，可能有用的数据也许只有一两秒;处理速度快(Velocity)，实时分析对某些应用才更有意义，而不是批量式分析，即时处理已经成为趋势之一。
大数据的发展趋势和带来的机会
在大数据概念出来之前，个人制造的数据往往被忽略，企业数据被谈及的更多。企业内部的数据多数都是结构性数据，并被企业在或多或少地利用着，无论是数据挖掘还是商业智能化应用都已经初露端倪。面对这些应用需求，企业依托自身的数据库系统就可以解决，例如应用少量 x86 服务器、客户端，再加上 Sybase 系统、Oracle 系统、Unix 系统等。
随着互联网的快速发展，在企业数据还没有井喷的时候，我们就发现个人用户以及社会应用产生的数据已经开始爆发了，比如社交、交互式应用带来了大量的网络数据，这种非对称性数据充斥在我们周围，包括网络日志、点击流、电话记录、医疗记录、传感器和监控摄像头等等，各种来源的巨量数据种类丰富，让人无所适从。此时传统的硬件设备开始显得捉襟见肘，无法满足这种庞杂数据带来的应用需求。很多时候，也许我们会认为这些数据里会有价值，但是却不知道如何挖掘这些数据的内在价值，数据成为了堆砌。因此，对于数据精准分析的需求正在呼唤做数据分析的厂商们拿出下一步的举动。
比如说，在淘宝庞大的用户群中，淘宝卖家如何精准掌握一个新用户的需求?一家饭馆如何利用细节满足每一个食客对于美味的需求?越来越多的应用需求推动着大数据的发展。更主要的是，未来可能各种传感器会出现在社会的各个地方，数据会更多，比如交通、医疗等等，数据的采集已经不是问题，难点已经转换为处理和分析。如此巨量的数据，处理难度可想而知。
大数据给中国市场带来什么?
大数据应用需求在中国更加明显。中国人口众多，各行各业都呈现出极快的增长速度，电商、快递、微博、社交等都承载了大量的个人信息;大型超市、卖场、商场、银行等集聚了大量交易信息，日新月异的城市建设中，连接着更多数据采集传感器和嵌入式设备的物联网开始成型……大数据的时代正在到来，不仅有机遇，也存在挑战，且机遇大于挑战。
目前，网络搜索曾经在数据分析方面获得了一些机会，但远远不够，而且也是在相对偏窄的一个区域内利用信息，更多的数据散落在社会各个环节中，梳理分析出这些大数据带来的商业机会逐渐凸显价值。在中国市场，工信部发布的物联网“十二五”规划上，把信
息处理技术作为4项关键技术创新工程之一提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。而另外 3 项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与大数据密切相关。
大数据背后的商业机会
在实现大数据的过程中，硬件和软件供应商都可以找到合适的位置和方法来实现自身的价值，因为大数据的实现需要硬件具备足够的性能、灵活性以及可靠性和软件层面的优化支持。从目前的企业计算领域来看，IA架构是承载和实现大数据的理想平台。对于数据分析来说，基于英特尔至强处理器的双路/多路平台具备开放式、普及性、易优化、灵活易扩展等特点，是实现大数据应用的出色载体。英特尔的双路至强处理器已经通过实践验证了自身在计算能力的领先性，而以其为基础的主流服务器和存储系统具备无可比拟的扩展性。对于商业智能来说，基于英特尔至强处理器的多路平台则具备高性能、高能效、灵活扩展以及高性价比等优势。
此外，英特尔还拥有类似于英特尔发行版 Hadoop 这样的开源分布式架构以及相关的软件工具如编译器、函数库等，英特尔已经形成了完整的大数据解决方案。英特尔提供经过验证的方法和工具来优化 Hadoop 部署，包括具有代表性的 Hadoop 应用集合 HiBench，和基于数据流的 Hadoop 性能分析工具 HiTune 等等。Hadoop 对海量数据处理的支持，可以让用户不再依赖价格高昂的大型专有设备，而是通过大量 x86 服务器集群就可解决——利用较高性价比的 x86 服务器来搭配并行计算架构，从而可以以最符合经济效益的方式完成庞大的计算任务。
对于国内市场而言，对于大数据应用机会的重视和抓取已经越发明显，作为世界上人口最多的国家，中国产生数据的潜力可想而知，即便能掌握其中一部分大数据，对于企业发展也具有不可估量的价值。比如微博等社交网络平台上产生的大量碎片化信息，如果被合理应用，并精准分析、管理、挖掘这些数据的内在价值，那么就能掌握下一个互联网发展机会抑或革命，这还仅仅是互联网层面，放眼到全行业，可以利用的机会则更多。而英特尔与产业合作伙伴的强大产业生态链能够满足行业需求的同时在大数据时代用创新技术将大数据背后的价值一一呈现，并促进更多商业机会的出现。
3大数据：落地正当时我们正处于一个信息大爆炸的时代：宽带普及带来的巨量日志和通讯记录，社交网络每天不断更新的个人信息，视频通讯、医疗影像、地理信息、监控录像等视频记录，传感器、导航设备等非传统 IT 设备产生的数据信息，以及持续增加的各种智能终端产生的图片及信息，这些爆炸性增长的数据正在充斥整个网络。据权威市场调查机构IDC预测，未来每隔 18 个月，整个世界的数据总量就会翻倍;到 2020 年，整个世界的数据总量将会增长 44 倍，达到 35.2ZB(1ZB=10亿TB)。“大数据”时代正在来临!
“大数据”的价值
所谓“大数据”，一般具有几个特点：首先是数据量很大，已经从 TB 级跃升至 PB 级;其次是区别于传统的数据结构，“大数据”时代的数据结构比较复杂，超过 80% 都是非结构化数据，比如道路上的视频监控数据、网上的流媒体数据、物联网中 RFID 的感应数据，以及社交网络上产生的各种数据等。这两个特点，给数据存储、管理和挖掘带来了困难。第三，数据更新快，比如视频监控每秒钟都在进行，微博随时都有人在更新;最后，是对数据的随机访问，这些更个人化的数据在存储后被再次访问的时间是不确定的。这两点就要求新的IT系统更够更快地处理数据，并且能够更智能地保存和管理数据。比如在某一天，你需要从监控录像中找出某个人，那么就需要能够迅速地查找、调用、分析之前保存的海量数据。“大数据”的这些特点，对数据搜索及管理提出了更高要求，因为在“大数据”时代只有经过分析提炼的关键数据才有价值。
全球知名咨询机构麦肯锡在关于“大数据”时代的研究报告中指出，数据已经渗透到了每一个行业和业务职能领域，逐渐成为重要的生产因素;人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。在互联网时代，数据本身就是资产，而“大数据”则意味着这些资产正在变得庞大无比。虽然云计算可以为数据资产提供保管的场所和访问的渠道，但如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，则是“大数据”时代的核心问题。这就好比一座日益膨胀的矿山，虽然其中蕴含着大量的贵金属，但是要想获得这些价值，就必须解决筛选冶炼的问题。
“大数据”对IT解决方案提出更高要求
在“大数据”时代，超过 80% 的数据都呈现非结构化状态，这些数据正在持续不断地增加，并且需要长时间存储，非热点数据也会被随机访问。这种情况与传统的、基于关系型数据库的核心数据存储方式有显著的差异。这种差异，使得传统的数据存储和管理解决方案无法胜任“大数据”时代的分析、管理和挖掘工作。传统的关系型数据库以及数据分析软件处理的结构化数据通常是GB级别的，很难适应“大数据”时代 TB、PB 级复杂数据类型的检索分析。同时，因为“大数据”时代数据每时每刻都在快速增长，传统解决方案也无法适应这种近乎无限的扩张性。为了适应“大数据”时代的到来，企业需要从技术、应用、硬件等各个层面做好准备，采用更新的IT解决方案，才能满足“大数据”收集、存储、管理和分析的要求。
“大数据”时代的IT解决方案，需要容纳数量庞大的用户和数据生产者，能够从企业及社区网络、移动智能终端、传感器及物联网、定位及地理信息设备中获得大量的视频、语音、图片、文字、产品信息、地理信息、时间信息等非结构化数据，并对这些海量复杂数据进行分析和挖掘，从而获得真正有价值的数据用于后续的经营。这种应用模式，要求“大数据”时代的IT解决方案具备可变的数据接口和高效的数据导入、管理、分析、统计技术;能够支持PB级别的数据、支持非结构化以及结构化数据、支持每秒万次级查询，拥有更高的系统可靠性以及更高的统计分析效率，这就对计算能力、内存数据处理能力和管理能力提出了非常高的要求。
对于企业而言，“大数据”时代爆炸性增长的数据既是巨大的机遇，也将是巨大的挑战。在“大数据”时代，IT解决方案既要能够更高效、低成本的存储和管理，也要能够更快速、灵活及稳定的检索和分析。而在这些方面，已经有不少厂商在努力围绕大数据整合解决方案，英特尔就是其中的佼佼者。首先，IA 架构广泛的普及率可以为企业提供更高的一致性，是承载和应对“大数据”的理想平台。英特尔® 至强® 处理器拥有更高的计算性能和内存数据处理能力，以其为核心的服务器和存储系统具备开放式、普及性、易优化、灵活等特点，具备无可比拟的扩展性，非常适合应对“大数据”的挑战。除此之外，英特尔还有包括 Hadoop 这种开源架构等软件方案(如编译器、函数库等)，也将对“大数据”的处理提供了更高的效能。这些软件方案通过优化底层算法，可实现更高的应用效率和更均衡的计算存储分布;与英特尔硬件技术相结合，可以提供更高的平台性能。同时，还能提供跨数据中心的HBase数据库虚拟大表功能，并且实现了 HBase 数据库复制和备份功能，在功能方面也更适应“大数据”时代管理分析的需要。这一切，都为收集数据、分析数据、优化数据、利用数据提供了坚实的基础。
中国的“大数据”时代
“大数据”时代的核心应用就是对已知的数据进行分析来为未来发展和企业经营提供参考。作为一个人口大国，中国在“大数据”时代拥有巨大的机会和挑战。机会在于，我国拥有世界上最多的人，从而可以提供最多的数据以供分析挖掘。而挑战则是，我们怎样才能从海量的数据中找出价值。凭借庞大的人口基数和市场，我国各行各业的规模都在不断扩大，从而制造出庞大的数据。电商、快递、企业的网站和IT系统都承载了大量的数据;传统的大型超市、卖场、商场也集聚了大量的信息。特别是移动互联浪潮下各种手持智能终端的普及和定位设备的应用，也在不断产生大量的数据。如果能够对这些数据进行分析挖掘，找出有价值的信息，就能够大大促进中国企业的发展。比如，电信运营商可以对客服中心的数据进行分析来建立客服中心智能辅助平台，帮助运营商把客服中心从成本中心转变成营销中心;汽车厂商可以分析各大汽车论坛用户的海量评论来监控品牌口碑及舆情;电商企业可以分析用户的各种历史数据来挖掘用户的喜好，从而实现精准营销。面对“大数据”带来的机遇和挑战，我国政府在物联网“十二五”规划上把信息处理技术作为 4 项关键技术创新工程之一提出，其中就包括了海量数据存储、数据挖掘、图像视频智能分析等“大数据”相关的重要技术。而另外 3 项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与“大数据”密切相关。
“大数据”的未来
“大数据”的到来已经无可阻挡，这将考验我们的技术是否跟得上数据的爆炸。比如，智慧城市的建立将改变现在的城市生态，但是作为信息采集源头的数万个摄像头，如果通过实时高效的图像分析而实现有机结合，就是我们需要解决的问题。英特尔作为IT上游领导厂商，通过深入了解 OEM 厂商、ISV、SI 甚至用户的需求，将产业链上的每一环都紧紧扣在生态系统周围，使之发挥最大的能动性，来应对“大数据”时代的挑战。在电信、石油、交通、医疗以及制造等行业，英特尔以开发的架构支持新型的商业智能，将这一生态系统的力量发挥到极致。信息就是资源，谁掌握了“数据”，谁就掌握了未来。掌握大数据，就在当下。英特尔将利用各种软硬件技术资源，帮助合作伙伴发掘数据价值，从而应对“大数据”时代的挑战。
4大数据背后隐含的“商业秘密”
信息的密集爆发，带来了大量的数据堆积，数据的变化几乎没有一个循序渐进的过程，砰然爆发的速度太快了，从居家到社交，从生活到工作都会形成大量的数据，无论是有用的还是无用的数据都围绕在我们周围。我们不会在意大量的数据，但是对自己有用的数据是很在意的，最简单的一个例子，我们手机里的信息就不断地堆积，通讯录在增加，还有邮箱，如果说以前仅仅是短信息，那么现在还有彩信，照片，包括微博等等都堆积起大量的数据信息。
数据多了就显得凌乱，甚至乱序，而这仅仅是我们个人的一些信息就显得如此驳杂和繁多。那么对于社会公共信息来说，堆积起来的数据信息是超海量的，汇总进而分析这些数据的价值就变得非常关键，而且也潜在着非常巨大的商机。
大数据应用场景之一
每天开车上街，司机们很在意的是测速摄像头，对于公共资源维护者来说也在意这些数据，当然他们不仅仅是测速，更多的是道路信息采集。什么路段拥堵了，哪个路口出交通事故了，一些城市已经树立了交通指示屏，可以非常清晰明了地为司机提示哪条路段现在是什么情况，拥堵还是畅通，有没有交通事故等等，这都是对数据采集后的分析结果呈现。之前，我们在城市的路口常常可以看到很多交通地图，不过现在这种平面单一的指示正在被数字标牌所取代。当然不仅仅是路口，在商场、电梯，地铁、候机楼、包括楼宇的户外广告等等，都已经不再是简单的一个平面美女，更多地已经开始呈现数字化了。
大数据应用场景之二
各种尺寸的屏幕动态化呈现更多信息，如果说以前我们还惊奇于滚动的数字屏幕，那么随着信息化的快速发展，单纯地动感已经无法满足我们的需求，更广泛的信息呈现才是更迫切的一种需求。而且这种需求是双向的，对大众和商家都很重要。于是智能化数字标牌出现了。这类产品具备了互动的功能，用户可以用触摸或者体感的方式和它们进行交互操作，同时，它们都是联网的设备，可以与数据中心或者其他的数字标牌进行数据的传递，还可以搜集并分析数据，为不同的人群进行定制化的互动展示。这就是大数据的一种应用。英特尔还推出了一套智能系统，通过在数字标牌上的应用，实现丰富的功能。
大数据应用场景之三
在大量数据的背后，如何找出有用数据，如何发现规律，如何找到新的商业机会?大数据，带来了一个全新的机会，这个机会需要软硬件的结合，需要大型数据的分析能力。在这方面，英特尔给予了硬件方面的强力支持，这里的硬件不仅仅是服务器端的，还有更多的终端产品，包括微小终端等等，都呈现数据分析后的结果以及快速分析的过程。
比如，英特尔的一款采用了酷睿 i5/i7 处理器的虚拟试衣镜 K-mirror。它能够通过红外线感应器，将试衣者的人体轮廓抓取出来，配合深度感应器测算人体与屏幕的距离，最后将预先存储在魔镜里面的虚拟衣服自然地搭配到试衣者的身体上。借助 K-mirror，试衣者无需穿上婚纱，便可以轻松、快速地进行选择与搭配，使得以往复杂繁琐的婚纱挑选与试穿过程变得简单随意且妙趣横生。目前已有众多婚纱影楼、服装零售店铺安装了这款体感式虚拟试衣镜，吸引了大量顾客体验这种高科技的试衣感受。
大数据应用场景之四
在移动市场我们常常听到精准营销，包括广告的投放等等。但是广告投资商非常在意的是自己的投放究竟获得了多少的回报和收益，或者自己的投放带来的反馈又是什么，在哪里的投放获得最大的回报率?这都存在着大量数据的分析和归纳。有国外媒体报道，eBay 的数据库每天增加 50TB，每天最少都有数百万次的商品查询，数据库每日增加 1.5 兆笔记录，数据库的总容量则已超过 9PB。每天新增的数据量庞大，数据库也极其庞大，从中分析顾客的浏览、消费行为就变成了一件很困难的事情。
大数据应用场景之五
再比如 Facebook，每天都有数亿用户留下庞大的数据，包括大量的图片、影片等传统数据库系统较不擅长的非结构化数据。针对网络社交平台，一些公司已经开始研究和布局大数据的关键技术──Hadoop。基于 Hadoop 的海量数据分布式处理，可以不再依赖价格高昂的大型专属设备，而通过自建大量 x86 服务器群集来解决。它利用大量平价的服务器，搭配并行计算架构，以最符合经济效益的方式创造庞大的计算量。而且，英特尔可以提供经过验证的方法和工具来优化 Hadoop 部署，包括具有代表性的 Hadoop 应用集合 HiBench，和基于数据流的 Hadoop 性能分析工具 HiTune 等等。
大数据应用之中国机遇
上述五个应用场景代表着现在市场和行业里对于大数据时代的典型描述，而对于国内市场而言，大数据分析和应用的机会也颇大，因为中国的用户量太庞大了，产生数据的潜力不可估量，如果能掌握其中一部分大数据就对企业发展具有意想不到的价值。我们正面临着大数据工业革命，不仅包含传统的结构化(或关联型)数据，而且也包含各类非结构化、非对称性数据。这些数据不仅尺寸庞大，而且增
长速度更快于摩尔定律。可以说，谁能合理地分析、管理、挖掘这些数据的内在价值，谁就有可能成为下一个行业巨头。
大数据之背后的故事
基于大数据的盛行，很多软硬件厂商都在寻求着适合自己的方向，而英特尔利用不同级别的处理器架构，不同的数据应用架构，以及相关的解决方案，帮助用户从端到端找到完整的解决办法。在大数据分析方面，灵活、强大和开放的解决方案更容易来实现现有需求以及未来的升级扩展。而英特尔正在利用开放的架构联合业界合作伙伴一同为大家打造不同的大数据方案，帮助用户解决实际难点。无论从应用、需求还是解决方案层面，大数据都已经到了“应时而生”的时代，而在这背后，从后端数据挖掘分析的厂商到应用的供应商都能从中找到黄金机会，在促进大数据时代的同时完成自己的商业目标。