大数据与电力企业

大数据与电力企业（精选10篇）

大数据与电力企业 第1篇

在中国, 大数据究竟是光鲜一时的概念还是真正昭示一个技术革命时代的到来?有人评论大数据其实就是原来提过的海量数据, 只是一个西方炒作的概念, 过不了多久就会被遗忘, 退出历史舞台。也有人提出, 云计算彻底改变IT, 大数据彻底改变业务。还有人指出, 即便大数据时代已经到来, 也是针对某些独特行业、企业的时代, 对更多的中小企业并没有影响。

究竟什么是大数据?一般认为大数据具有4个特点。第一, 数据体量巨大, 从TB级跃升到PB级。第二, 数据类型繁多, 承载大量视频、图片、地理位置等。第三, 价值密度低, 以视频为例, 连续不间断监控过程中, 可能有用的数据仅有一两秒。第四, 实时性, 处理速度快, 符合与传统数据挖掘不同的1秒定律。业界将其归纳为4个“V”——Volume, Variety, Value, Velocity。

大数据风暴带来种种利好, 著名市场研究机构IDC数据预测:大数据市场规模将从2010年的32亿美元成长到2015年的169亿美元, 2020年新增的数字信息成长幅度将是2009年的近45倍。其中, 传统的标准化、结构化数据只占15%左右, 85%的数据来源于企业内各种信息活动、电子商务、物联网或外界社交网络等领域中的半结构化与非结构化数据。在2011年12月8日工信部发布的物联网“十二五”规划上, 把信息处理技术作为4项关键技术创新工程之一提出来, 其中包括了海量数据存储、数据挖掘、图像视频智能分析, 这都是大数据的重要组成部分。而另外3项关键技术创新工程, 包括信息感知技术、信息传输技术、信息安全技术, 也都与大数据密切相关。

电力企业是不是符合大数据应用的企业?享誉信息产业界多年的梅特卡夫定律指出, 网络的价值与联网的用户数的平方成正比。随着电力工业与信息化的深度融合, 智能电网将承载着电力流、信息流和业务流, 电网和电力信息通信网的用户将发生叠加, 电网的整体价值跃升。这种价值的跃升将使电力企业具有大数据的时代特征。

电力信息通信将突破传统运维、产生更多的增值服务, 甚至催生新的管理模式创新。数据中心将被赋予更多的职能, 比如强大的数据挖掘、数据分析和决策能力。电力企业业务数据主要来自生产数据和运营管理数据。电力企业生产数据既包括发电量、电压稳定性等实时采集的数据, 也包括物联网、云计算、新能源并网、移动互联、电动汽车充换电、车联网等技术带来的新数据业务。电力企业运营管理数据, 则包括交易电价、售电量、用电客户、ERP、一体化平台、协同办公等方面的数据。如能充分利用这些基于电力生产、使用等实际数据, 对其进行深入分析, 便可以提供大量的高附加值服务。这些增值服务将有利于电网安全检测与控制, 客户用电行为分析与客户细分, 电力企业精细化运营管理等, 实现更科学的需求侧管理。

大数据与电力企业 第2篇

一、引言

人类已经逐渐步入到大数据时代。大数据是用来描述数据规模巨大、数据类型复杂的数据集。每个人所说的“大数据”含义不尽相同，但其中存在基本共识：第一，如果不依赖某些可视化软件的帮助，人类不可能理解如此大的数据量，用散点图寻找规律或异常情况的传统办法，在这里毫无作用；第二，数据从产生到被利用往往只有很短的时间，至少对一些人如此，比如手机运营商能够实时获悉你手机所在位置；第三，数据可实现高度互联。理论上，谷歌可掌握所有用户的电子邮箱和安卓手机位置信息，知道你在谷歌社交网络上有哪些好友，并了解你的搜索记录；第四，数据是杂乱无章的，它包括各种类型，比如你储存在手机上的视频属于“大数据”，但它与整齐有序的分类数据库（按照生日、就业、性别、收入等分类）还相去甚远。

大数据给各行各业都带来了翻天覆地的影响和变化，当然给银行带来的影响也不可小觑：一是大数据不仅分散了人们的注意力，甚至是“危险”的，因为海量数据意味着决策制定将更加“集权化”，而科学本身是应当以人为本，包含深刻的自主自在性的，它完全按照程序既定的“规则”办事，可以过滤掉我们通常所说的“非理性”成分，例如：一名客户在银行申请贷款，一开始他与银行客户经理面对面聊天，对方认为他完全符合贷款条件，可当把他的所有信息输入电脑之后，电脑却拒绝了他的贷款申请，而他至今不知道自己为什么被拒。二是大数据与银行员工自身的智慧发挥产生了矛盾：大数据往往意味着人们将不必急于运用自己的智慧去试图解决那些“应该”解决的问题。三是如何利用大数据造福客户，一名银行高管称：我们并非反对数据，只是反对大而无当的数据，数据本身当然非常重要，但其前提条件是获得恰当的应用。人类已经产生并将继续产生日益庞大的数据，或许不论我们接受与否，大数据时代都已到来。在这个背景下，如何利用它造福客户，就成为银行业最为关键的问题。

伴随着传统的商业智能系统向纵深应用的拓展，银行决策已经越来越依赖于客观数据而非直觉经验。然而，传统的数据仓库对于数据分析通常是建立在关系模型的基础之上，面向结构化数据处理，各分析主体之间的关系在系统内已经被创立，而且用以分析的数据也大都是自身信息系统中产生的运营数据，这些数据大都是标准化、结构化的。

事实上，这些数据仅仅占到了银行所能获取的数据中的15％。所以，采集、存储并应用数量快速激增的数据已成为银行业面对的一个必然趋势。而该趋势仍在不断深化：社交媒体、网络和员工都提供着丰富的新数据源。非结构化数据在数据中的所占比例极高，因此银行必须迅速转向使用非结构化数据分析技术，进而据此获得新的竞争优势。大数据技术支持银行的探索提高效率、降低总体拥有成本的策略，持续激增的数据也将迫使银行寻求新的方法来采集、整理、管理和分析数据。

非结构化的数据对众多银行来说仍是一项有待有效开发的重要资源，可帮助银行获得更深入的客户和运营洞察力，并最终形成竞争优势。然而，传统的关系型数据库和商务智能工具针对结构化数据而设计，难以适应非结构化数据管理需求。

可见，大数据时代的到来对于构建银行战略和企业文化都非常重要。大数据时代如何建立新的银行企业文化可能会成为一个十分重要的课题。强大的企业文化是银行的优势所在，可以帮助银行创造并维持一流的业绩。尽管所有银行的领导人都对此心知肚明而且反复讨论，也有不少领导人竭尽全力想要创建高绩效的企业文化，但成功的案例寥寥可数。本文基于前人研究，试图探讨大数据时代商业银行企业文化面临的新挑战，并据此提出一些对策建议。

二、文献综述

古今中外的一些伟人和学者在探索文化对金融乃至整个经济建设的重要性方面都提出过许多著名的理论和观点：

关于文化的重要性，毛泽东指出：如果文化建设取得伟大的成就, 那我们就又学会了一项很大的本领。有关文化的视野，毛泽东更是指出：狭隘世界,不能打开自己的眼界,不知还有别的新天地,这叫做夜郎自大。关于文化的与时俱进，毛泽东也指出：当前的运动特点是什么，它有什么规律性？如何指导这个运动？这些都是实际的问题。运动在发展中，又有新的东西在前头，新的东西是层出不穷的。关于文化的发展进步，习近平更是提出：面对浩浩荡荡的时代潮流，面对人民群众过上更好生活的殷切期待，我们不能有丝毫自满，不能有丝毫懈怠，必须再接再厉、一往无前。有关文化的意义，习近平认为: 任何经济的发展又离不开文化的支撑：文化赋予经济发展以深厚的人文价值，使人的经济活动与动物的谋生行为有质的区别；文化赋予经济发展以极高的组织效能，能促进社会主体间的相互沟通和社会凝聚力的形成；文化赋予经济发展以更强的竞争力，先进文化与生产力中最活跃的人的因素一旦结合，劳动力素质会得到极大的提高，劳动对象的深度和广度会得到极大的拓展。文化的力量，或者我们称之为构成综合竞争力的文化软实力，总是“润物细无声”地融入经济力量、政治力量、社会力量之中，成为经济发展的“助推器”、政治文明的“导航灯”、社会和谐的“黏合剂”。关于培育优秀金融文化的要求, 唐双宁认为: 大力培育优秀金融文化，是增强金融软实力，在世界范围内树立中国金融业形象，体现中国金融业价值，有效防范金融风险、提升国际竞争力的客观要求，也是实现由金融大国向金融强国转变的必然选择。关于文化的地位，唐双宁提出: 如果把金融比喻为一棵大树，那么，业务是叶，管理是枝，体制是干，文化是根，而经济社会环境，则是它的土壤。关于金融文化在实现金融强国中的作用, 唐双宁提出：金融硬实力的平面扩张是金融大国的标志，金融软实力的立体提升是金融强国的标志，为了实现由金融硬实力平面扩张的金融大国向金融软实力立体提升的金融强国转变，需要加强金融文化建设。关于文化的形象概括, 唐双宁提出:改革、发展、安全、管理、诚信、法治、服务、效率、和谐及幸福,这应该是今天中国金融文化的“主题词”。关于中国金融文化的特殊性表现形式，唐双宁认为:中国金融文化的问题既蕴含着国际金融文化问题的一般性，又有自己的特殊性，表现形式有重技轻道、重法轻德、重物轻人、重利轻义、重快轻度。关于文化与经济金融的关系,唐双宁提出: “文化”与经济金融的关系，是灵魂和躯体的关系。经济是一个国家的躯体，文化是一个国家的灵魂。先有躯体，后有灵魂。既不能”魂不附体”，又要“体内生魂”。关于文化与技术的关系，唐双宁认为:金融企业家是搞实际工作的，但越是搞实际工作越要学习理论，越要善于运用“理论思维”，哈耶克说过，现在“真正的陷阱是掉进过度专业化与技术化的陷阱”作为操盘手，“掉进过度专业化与技术化的陷阱”不必苛责；作为金融企业家，“掉进过度专业化与技术化的陷阱”则应该警惕。关于金融文化的不足, 唐双宁指出:在内修文化方面，内心浮躁、盲目攀比、急功近利、恶性竞争等等。关于文化隐性特点，唐双宁认为:市场是看不见的手，文化则是另一只看不见的手。关于金融文化建设与金融家的需求，唐双宁认为:文化建设也需要一批对社会负责、勇于担当的具有真正政治家素养的“金融家”。关于文化、政治及经济的比较概括，唐双宁提出：政治是暂时的，经济是长远的，文化是永恒的。

三、大数据过程中银行企业文化面临的问题和挑战

1、软弱的企业文化会使大数据流于形式

企业文化的重建必须动真格。一家银行要成为伟大的银行，它的价值观决不能只是一句漂亮的口号。事实上，软文化和硬数据一样重要。如果不想让企业文化流于形式，就必须公开惩戒那些胆敢破坏企业文化的员工。银行的每个管理者都应深知自己的关键职责是捍卫银行的价值观。事实上，多数银行的所作所为都给其员工发出了一个强烈的信号：我们银行的价值观纯粹就是一句空话。众所周知，所有的管理学课程都说，一家公司手中最有效的竞争武器是强大的企业文化，但问题在于执行的细节，如果执行环节出了问题，就必须付出惨重的代价。

2、稳定及持久的惯性文化理念成为大数据变革的绊脚石

银行的战略变革是一个永无止境的过程，变革就是战略与文化如何协同发展的问题。无形资源胜于有形资源，企业文化就是企业最宝贵的无形资源之一，企业文化不单能凝聚公司内的员工，更能助企业有弹性地面对不断变化的市场。战略变革的压力势必会带来巨大的不确定性甚至风险性，尽管战略变革前组织必需做好各种资源的评估，但由于组织文化的存在，不同个体对战略变革的结果接纳性及风险意识不同，对战略变革的态度也就自然不同，有些战略变革甚至会激起反抗，从而导致战略变革的失败。这些压力可能来源于股东、领导层、员工、客户、政府、监管方等各个方面，这些都可能是组织的既得利益者，他们抵制变革的原因很多，主要原因是心态的焦虑，例如担心变革后地位或权力的丧失；悲观主义，认为变革的结果不可能轻易达成目标；愤怒，因为变革意味着原有规则的缺陷；不同的个人野心，希望变革失败从而可以获取既得利益。在战略变革不可避免时，及时创建一种支持战略变革的组织文化，是变革能否最终获胜的重要因素。变革关系到银行的生存问题。失败是常态，也是一种心态。既然失败是我们生存的基本状态，我们还有什么理由因为现在自己所处困境而怨天尤人、自暴自弃；既然生存的意义就是挑战失败，那么，我们还有什么理由不去为着更大目标去克服更大、更多的失败？因此，战略变革是一个痛苦的选择，来自各方的利益人群由于不同的目的都将对变革产生不同的反应，所以，战略变革的倡导者能否持一种积极的心态来应对，是决定变革能否持续的最为重要的先决条件。文化本身具备的相对稳定及持久的惯性使得变革充满阻力，这种特定的文化理念也正是战略变革的绊脚石，因此在战略变革之前必须进行既有价值观的创新，使其适应新的组织战略。实际上，大数据是把双刃剑，多数的银行由于文化企业本身的正能量缺失，放大了大数据的缺点及不足。

3、没有建立一种数据导向型的文化

大多数的银行还没有建立一种以数据为导向的文化。通过对卓越绩效企业使用数据分析的方法进行细致观察，我们发现迅速行动是高效数据分析文化的一项显著特征，它们不会只是简单地将数据收集在一起，而是利用分析结果，进行更为迅速、明智的对策。未来那些最擅于利用数据分析来引导决策的银行将获得许多新的竞争优势，对于这一点已经没什么人会表示怀疑。但仅仅拥有数据是不够的。我们对银行400名员工进行的调查结果显示，只有35%的员工称得上是“消息灵通的怀疑主义者”，他们依赖数据，但并不盲从，既不害怕置疑数据分析的结果，也敢于从他人那里索要反馈；42%的员工对数据坚信不疑；然而还有23%的员工很少相信数据分析，他们喜欢凭直觉做事，至今不相信数据分析是银行未来成功的关键，要说服这些员工也是个不小的挑战。

4、企业文化与大数据战略的冲突

数据虽重要，分析数据的人也一样重要。计算机已经强大到可以收集、汇总数以兆兆字节计的信息来回答各种问题，从如何安排员工的薪酬待遇，到某笔抵押贷款债券的风险系数，无所不包。虽然数据不会说谎，但人们使用数据的方式却极为主观。殷鉴不远：量化分析在2007年的金融危机中起到了推波助澜的作用，但是如果银行只是简单地认为，光靠一屋子摆弄数据的分析师就可以解决问题，那么结果不仅会对他们的资产损益造成损害，同时也会损害他们的企业文化。

企业文化当然应该与企业战略协调一致，然而一些银行的文化并没有跟上大数据的战略。如果一名员工全身心地朝着错误的方向前进——尽管该员工热情洋溢，但却与银行的战略意图背道而驰，那么肯定会对银行整体业绩带来不利影响。只有当员工热情洋溢且全身心地朝着正确的方向前进才能帮助银行提升业绩，并积极推动组织实现战略目标。确实，银行战略与文化的恰当结合才是银行成功的一剂良方。银行在动态的市场环境下利用大数据追求创新战略，只有创造一个员工可以突破枷锁、管理层鼓励新思路和建设性的冒险行为的合理环境方能获得成功。同样，银行追求高容量低成本流程，只有员工在高效且可重复的环境下工作并且秉承持续改善成本的想法这样一种纪律严明的文化氛围才能取得成功。很多战略与文化的组合具有明显的直觉性。然而当企业文化无法与战略协调一致时就会出现“文化鸿沟”，结果导致绩效风险的发生。鉴于市场的不断变化，战略也需要对此作出相应调整，因此保持企业文化与战略的一致性确实是企业面临的一大挑战。

5、大数据技术部门需要加强与其他业务部门的分工与合作

在大数据时代，企业进行数据分析的背景也发生了变化：要涵盖数据规模；要能真实精确地挖掘商业价值，快速分析响应；要面向丰富多样的数据类型，包括结构化和非结构化的数据。要破除孤立，孤立式方法是数据分析文化的一个快速杀手。这使得传统解决方案在新的需求面前束手无策。为了帮助银行实现经营目标，面对这些问题，大数据技术部们尤其需要加强与其他业务部门的合作。在以银行客户为中心的模式下，大数据技术部门之间孤立无援、单打独斗的做法肯定是徒劳的。

6、风险管理的适应力

大数据的应用，有助于减轻信息不对称，提高交易效率，但也改变了风险的特征，需要新的风险管理手段。面对这些变化，银行需要更好地把握金融创新和金融稳定的界限，使新的金融组织体系稳健高效运行，更好地服务当前的经济发展转型。大数据时代，传统银行风险管理的理念与方法面临被颠覆的尴尬境况，新的风险文化必将得以重塑。

四、对策

1、既有价值观的解冻、创新、深化

创新价值观并非能在短期内奏效，这需要一个经过既有价值观解冻、创新、深化的过程。配合战略变革过程的逐步推进，可以分三个阶段：首先是解冻阶段，可以组织专门人员对银行的原有价值观进行分析，按大数据变革的思路，确定需要变革的对象，在审核评估的基础上扬弃既有的价值观体系；第二是大数据变革需要有新的价值体系来支撑它，不然就会像空中楼阁一样，失去了牢固的地基。如果大数据变革是告诉人们怎么改变的方法，那价值体系的创新则是告诉人们为什么要改变的理由；第三是深化，没有一劳永逸的价值观，必须与时俱进地深化，价值观也需要“深挖洞、广积粮”。

2、创建适当的企业文化支撑大数据变革

建立合适的企业文化对于任何银行而言都意义重大，因此，许多银行都不惜加大投资构建自己的企业文化并希望借此激励员工的行为，但是究竟有多少银行能够真正从这一投资中获得最大价值呢？银行在制定并传达企业愿景与价值观时花费的人力物力是否能真正规范员工的行为呢？或者说，是否有隐藏的、强大的原因导致该项投资无效呢？如果文化建设投资确实带来了某些改变，那么是促进了提高业绩与落实了战略，还是不慎刺激了破坏性的行为？建设企业文化，特别是塑造企业竞争优势的企业文化，需要充分了解企业文化的形成，包括员工的态度和观点在企业文化建设过程中所起的重要作用。银行如果花时间去了解企业文化建设流程并培养高度敬业的员工，就能实现大幅的绩效提升。银行如果培育了与其战略一致的企业文化则能获得更大回报：全体员工齐心协力朝着共同的企业战略目标前进。大数据年代银行必须建立富有创造力的文化，如果身处一种没人愿意出风头的集体文化中，就很难提出引人深思的问题。大数据时代，传统的银行企业文化处在扬弃的拐点，银行只有推陈出新才会立于不败之地。

3、提高驾驭大数据方面的领导力

最为重要的一个步骤就是在各个层级中提升重视数据分析的领导者。高管人员必须认真评估现有数据分析文化的可利用程度，而后再尝试将其转型。

4、发展、激励并保留数据分析人才

通过培训等方式提升银行员工队伍的数据分析能力正在迅速成为企业与时俱进的必要因素。培训员工的IT技能一直是企业培训部门的重要工作；而未来的20年，培训部门将致力于在日常工作中融入数据分析。大数据时代，没有文化的员工队伍肯定是一只愚蠢的队伍，而高素质的数据分析人才是长期培训的结果，冰冻三次非一日支寒，任何急功近利的做法只能误读大数据。

5、银行高级管理人员的以身作则

企业文化的冲突不是小问题，这方面摩擦和碰撞的结果：轻者会产生阻力，加大发展成本，影响业务健康发展，重者会影响到一家银行的生存。围绕银行业务战略，相关人员都要转变观念、提高认识、统一思想。涉及文化上的本质内容，银行上下要真学、真懂、真信，最后才会真用，四者缺一不可。有的银行管理者素有单边强力推行企业文化的名声，往往会强迫下属推行企业文化，忽视了调动下属积极性的环节，似是而非的部署让下属总是感到似懂非懂、莫明其妙，下属当然无法集中精力、全力以赴地去贯彻。银行管理者只有不厌其烦地反复抓，从而达成共识，才能形成真正意义上的企业文化。在这个问题上，银行高级管理人员必须起带头作用，从CEO开始自上而下地推广。如果CEO身体力行，其他员工也很可能参与进来。否则，任何的做法都是徒劳的，因为大数据时代，员工比传统时代更加关注银行CEO是否言行一致，并且做出迅速准确的判断。

6、建立员工快乐工作氛围

银行正处于快速变革的阶段，先进的文化可以减少或消除业务上的摩擦与碰撞，使员工可以集中精力一心一意地抓业务，因此，要求银行管理层做战略上正确的事：顺势而行——为员工创造快乐的工作条件；顺向选择——让员工看到希望。首先让员工快乐，其次让员工的快乐感染客户从而让客户快乐。我们的研究结果显示，快乐地工作可以提高绩效40% 以上，快乐地工作也是当代商业银行基于企业文化先进和专业技能卓越的高尚境界。大数据时代，银行高管可以适时知晓员工的快乐情况，尤其是存在于客户界面的快乐情况，并且与时俱进地做出相应的优化。

五、小结

企业大数据与大数据企业 第3篇

大数据因其体量之“大”而得名，然而体量并非大数据的唯一特征，甚至也不是大数据最为重要的特征。巨大的体量凸显的是技术需求。而对于管理者而言，刻意追求巨大体量的数据并不具有多少现实意义，大数据更重要的特征在于其多样化的来源和形态、持续快速的产生和演变，以及对深度分析能力的高度依赖。因此，企业对大数据的驾驭和掌控，其核心并不在于拥有多大规模的数据，而在于是否能够对来自于企业内外部多样化信息源的涌流数据进行敏捷持续的捕捉和整合，并通过深度分析开发其商务价值。

一家中等规模的百货商场，通过视频监控记录下商场各个区域的客流人数，从而评估每天各个时段客流的在店时长，进而结合销售记录数据估算出客流中带有明确购买目标的“搜索型”顾客和无明确购买目标的“浏览型”顾客的比例，从而为之设计针对性的营销手段和服务措施。这一实践中所涉及的数据量，从技术视角上看并不算庞大，但该商场对多源数据的整合和开发，不失为基于大数据管理的一种典型体现。

从这个意义上来说，在管理视角上，大数据既不是一种技术，也不是一种应用系统，而更应该是一种立足于企业内外部数据融合以提升管理效率、开拓价值创造模式的管理思维。建立这种面向大数据的管理思维，其基础是业务流程信息资源的高度集成化，以及信息创造和传播形式的高度社会化。

所以，企业大数据的一个重要焦点，在于业务流程信息与社会化媒体信息的全方位融合。以ERP为代表的企业系统应用推动业务流程信息资源从分割走向集成，日渐兴起的企业内外部社交媒体则推动信息的创造和传播形式从通道式/平台式走向社交式，二者的融合将成为企业大数据的核心特征。由此看来，未来的“大数据企业”，则代表着建立在这种融合基础上的新型组织形态和价值创造模式。

驾驭企业内部大数据

企业内部数据包括两个主要维度：一是与业务功能及流程紧密相关的数据，如库存信息、物料需求信息、生产计划信息、采购信息等，可统称为业务流程信息；二是企业内员工及各种管理系统在其日常工作及活动中所创造、记录、交换和积累的信息，例如员工间的交流记录、工作心得、经验分享、活动新闻等，可统称为知识及沟通信息，知识及沟通信息高度松散且非结构化，但可能蕴藏着企业的重大潜在价值。

这两个数据维度的发展和融合，催生出了企业内部大数据。如图1所示，在传统的企业组织中，业务流程信息分散地存在于一个个孤立的业务系统中。在过去二十余年的企业信息化进程之中，一个主要的方向是业务流程信息从分割走向集成。从库存管理系统、物料需求计划 （MRP） 发展到企业资源计划 （ERP），分散的业务信息被集成于企业系统之中，从而实现面向业务流程的信息共享和沟通，并在此基础上借助跨部门的协同实现业务流程的优化和决策能力的提升。

另一方面，近年来逐步兴起的企业内社交媒体应用，推动着企业内部数据环境在知识及沟通信息维度上的重大变革。在传统企业组织中，知识及沟通信息借助于通道式或平台式的媒体产生和传播。在通道式的媒体上（例如email），所有的人都可以发信息，但信息的发送对象是明确的、有限的；在平台式的媒体上（例如企业内的新闻网站），信息是开放的，但只有专门的人员才能发布信息。在企业内社交媒体中，这两种形式被整合在了一起：所有人都可以发布和分享信息，而且这些信息是开放的、可定制、可再分享的。在这样的应用环境中，跨部门、跨层级的社交联系成为可能，并使得企业能够更为敏锐地应对变化的环境，以即兴式的团队组织来捕捉发展机遇。这种转变带来了三方面的价值：企业知识的有效共享和管理；企业文化建设，增强员工的归属感；对企业内协同创新的有效支持和促进。

进一步而言，当集成化的业务信息与社交化的知识沟通信息相融合，便带来了企业内部大数据。在集成化企业系统、内部社交媒体以及深度数据分析技术的共同支撑下，杰克·韦尔奇所畅想的“无边界组织”在新兴环境下成为可能，并被赋予了新的内涵。部门边界、层级边界被紧密的业务联系和广泛的社交联系所弱化，结构化的业务流程信息与非结构化的知识及管理活动信息被多维度融合的深度数据分析能力连接在一起，从而使企业真正具有驾驭内部大数据的能力。

从另一种角度上看来，业务资源整合使得企业信息资源的管理从分散走向集中，社交媒体的发展使得企业内的信息创造和传播从集中走向分散，二者相辅相成，使得优化控制与灵活创新的并存成为可能（见图2）。基于业务流程与社交媒体的融合而展开的深度数据分析，将为企业的决策优化、协同创新以及灵活应变开辟广阔的空间。

驾驭企业外部大数据

在企业外部的视角上，数据资源也包括两个维度：一是与上下游交易直接相关的供应链信息，如交易报价信息、订单信息、上下游企业库存及生产能力信息等；二是市场及社会环境信息，如原材料价格走势、市场需求及消费者偏好信息、顾客服务及满意度信息等。

企业外部大数据的基本特征，也正是在这两个维度的发展之中呈现出来的。如图 3所示，在传统的商务活动形式下，上下游企业的业务系统相互独立，交易伙伴借助电话、传真、电子邮件等手段以实现上下游信息交换，企业通过市场调研等方式了解消费者，获取市场及社会环境信息。组织间信息系统的发展带来了供应链信息的集成。通过将合作伙伴的信息系统进行对接，或是借助于电子市场平台实现企业信息系统的相互连接，上下游企业的业务信息能够通过标准化的接口自动交换，从而使得企业能够在较为充分地掌握上下游信息的基础上进行业务决策，实现交易伙伴之间的协同优化。

nlc202309041552

在市场及社会环境信息的维度上，信息的创造和传播形态同样经历了从通道式/平台式媒体向社交媒体的转变。公众社交媒体的巨大影响力为社会化商务注入了强大的生命力。初期的社会化商务包括作为对外沟通渠道的企业邮箱、博客、微博或即时通讯等，其主要目的在于提升企业形象、提供客户服务。随之发展而来的社会化营销，则注重在社交网络中通过与顾客及其他商务伙伴的沟通和互动，进而通过实时化、精确化的市场洞察以获取商业机会、开拓市场、把握创新机遇。此外，基于社交媒体的众包、众筹与众创，也日益成为社会化商务的重要组成部分。

供应链信息集成与社会化商务信息的融合，构成企业外部大数据的核心特征。来自于社交媒体信息源的市场环境信息与来自于组织间信息系统的供应链信息相结合，借助于深度数据分析技术实现面向企业商务网络的预测与优化，并支撑起实时化、精确化、个性化的消费者洞察与敏捷响应，在此基础上为基于网络协同及社会化商务的模式创新提供了丰富的可能性。从而，对外部大数据的管理和驾驭，也将成为现代企业在网络化的商务生态系统中占据主导地位并获取经营优势的关键途径。

成为“大数据企业”

基于以上分析，企业内部大数据的焦点，在于业务流程信息与知识及沟通信息的融合；企业外部大数据的焦点，在于供应链信息与市场及社会环境信息的融合。进而，大数据时代企业组织的基本内涵，在于内部大数据与外部大数据的全方位融合。如图 4所示，大数据企业立足于内外部业务与社交媒体数据的集成交汇。

业务流程数据主要来源于以ERP为代表的企业系统，涵盖了产品、物料、采购、生产、销售、财务等与企业生产及服务提供过程紧密相关的数据；商务交易数据来源于以供应链管理系统 （SCM）、客户关系管理系统 （CRM）、电子化交易系统为代表的组织间信息系统，涵盖了供应商、客户、订单、物流等与外部交易活动紧密相关的信息；内部社交媒体数据包括了企业员工在内部博客、微博、Wiki、内容分享平台、群体化即时通讯工具等应用中创造和传播的信息，以及企业在办公自动化系统等交流协作平台上所记录积累的数据，涵盖并反映了员工的知识、建言、创意、心态、氛围等形式多样、内容广泛的信息；外部社交媒体数据主要来源于公众社交媒体，包括企业博客、企业微博/微信服务号、品牌社区等各种形式，所涵盖的信息内容包括市场环境、需求信号、全生命周期顾客行为、个性化偏好、营销互动记录等。

在这四大类型的数据之间，致力于大数据管理的企业可以有两种不同的发展策略。其一是以社交媒体与业务数据的融合为主导，以期通过敏捷响应快速发现并应对内外部环境中的变化和机遇。在这种策略下，面向高速数据流的实时数据采集和分析方法，将成为大数据管理的主要支撑手段。

第二种策略是以内外部数据融合为主导，以期通过全面汇集内外部信息，对中长期发展趋势作出准确的预判，从而实现高度优化的业务决策，并通过对信息环境的掌控，获取企业网络生态系统中的领导地位。在这种策略下，大规模多源异构数据的采集、清洗和整合方法，将成为大数据管理的核心支撑。

如何挖掘企业大数据的价值

企业大数据的价值开发高度依赖于深度数据分析能力。从内外部融合的视角上看来，企业大数据分析包括三个基本维度，即内容、关系和时空。

内容维度指的是数据本身所承载的信息内容。例如，G公司是一家大型电信服务商，其内部建设实施了一套“班组博客”系统。在这个内部社交媒体平台上，公司中的3000多个工作团队都开设了自己的博客，用于发布和交流工作经验、生活体验等方面的内容。经过数年的发展，整个博客系统中积累了博文700多万篇，评论超过1500万条，并保持着每月15万篇以上的博文发表数量，年阅读量超过1000万篇次。对于这一平台所积累的大量数据的价值开发，首先体现在对其信息内容的提炼上。平台上与工作相关的博文内容，如客服案例、经验分享等，经自动筛选分类、主题识别、关键词索引之后，被构建成企业知识库，为业务及管理工作提供快速有效的知识支撑，同时成为员工培训和自学的有力工具。而大量与工作无关的博文和评论内容，包括生活常识、娱乐信息、心情表达、心灵鸡汤等，在智能化的分类整理之后，也成为了该公司的一个独特的文化情景，支撑着企业中活跃的氛围，强化了员工的文化认同。

关系维度指的是数据及其所指代的对象之间的联系。在G公司的班组博客中，员工的发表、阅读、评论、回复、关注等行为详尽地反映了其相互之间密集而持续的联系，而这些联系毫无遗漏地被记录在平台的数据库之中。通过对这些关系结构的深度分析和挖掘，G公司获得了对员工及团队的影响力、凝聚力、创造力的更为准确而深入的评估手段。进一步而言，博客平台的行为记录数据与业务系统中的事务处理记录数据，以及员工及团队的绩效表现数据，也能够被有效地关联起来，从而使得管理者拥有强有力的工具，帮助其发现和理解员工的行为特质、工作表现、业务能力之间的潜在关联，进而实现良性优化的人员配置和人才培养。

时空维度指的是数据生成及传播的位置以及数据随时间演变的模式。对G公司而言，其数以千计的业务场所分散在众多城市的不同地点，因此，数据中的位置信息对于虚拟化的团队协同而言具有直接的意义。此外，位置信息也包括了数据在组织功能结构和层级结构中所处的位置。同时，在G公司的班组博客中，对特点话题时间演变规律的分析，也为管理者提供了有效的参考。其中对企业重要活动、运营理念相关信息在班组博客中的传播演变模式的跟踪，有效地揭示了员工对管理理念的认知、态度和接受过程。

更深入的价值开发来自于上述三个维度的交叉综合。例如，内容维度与关系维度的结合，使得G公司能够识别员工的兴趣偏好、社交特质、工作性质以及工作表现之间的匹配关系，也能够更为准确地发现那些分散在不同的员工手中、但具有重要潜在影响力的经验、创意以及机遇信号。内容维度、关系维度与时空维度的结合，使得企业能够更为深入地理解不同的员工特质、知识技能、团队特性、热点偏好在整个组织中的分布，以及这些结构随时间演变的过程和趋势，从而更为有效地调度和配置这些资源。

nlc202309041552

这些维度上的分析需求，主要需要三方面的数据分析技术予以支撑。第一类是全局视图技术。对于管理者而言，对大数据内容全局状况的把握，往往是开发大数据价值的一个基本需求。然而大数据的体量和结构复杂性往往远远超出人类认知的信息承载能力。因此，有效的技术应当能够在大量数据中提取出一个足够小的集合以呈现给管理者，并使得这个小集合能够充分地代表数据全局。例如，在G公司的博客平台上，一种“代表性博文提取”技术能够在每天所出现的数以千计的博文中自动选择出10篇。这10篇博文在很大程度上全面代表了当天所出现的数千篇文章，既充分反映热点，也不能忽略冷门信号，从而使得管理者能够通过阅读这些文章来了解全局。第二类支撑技术是关联发现技术，其目标在于敏锐识别数据间的联系。例如，当G公司试图整合博客平台、业务系统、人力资源系统中的数据以全方位分析员工、团队特质以及绩效信息时，大量的数据属性之间所构成的复杂潜在关联网络，就需要强有力的关联发现技术来加以处理。第三类支撑技术是动态跟踪技术，即实时化的流数据分析处理、快速增量数据分析。三方面技术都处于快速发展之中，但尚未全面成熟，有待于学界和业界的持续努力和探索。

结束语

从一定意义上说来，业务资源集成与社交媒体相融合的过程，是一个“信息去中心化”的过程。信息资源的创造和管理，从以往以经营和运作为核心的中心化模式，转化为以分散创造、自由传播、灵活汇聚为特征的众创模式。另一方面，内外部数据融合的过程，是一个“信息去边界化”的过程。企业部门之间的信息交换、企业之间的信息交换以及企业与市场环境的信息，以日益多样化、实时化的方式实现。

这样的转变对于企业组织及其员工而言，其影响将会是多方面的。正面的影响可能包括创新意识与创新行为的出现、员工能力和技能的发展、沟通满意度的提升、员工关系资本的建立和积累、员工对组织的认同和归属感的增加；而负面的影响则可能包括员工注意力分散、过度争论，以及负面情绪的传播等。所以，建设“大数据企业”的过程，也将会是一个伴随着困难与风险的过程。在此过程中，需要管理者有效地把握创新发展的长期收益与短期业绩之间的平衡，在推进大数据融合的同时防范和控制其中的组织风险，并审慎地思考和重新定义组织内外部边界。

换言之，对企业而言，大数据实质上是一种管理思维，其支点在于业务信息资源与社交媒体的融合，以及内外部数据的融合，在这样的支点上反思企业的组织形态、运作范式和价值创造模式，是“大数据企业”的真正内涵所在。

郭迅华：清华大学经济管理学院副教授

大数据与电力企业 第4篇

(一) 定义及其特征

大数据一词自诞生以来就一直是一个模糊而诱人的概念, 特别是最近几年, 它已经成为了一个信息时代的新兴主题。1980年, 阿尔文.托夫勒曾在《第三次浪潮》书中将大数据赞颂为“第三次浪潮的华彩乐章” , 从2009年起大数据这个词开始频繁出现在互联网信息技术行业中, 2010年Apache Hadoop组织认为大数据是指“普通的计算机软件无法在可接受的时间范围内捕捉、管理、处理的规模比较庞大的数据集合” , 在维基百科可查到“大数据就是那些无法在可承受的时间范围内, 运用常规软件工具进行捕捉、管理和处理的数据集合”。综上所述, 大数据是指量大、复杂、增长迅速的数据集合, 也指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合, 它涵盖了数据从产生、采集、存储、加工、转换、计算、分析挖掘、展示到最后被使用等数据全生命周期管理过程, 以及这一系列过程中所使用的各项技术和理念。

维克托.迈尔-舍恩伯格和肯尼斯.库克耶曾在《大数据时代》中提到过“大数据指不用随机分析法 (抽样调查) 这样的捷径, 而采用所有数据的方法。”与传统数据相比, 大数据有传统的结构化数据, 还有半结构化数据、多维数据及音视频数据, 数据的量级已从TB上升为PB、EB乃至ZB (1024GB=1TB, 1024TB=1PB, 1024PB=1EB, 1024E B=1Z B) 。I D C研究表明, 数据量正以每年60%的增长率持续增长, 换句话说在过去两年产生的数据已经达到历史产生的全部数据的90%, 预计到2020年, 全球数据总规模将增长44倍, 达到35.2ZB。

从上述可知, 大数据具有多样 (Variety) 、量大 (Volume) 、高速 (Velocity) 、价值 (Value) 的特性, 即所谓的4V特性。2013年3月13日, I B M发布白皮书《分析:大数据在现实世界中的应用》, 将大数据4V理论的最后一个V价值 (Value) 重新定义为真实 (Veracity) , IBM认为真实性是当前企业需重点考虑的维度, 是促进企业有效利用数据本身和分析方法进而提升数据价值的必要手段, 该理论提出了一个闭合的大数据体系, 最终呈现出应用层、工具层、数据管理层和数据层四层架构。

(二) 国内外发展趋势

2010年美国率先颁布“云第一”政策, 要求各机构必须在投资前对云计算选项进行安全性评估, 2011年2月, 美国政府发布《联邦云计算战略》白皮书, 宣布将在2012年投资800亿元联邦IT预算, 这也使得美国成为全球第一个发布云计算战略的国家, 2012年3月29日, 美国政府推出执行“大数据研发计划”, 提出“通过提高从大型复杂的数字数据集中提取知识和观点的能力, 承诺帮助加快在科学与工程中的步伐, 加强国家安全, 并改变教学研究”。2013年2月6日, 美国国家科学基金会等10余家国际研究基金会启动第三轮“数据挖掘挑战”计划, 鼓励社会人文科学领域中大数据研究的意义, 探讨大数据是如何改变社会人文科学领域的研究状态。近年来, 日本政府也在积极探索大数据发展, 提出了“有效利用信息技术开创大数据新产业”的发展战略。

相比之下, 中国大数据产业发展迅猛。2012年2月14日, 我国工业和信息化部正式发布《十二五物联网发展规划》, 规划中把信息处理技术作为4项关键技术创新工程之一, 其中包括了海量数据存储、数据挖掘、图像视频智能分析, 这都是“大数据”的重要组成部分, 而另外3项关键技术创新工程, 包括信息感知技术、信息传输技术、信息安全技术, 也都与大数据密切息息相关。随着信息化建设的深入推进, 大数据时代已经在生物医药、通信、互联网等行业得到体现, 如阿里巴巴利用大数据分析颠覆传统零售业, 利用网站统计数据通过用户行文分析, 建立了用户行为模型, 掀起了网络精准营销模式的新篇章;腾讯在天津建立亚洲最大的数据中心, 建成大中华局最牛IDC机房;百度也随后在阳泉投资建立百度云计算数据处理中心;新浪紧跟步伐推出企业微博, 提供精准的数据分析服务等等。

因此, 无论从国家政策要求, 各行业竞争形势所趋, 还是从企业战略发展的角度分析, 大数据已成为信息化发展的必然选择。

二、电力大数据研究现状

(一) 电力大数据概述

随着全球信息化建设步伐, 电力企业已坚定的步入了电力大数据时代。电力大数据是综合电力企业生产、管理运营、智能电网3个领域数据的信息系统, 也是近年来电力发展的重要方向之一, 主要具有以下显著特点:

1.数据量大。随着电力企业信息化新兴技术的不断推进, 智能电网自动化、互动化建设不断加强, 数据量由TB级向PB级急剧增长。

2. 类型多样。电力大数据所涉及的种类包括结构化数据、半结构化以及非结构化数据、视频音频等多种类型。

3. 速度较快。这个速度是指对处理分析电力数据的速度, 通常“一秒”是电力系统中处理业务数据最为重要的特征。

4. 价值较大。电力大数据综合了电力发电、输电、配电、变电以及用电等各个环节的数据, 大大提高了这些数据本身之外的应用价值。

5. 精确性高。电力大数据的数据来源涉及发、输、变、配、用电和调度的各环节, 量大且复杂, 大大提升了电力监测、电费计算等方面的精确性。

随着SG-186及SG-ERP的建设推进, 电力企业以“三集五大”管理体系建设为重点, 初步实现了企业级数据资源整合及共享利用, 但由于数据量由TB级向PB级急剧增长, 数据类型多样, 跨业务、跨平台应用不断深化创新, 电力大数据面临着数据高性能存储和高可扩展性挑战。因此, 如何利用现有的手段和技术水平, 从中发掘出数据的潜在价值, 促进电网业务逐渐向智能化、精细化方向发展, 进而为电力企业改进决策、降低成本、提高收益提供依据, 已经成为了电力企业发展中亟待解决的问题。

(二) 研究现状及形势分析

在2015年年中工作会议上, 国家电网公司特别提出, 深入开展全球能源互联网研究, 积极推动将智能电网纳入国家科技重大工程, 落实国家“互联网+”行动指导意见, 促进大数据、云计算、物联网、移动互联网等新技术在研发设计、建设运行、经营管理、客户服务中心的集成应用。

1. 大数据支撑智能电网建设

智能电网是电网发展的重要趋势, 而电网互联则是电力系统进步的主要标志, 大规模互联电网的安全运行、先进高效的配电网系统、互联电网公用技术、微电网技术也成为电力企业未来发展的重要研究方向, 分布式电力系统必将成为电网发展的主流。

智能电网建设包含电力系统的发、输、变、配、用、调度六个环节, 覆盖所有电压等级, 面对量大、范广、多类型基础数据, 电力企业已应用大数据对实时和非实时信息进行高度集成、共享和利用, 并在各环节建设中应用云计算、物联网等新兴技术实现可观测、可控制、完全自动化和系统综合优化平衡等智能化建设。大数据为能源信息的智能化管理提供了解决办法, 电力企业在提高自动化控制水平的同时, 应用大数据为智能电网发展提供技术保障, 支持智能电网的信息化、自动化、互动化, 促进电源、电网和用户资源的友好互动, 通过数据质量整理、数据价值挖掘等技术保障措施, 综合应用在决策分析、企业管理、用户服务等方面, 提升业务系统兼容性, 提高电网缺陷分析、安全评估及预警能力, 从而加快了智能电网转型以及可再生发电技术、电网调度技术的发展, 为客户提供了更为良好的运营模式。

2. 大数据支撑三集五大两中心建设

“十二五”信息规划的“三集五大两中心”体系建设是重点之重, 强调发挥“领导力、调控力、带动力”, 强化战略决策、资源配置、管理调控、电网调度“四个中心”作用一脉相承。“三集”指人力资源集约化、财务集约化、物资集约化, “五大”指大规划、大建设、大运行、大检修、大营销, “两中心”指运营监测 (控) 中心、供电服务中心。

五大体系涵盖电网业务全内容, 据统计目前包含百万量级项目的规划数据, 万亿级投资重点建设项目, 电网运行中调度约2000套SCADA/EMS数据应用, 每省 (市) 公司超过100G的设备信息和海量的检修工单数据, 数据量级已达到PB级, 数据规模服务于2.3亿营销用户。集约化管理对总部管理机制、组织架构、职责定位和岗位设置情况进行了深入研究和系统优化, 共梳理了613项核心业务流程、明确了758项重点横向需求, 至少面临着180万人员基本信息、绩效数据, 甚至超过200个财务标准流程及巨量物资数据。面对未来更精益化管理, 全业务数据分析预警以及用户数据价值的挖掘, 未来几年运营监控中心将实现对TB、PB级别的数据进行监控分析及提供辅助决策分析, 运营中心监控更需要大数据提供更快、更细、更全的数据监控需求。同时, 面对客户档案数据、服务语音数据、业务历史数据、VIP客户服务实时数据等海量多类型数据, 客服中心的一级部署也迫切需要分布式计算、数据挖掘等大数据技术进行数据挖掘、用户行为分析。

3. 大数据支撑基础平台建设

电力企业的基础设施及平台需要借助大数据相关技术来支持TB级数据量级的数据进行传输, 提升基础实施及平台对数据的采集、存储、加工、转换、计算、分析、挖掘、展示等服务能力。

(1) 电力大数据支撑数据层完成对结构化数据、非结构化数据、实时监测数据、地理信息数据及视频音频等多类型数据的采集。

(2) 在数据管理层, 通过研究数据查询检索等技术, 实现不同类型数据之间的接入与转化, 建立跨类型数据之间的关联数据模型, 实现全类型集中式关联, 并通过分布式存储、物联网等实现软硬件资源集中部署、统一调度。

(3) 工具层主要运用大数据支撑电力企业多形态数据的可视化展示, 提供分析决策支持适应大数据时代分析查询高要求, 推动大数据统一开发平台, 实现大数据量集成同步及视频数据集中存储与分析等。

(4) 应用层借鉴数据可视化技术, 促进各类电网业务应用更加人性化、智能化。

三、大数据对电力企业信息化的挑战

电力企业走进了大数据时代, 数据从传统的简单对象逐步转变为基础性数据资源, 如何能有效地管理及利用大数据已经成为当今社会普遍关注的话题, 大数据在给电力企业发展带来机遇的同时, 也相应的给数据存储、处理、分析及利用带来了极大的挑战。

(一) 数据质量方面的挑战

电力大数据主要涉及发、输、变、配、用、调6个环节, 具有数据量大、结构复杂、形态多样等特征, 而大量多样化的数据并不一定代表数据潜在附带的信息量和数据价值高, 准确性和完整性不高将会直接影响电力大数据的应用。

(二) 数据集成方面的挑战

电力企业本身内部应用系统较多, 专业性较强, 随着越来越大规模的数据中心, 使得在电力数据集成的过程中, 有部分电力数据直接被分别存储于不同的数据库内, 形成了信息孤岛;有部分数据由于系统业务功能重复, 在多个系统中进行了重复录入, 造成了大量冗余;另外, 还存在数据不一致、异构性等问题。

(三) 数据分析方面的挑战

电力大数据使得探索与研究半结构化、非结构化数据的处理、存储、分析与提取等技术变得十分迫切, 在大数据分析模式下, 数据处理的实时性、准确性、高效性变得尤为重要, 必须突破传统模式采用高效算法对全类型数据进行实时检测分析。

(四) 数据可视化方面的挑战

直观、有效的可视化展示界面能够促进人们更容易的研究、浏览、观察、操纵、探索、发现、过滤、理解大规模数据, 有助于挖掘隐藏在信息内部的特征和规律, 方便数据交互, 提高数据利用价值, 因此如何通过研究多形态数据的展现技术, 完善可视化组件, 丰富对文件、视频、动画、GIS等不同表现方式的展示手段提出了新的、严峻的挑战。

(五) 数据存储方面的挑战

结构化数据存储的关键点在于如何提高数据的查询、统计、分析及更新效率, 特别是对于图片、视频等一系列非结构化数据, 随时面临着数据存储、展现、检索等困难, 另外对于结构化数据与半结构化数据的之间转化存储, 或者直接按照非结构化数据形式进行存储也存在着非常大的难度。

(六) 数据运维方面的挑战

电力企业IT资源运维方式单一, 大量依靠人工方式, 缺乏对现有IT资源使用情况进行有效监测、分析及管理的工具, 又无集中式平台支持对IT基础架构资源中的数据库、小型机、服务器、中间件等使用情况的自动化管理, 导致数据运维不仅费时费力, 同时软硬件资源配置利用率也普遍偏低, 难以满足数据中心高效性、稳定性等特点, 一定程度上大大增加了后期IT资源的运营维护成本。

四、大数据在电力企业的应用分析

大数据的发展符合电力企业发展战略, 是电力企业信息化高速发展的必经之路, 它将遵从SG-ERP架构, 紧密围绕智能电网、三集五大两中心核心业务, 通过吸纳业界大数据应用经验, 利用现有技术成果, 结合实际应用需求, 探讨电力大数据应用的发展方向。

(一) 推进电力大数据关键技术研究

电力企业开展大数据建设, 亟需紧密结合大数据特性和实际业务需求, 依托现有的技术研发成果, 积极突破数据存储、数据计算、数据整合与治理、数据分析与挖掘、数据管理与服务和数据展示等六个方面的大数据核心关键技术研究。为满足未来电力大数据高性能的业务处理需求, 可考虑从以下四个方向进行:

1. 健全大数据信息安全防护体系。在电力大数据的迅速发展的必新形势下, 电力企业信息安全方面也随之产生一系列问题, 如敏感字信息过滤、重点关键性数据资源的有力监管等, 因此, 积极探索及研究面向大数据的信息安全技术, 建立健全大数据信息安全防护体系已不可忽视。

2. 建立大数据自主知识产权产品体系。电力企业需集中各方可利用的资源, 统一开展应用需求分析、典型设计、自主知识产权产品研发和应用测试等工作, 积极为示范试点、全面推广及深化应用等工作积累技术和储备专家人才, 从而加强电力大数据环境下自主知识产权产品体系建设。

3.推进核心关键技术研究。电力大数据技术研究已取得初步成果, 下一步还需充分利用这些成果突破数据高性能处理、数据挖掘、数据资源整合等关键核心技术, 开展应用集成创新, 形成完善的电力大数据技术体系。

4. 筹划大数据标准体系建设。电力企业是资产密集型和技术密集型行业的典型代表, 电力大数据覆盖电力企业的基建、生产、运营、管理等各领域, 为确保电力企业大数据建设稳步进行, 十分需要筹划建立电力大数据技术标准体系, 统筹规划现有业务应用系统数据资源, 实现统一模式集中管理。

(二) 推进电力大数据应用层建设

电力大数据应用层建设可分三个步骤进行:

1. 总体框架编制。 集中组织电力大数据专家人员梳理大数据典型应用场景需求, 对应不同应用需求类型分类编制总体应用框架, 待完成意见征集后, 修订发布总体框架。

2. 应用示范试点。 依据梳理的大数据典型应用场景需求, 选取示范典型, 组织编制试点方案, 开展应用试点示范, 实行全过程跟踪, 总结经验教训, 形成组织过程资产, 纳入大数据应用层建设典型经验知识库。

3. 应用持续提升。深度分析选取的应用示范试点实施情况, 进一步挖掘电力大数据价值, 提升电力企业辅助决策分析能力, 全面推广实施成功大数据应用场景。

(三) 推进电力大数据典型需求应用

智能电网将大数据技术引入智能电网的发、输、变、配、用、调度六个环节, 支撑实时和非实时信息的高度集成、共享和利用, 提高自动化控制水平, 促进电源、电网和用户资源的友好互动。

三集五大将大数据技术引入三集五大体系构建的一体化信息平台, 处理大量的多样化数据, 从而增加系统的整体覆盖面, 并强化对决策和服务的支撑。

运监中心, 大数据技术用于支撑大量数据的实时同步、处理和展示, 提供更精益化的数据管理和更全面实时的业务分析。

客服中心, 大数据技术支撑了海量数据的跨业务分析, 促进服务质量和服务智能化。

(四) 推进电力大数据专家人才储备

电力企业需组织建立大数据应用建设团队, 设立团队领导小组, 明确职责分工, , 同时, 需完善电力大数据人才培养机制, 加快新技术吸收和应用能力, 进一步完善新技术、新知识培训和认证体系, 构建多类别、多层次、立体化的专业技术人才队伍。

(五) 推进电力大数据协调机制建立

做到分层分级管理, 各司其责, 形成常态协同机制, 统筹推进各类信息技术在电力企业信息化建设中的发展应用, 并制定大数据技术研究及应用的全过程管控办法, 规范各个环节的管控。此外, 还需遵循电力企业信息化应用业务特点, 制定符合行业要求和发展的大数据管理办法。

五、效益与展望

本文结合理论研究, 围绕智能电网、三集五大两中心核心业务, 讨论了大数据对电力企业信息化发展的6个挑战, 并从5个方向完成了大数据对电力企业信息化发展的应用分析。

电力大数据关键技术的潜力是无限的, 大数据的应用前景是美好的, 电力企业已走入了大数据时代, 如何充分利用数据挖掘技术, 将电力大数据真正落实到电力企业内部各个环节, 对电力企业信息化发展具有深远的影响。

大数据时代对电力行业的影响 第5篇

【关键词】大数据；电力行业；影响

大数据时代，对电力行业的发展提出了新的挑战，然而同时，电力行业在大数据背景下也面临着难得的发展机遇。通过强化对数据的管理，同时使用数据挖掘手段对大数据战略进行深入的实践，必将非常有效的提升电力生产、销售和电网维护等方面的管理水平，为确保中国电力行业处于世界领先地位提供强大的技术支撑。因此，在这种情况下，探讨大数据对电力行业的影响就显得非常重要了。

一、电力行业大数据

近几年来，随着社会信息化建设的不断推进，电力行业的信息化建设也得到了很大的发展。国家电网公司一体化集团企业资源计划系统（简称SG—ERP）建设在“十二五”期间开始启动。同时伴随着国家电网公司各方面生产活动自动化以及智能电网建设的全面开展，在将来必定还有与生产自动化和智能化有关的数据应用到公司建设上来。同时，数据采集粒度随着时代的发展逐渐变得越来越小，采集的数据种类却越来越多，这就使得数据精细化程度变得越来越高。对于电力行业来说，电力信息的数据必定会呈现出爆炸式的增长。这种情况下，电力行业大数据发展方兴未艾。

鉴于此，我国电力行业应当抓住机遇，在加强信息化建设的同时，要充分的深究大数据背后所蕴藏的巨大价值。要强化数据治理工作，同时还应该对数据的挖掘以及分析高度重视，从而推动电力行业的发电、输电、配电、变电以及用电等各个环节不断发展，同时能够形成有效的问题解决方案，进而大大提高电力行业信息系统对电力行业决策的辅助能力。

二、电力大数据的主要特点分析

在大数据时代，电力行业应用大数据，可以使得生产、输电以及用电等各个环节的效率得到很大的提升。电力大数据的主要特征有以下几个方面：

（一）数量较大。这是电力大数据最为重要的特征。随着技术革新不断推进，电力行业中企业信息化速度不断加快，以及智能电力系统的建设也得到不断加强，这就使得电力数据的增长大大超过了预期。

（二）类型较多。电力大数据所涉及的种类包括结构化数据、半结构化以及非结构化数据等多种类型。

（三）速度较快。这里的速度主要是指对电力数据进行处理分析的速度。在电力系统中，业务的处理对于时间的要求比较严格，“一秒”时限是电力系统中处理数据最为重要的特征。

（四）价值较大。电力大数据将电力发电、输电、配电、变电以及用电等各个环节的数据进行综合，使得应用价值非常高。

（五）精确性高。电力大数据将电力运行中的各种数据进行综合，使得在电力监测、电费计算等方面的精确性大大提升。

三、大数据时代对电力行业的影响分析

随着大数据时代的到来，电力大数据对于实现电力企业精细化管理以及提升公司的管理水平具有非常重要的意义。大数据在电力中的应用势必会推动电力行业的发展，给电力行业带来深远的影响。其影响主要表现在以下几个方面：

（一）大数据对大规划产生的影响

伴随着配网规划业务的覆盖面不断加大，所产生的数据也呈现出爆炸式的增长，这种情况下，对于如何提升数据收集存储以及分析的能力，是亟待解决的难题。而应用大数据，可以非常有效的解决这些难题，提升工作效率。1、用电量的预测。根据大量的用电量历史数据，同时结合规划区域的面积和人口数量以及历史经济数据等情况，对本区域内的用电量进行预估，以此作为进一步进行规划设计的根据。2、多种指标的关联度分析。通过对从GIS、PMS等多个系统获取的众多数据进行综合的分析，然后将分析的结果作为规划设计的依据。3、对空间负荷进行预测。在整个电网中，对每个小片区的占地面积、用地的类型以及容积率，再加上各个行业的面积负荷密度以及行业的负荷值等众多的数值进行综合分析，以此来实现对远景年负荷预测的目标。

（二）大数据对电力生产产生的影响

在电力生产方面，运用电力生产MIS系统，同时再结合从地理信息系统中获取的众多数据，然后再依照不同地区的地形、能源分布情况以及气候因素等，使用大数据技术进行分析，从海量的数据中，把对于电网建设有利的信息提炼出来，进而实现电力资源的合理配置，这样做也可以防止由于煤炭没有供应上导致电力生产不足问题的出现。另外，利用数据挖掘技术，还可以对不同因素对电网输送功率极限的影响进行分析，设计出合适的电网输送功率极限，从而保证电网运行的安全。因此，利用大数据，对影响发电机位置的各种因素，如温度、湿度以及风力等，进行综合的分析，进而选出最佳的位置放置发电机。这种方式可以优化电力企业的资产，同时还可以有效的管控其资本的支出。

（三）大数据对电力营销方产生的影响

通过对购电量、售电量以及供电合同的管理数据，电能信息采集数据以及抄表计费数据，95598客服数据，计量点管理，计量体系管理数据，市场管理数据以及客户关系管理，客户档案管理等数据进行分析，同时再依据目前国家政策以及社会经济的发展形势以及自然因素等，对不同地区和不同用户的用电行为进行综合的分析，以便掌握规律，从而更好的制定营销策略。1、通过利用数据挖掘技术对上面的各种数据进行分析，可以非常有效的对用电电量进行预测，进而实现对用电需求合理有序的管理，提升电力资源的使用率。2、针对不同的客户，制定不同的营销策略。3、对于导致电费回收困难以及欠费的多种因素进行综合的分析，进而建立起客户信用等级模型，利用这种模型就可以大大的提升电费回收率，降低欠费率。4、使用大数据综合分析后，可以比较容易的发现用户非正常的用电行为，这样可以有效的避免偷电、漏电情况下的发生。

（四）大数据时代对电力安全运营产生的影响

在电力安全运营方面，使用数据挖掘技术，然后再结合计算机技术以及分布式处理，对大量来自监控系统的数据，比如环境监控以及工业控制等，进行综合的分析，提升对电网进行安全监测的水平。

（五）大数据时代对电力设备维护产生的影响

在大数据时代，将系统以及设备的检修次数、维修费用以及维修人员数量等数据和设备系统的一些信息整合起来，进行综合分析，就可以实现在发生故障的时候，及时的发现问题，然后及时的解决。除此之外，还可以通过对数据的分析，建立起对潜在问题出现的预测机制，进而建立起前瞻性的设备系统维护体系，从而实现对设备的有效维护。

结语

综上所述，电力行业运用数据挖掘手段可以对电力企业各个环节进行有效的管理。展望未来，“集约化、精细化、信息化、标准化”必将成为电力企业提升自己管理效率的主要方向，而大数据在电力行业中的应用定会助推电力行业取得不断的进步和发展。因此，抓住机遇，利用好大数据，是推动电力企业持续发展的关键。

参考文献

[1]李皎.大数据时代到来对电力行业发展提出新要求[J].华北电业，2012（04）.

大数据技术在电力企业的应用 第6篇

中国的电力工业经过几十年来的高速发展, 随着下一代智能化电力系统建设的全面展开, 中国的电力系统已经成为了世界上最大规模关系国计民生的专业物联网, 甚至在某种程度上, 这张遍及生产经营各环节的生产关系网, 构筑起了中国最大规模的“云计算”平台, 为从时间和空间等多个维度进行大范围的能源资源调配奠定了基础。对于电力行业而言, 电力大数据将贯穿未来电力工业生产及管理等各个环节, 起到独特而巨大的作用, 是中国电力工业在打造下一代电力工业系统过程中有效应对资源有限、环境压力等问题, 实现厚积厚发、绿色可持续性发展的关键。

1 大数据的概念和发展现状

大数据, 或称巨量资料、海量资料, 指的是所涉及的资料量规模巨大到无法透过目前主流软件工具, 在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。敲打键盘, 点击鼠标的每一个输入都是数据, 整理起来分析排行, 它的功能不仅仅止于事后被动了解市场, 搜集起来的资料还可以被规划, 引导开发更大的消费力量。

大数据的快速发展, 使它成为IT领域的又一大新兴产业。据中估算, 国外大数据行业约有1000亿美元的市场, 而且每年都以10%的速度在增长, 增速是软件行业的两倍。我国2012年大数据市场规模大约4.7亿元, 2013年增速将达到138%, 达到11.亿元, 产业发展潜力非常巨大。

国家电网公司在2013年底前已全面完成各级供电公司运营监测 (控) 中心建设, 福建电力公司已经运用大数据挖掘技术进行了相关探索, 基于数据挖掘的客户用电行为分析能够提高客户行为分析的精确度, 并实现对客户的用电行为进行定量化描述;与专业部门开展的分析相比, 基于数据挖掘的客户用电行为分析更加注重对客户用电风险的预测和大客户用电效益的挖掘, 促进公司运营效率和服务水平的提升。

2 大数据技术的应用分析

大数据的应用具有显著的财务价值, 而作为天然联系千家万户厂矿企业的中国电力工业, 其所产生的电力大数据价值尤为宝贵。电力数据以其同用电客户的紧密耦合可以实现对用户360度的精确定位, 电力数据以其同国民经济的紧密耦合可以实现对区域经济走势的准确还原, 电力数据以其同电力生产的紧密耦合可以实现对电力设施设计、生产阶段的反馈指导。总之, 电力大数据的有效应用可以面向行业内外提供大量的高附加值的内容增值服务。

2.1 电力大数据特征

电力大数据的特征可以概括为3“V”3“E”。其中3“V”分别是体量大 (Volume) 、类型多 (Variety) 和速度快 (Velocity) , 3“E”分别是数据即能量 (Energy) 、数据即交互 (Exchange) 、数据即共情 (Empathy) 。如仅从体量特征和技术范畴来讲, 电力大数据是大数据在电力行业的聚焦和子集。但电力大数据更重要的是其广义的范畴, 其超越大数据普适概念中的泛在性, 有着其他行业数据所无法比拟的丰富的内涵。

2.2大数据技术体系

根据大数据处理的生命周期, 大数据的技术体系通常可以分为大数据采集与预处理, 大数据存储与管理, 大数据计算模式与系统, 大数据可视化计算以等几个方面。

2.1.1大数据采集与预处理

根据Map Reduce产生数据的应用系统分类, 大数据的采集主要有四种来源:管理信息系统、Web信息系统、物理信息系统、科学实验系统。

针对管理信息系统中异构数据库集成技术、Web信息系统中的实体识别技术和Deep Web集成技术、传感器网络数据融合技术已经有很多研究工作, 取得了较大的进展, 已经推出了多种数据清洗和质量控制工具, 例如, 美国SAS公司的Data Flux, 美国IBM公司的Data Stage, 美国Informatica公司的Informatica Power Center。

2.2.2 大数据存储与管理

大数据给存储系统带来了3个方面的挑战:1) 存储规模大, 通常达到PB (1, 000 TB) 甚至EB (1, 000PB) 量级。2) 存储管理复杂, 需要兼顾结构化、非结构化和半结构化的数据。3) 数据服务的种类和水平要求高, 换言之, 上层应用对存储系统的性能、可靠性等指标有不同的要求, 而数据的大规模和高复杂度放大了达到这些指标的技术难度。这些挑战在存储领域并不是新问题, 但在大数据背景下, 解决这些问题的技术难度成倍提高, 数据的量变终将引起存储技术的质变。

根据为上层应用提供的访问接口和功能侧重不同, 存储与管理软件主要包括文件系统和数据库;在大数据环境下, 目前最适用的技术是分布式文件系统、分布式数据库以及以及访问接口和查询语言。

索引和查询技术是数据处理系统的重要入口之一, 近年来随着数据量 (Volume) 、数据处理速度 (Velocity) 和数据多样性 (Variety) 的快速发展, 大数据相关的索引和查询技术做为大数据的主要入口之一也变得更为重要。

目前各大数据库厂商, 例如Oracle、IBM、Greenplum都已经有支持分布式索引和查询的产品, 很多No SQL数据库例如Mongodb、HBase、Cassandra也支持分布式索引和查询。还有很多面向全文检索的产品例如Solr、Elastic Search、Sphinx均支持分布式全文索引和查询, 且这些产品都是开源的。值得一提的是Greenplum的GPText将Solr的全文检索能力引入到了Greenplum数据库之中, 使得它可以同时支持SQL和Solr的全文检索。

2.2.3 大数据计算模式与系统

计算模式的出现有力推动了大数据技术和应用的发展, 使其成为目前大数据处理最为成功、最广为接受使用的主流大数据计算模式。

根据大数据处理多样性的需求和以上不同的特征维度, 目前出现了多种典型和重要的大数据计算模式。与这些计算模式相适应, 出现了很多对应的大数据计算系统和工具[16]。

2.2.4 大数据可视化分析

在大数据时代, 数据的数量和复杂度的提高带来了对数据探索, 分析, 理解和呈现的巨大挑战。除了直接的统计或者数据挖掘的方式, 可视化通过交互式视觉表现的方式来帮助人们探索和解释复杂的数据。一个典型的可视化流程是首先将数据通过软件程序系统转化为用户可以观察分析的图像。利用人类视觉系统高通量的特性, 用户通过视觉系统, 结合自己的背景知识, 对可视化结果图像进行认知, 从而理解和分析数据的内涵与特征。同时, 用户还可以交互地改变可视化程序系统的设置, 改变输出的可视化图像, 获得对数据的不同侧面的理解。因此, 可视化是一个交互与循环往复的过程。

大数据时代涌现并推动了很多可视化商业化的机会。Tabealu的成功上市反映了市场对可视化工具的需求。类似IBM Manyeyes这样在线可视化工具的流行, 则表明在一定程度上满足了广大普通用户对可视化方法的需求。国际的几个大公司也在开展相应的研究, 企图把可视化引入其不同的数据分析和展示的产品中。各种可能相关的商品也将会不断出现, 对可视化服务的商业需求将是未来的一个最大方向。

2.3 大数据技术应用前景

电力工业作为国家基础性能源设施, 为国民经济发展提供动力支撑, 与社会发展和人民生活息息相关, 是国民经济健康稳定持续快速发展的重要条件。电力大数据的爆炸性增长并不是简单的数据增多的问题, 而是全新的思维定式改变的问题。积极应用大数据技术, 推动中国电力大数据事业发展, 重塑电力“以人为本”的核心价值, 重构电力“绿色和谐”的发展方式, 对真正实现中国电力工业更安全、更经济、更绿色和更和谐的发展具有极大的现实意义。

电力生产销售的“实时性”, 使得电力行业不得不靠基础设施的过度建设来满足电力供应的冗余性和稳定性。这种过度建设带来的发展方式是机械的, 也是不经济的。在中国电力需求日益攀升的今天, 经济性的可持续发展理念必然是电力行业无法回避的问题。电力行业对大数据的需求, 其迫切性将大大超越其它基础能源行业。首先, 在电力生产环节, 风光储等新能源的大量接入, 打破了传统相对“静态”的电力生产, 使得电力生产的计量和管理变得日趋复杂。其次, 电能的不可储存性, 使得电力工业面临极其复杂的安全形势。电能的“光传输”特性, 瞬间的电网失衡会造成无法挽回的损失。再依靠“人工+设备+经验判断”的半自动生产经营方式, 电力系统的生产经营人员将承面临着无法承受之重;最后, 在电力经营环节, 随着下一代电力系统的逐步演进, 高度灵活的数据驱动的电力供应链将逐步取代传统的静止的电力供应链。这种灵活性来自于电力系统管理者们对电力设施真正运行状态的洞察力。通过获取质量更好、粒度更细的数据, 才能真正提升电力行业对当前电力供应链的“能见度”, 电力生产供需管理才能变得更为有效电力的经营管理者可以通过这些信息记录, 了解电力基础设施的历史、可靠性和成本, 来整体优化电网, 进而完成高度准确和精确的预测需求;电力的消费者可以通过对功耗的实时了解, 有意识地调整自己的用电方式, 这能够带来显著的能源节约。

4 结束语

未来的智能电力系统不仅承载电力流, 也将承载着信息流和业务流, “三流合一”的智能电力系统的价值也将随之跃升, 而这种跃升显然具有大数据的时代特征。当网络中传输不只是电能, 更重要的还有数据, 我们电力人也需要积极主动的去探索如何来科学合理的释放数据能量, 以推动传统电力工业的升级, 以适应未来经济社会的发展需要。电力大数据的价值已经相当庞大, 但如果实现进一步延伸, 将电力大数据与人们生产生活数据, 与政府企业等多行业数据相结合, 将产生更多更大的价值增值潜力, 实现数据价值在电力系统外部的流动和发展。

摘要：在IT技术飞速发展的今天, 随着大数据技术的不断应用, 为电力企业在经营管理上提供了重要的技术支持。本文介绍大数据概念、大数据发展、探讨大数据技术在电力企业内的应用前景。

关键词：大数据,发展,应用

参考文献

[1]中国电力大数据发展白皮书 (2013年)

大数据技术在电力企业的应用 第7篇

1 大数据技术最新研究状况

从现在世界各国对大数据技术的研究应用方面来看, 技术水平已经日趋成熟, 例如最大化扩展数据库、提高搜索引擎性能、最佳可视化工具、驱动处理技术、智能化商业技术等, 这些技术都在日益完善, 广泛被用来处理海量的数据, 能够大量的挖掘数据信息。就目前而言, 美国对于大数据技术的利用最为广泛, 有关技术也相对较为成熟, 在其他欧洲国家, 大数据技术的研究和利用还稍显落后, 德国和英国等国家对大数据的研究已卓见成效, 现在“大数据”得到了更多国家的高度重视。

当前, 传统数据评估技术已满足不了各企业的需求, 人们更多的想要时实数据分析, 而当前的基础设施、数据结构以及商业模式根本无法保质保量完成这些任务。关于大数据技术, 人们重点研究的是工作量化和在原基础上如何更多的处理信息, 人们认为在未来工作量化这种新的商业模式中, 大数据技术将会成为一种主流技术, 从近几年来看, 我国关于大数据技术应用的项目还比较少, 多数处于测试阶段, 但IDC预测, 未来几年大数据技术将会在全国范围内广泛应用, 对于各行各业来来说, 大数据技术既是挑战也是机遇。

2 电力企业信息化程度

要实现国家信息化就离不开企业信息化, 电力企业在我国能源行业中作为主要成员, 信息化建设是必不可少的工作, 对比国外电力行业信息化水品, 我国电力行业信息化发展还稍显不足, 缺少对电力企业信息化程度的评判机制, 使得电力行业信息化发展参差不齐, 对信息化不够重视, 使电力企业信息化发展较慢, 总体来说, 我国电力企业的信息化发展程度在硬件上已经处于高级别水平, 但软件上, 还处于较为低下的水平, 以下是我对现在电力企业信息化发展的看法, 仅作抛砖引玉。

2.1 却少对信息化发展未来的规划。

目前来看电力企业对未来信息发展规划没有明确目的性, 或是为了执行上级命令进行简单规划, 并没有结合单位的实际情况。甚至许多单位根本没有对信息化发展的规划, 进行总结时也只是负责网络管理的相关工作人员简单的提到, 普遍比较简单。

2.2 领导对发展信息化不够重视。

信息化工程的建设需要各企业一把手的高度重视, 但从目前情况看来, 只有个别企业的信息化部门是企业的大领导直接管理, 对信息化的重视程度还是不高。

2.3 没有专门的管理信息化的部门。

从各单位的部门设置来看, 都没有将与信息化有关的工作做统一规划, 没有设立专项部门, 多数还是处级以下的一个小科室, 还有的电力企业把信息化部门归属到不对应的部门下。

2.4 缺乏对信息人才的重视。

由于电力企业对于信息化的相关工作没有足够的重视, 在单位中从事与信息化相关工作的人员很少, 又由于薪资待遇问题, 和怀才不遇的感慨, 使专业的信息专业人才大量流失, 有的单位甚至出现只设一个信息化科室, 却没有工作员工的现象。

2.5 制度相对完善, 但没有统一的执行标准。

各单位在制定相关制度的方面还是比较完善的, 如计算机的使用制度、机房管理制度等, 但不同的单位有各自的执行方法, 并不统一。

2.6 做好信息安全工作

大多数的单位还是非常重视信息安全工作的, 他们通常通过设置内部账号, 限制外部登陆等措施来实现信息安全, 但细化的管理相对差些。例如, 各单位普遍都重视防毒工作, 但相关工作不是十分的完善, 杀毒系统升级不及时, 数据终端不能完全覆盖, 信息的保护措施相对较弱, 一些单位只做了一个紧急应对方案不足以应对连续的风险。

3 大数据技术在电力企业应用的现状及未来发展趋势

电力企业对于“大数据”的应用主要在于, 建设更高水平的智能电网和完善“三集五大”体系的部署和决策, 电力行业有形成大数据的独特环境, 对于日益庞大的业务量和更高端的数据处理要求, 电力行业需要不断探索大数据环境下适用于自身的数据处理办法, 以更好的应对飞速增加的数据信息量。更好的吸收各类信息, 使其更具多样性和时效性, 下面列举几项“大数据”在电力行业中的应用。

3.1 颠覆能源系统, 高效利用智能管理。

能源行业关系国计民生, 从清洁能源开发、减少能源消费、提高能源使用效率到绿色科技和智能电网的建设, “大数据”都能在其中发挥巨大的作用。

在《大数据时代》一书中, 智能电网被认为是“大数据”的抽象概念, 网络将用户的用电习惯反馈给电网公司的信息中心进行分析处理, 为电网的规划, 建设和服务提供可靠依据。

3.2 利用“大数据”洞悉消费市场。

2013年开始, 电力、石油等能源产业纷纷展开“大数据”竞争, 大数据技术典型的特点就是可以快速从海量的数据资源中快速获取有价值的信息, 同时这也要求企业领导者具备透过现象看本质的能力, 对数据进行分析, 进而更清楚地了解自身和客户。此外能源产业还可利用大数据分析能源储量, 预测能源消费, 提高使用效率, 减低消耗成本。在瞬息万变的市场形势下, 管理者可利用“大数据”把握先机, 制定战略, 规避风险, 确保企业平稳运行。

3.3 为用户提供丰富的增值服务。

电力企业可配合大数据, 利用丰富的行业数据为用户提供丰富的增值服务。例如为用户提供详细的各月份用电量统计表, 可以让用户了解自己的用电习惯, 也使得收费变得更加透明。

还可以根据用电量对各个地方的消费水平进行分析, 更精准的掌握该地区的经济发展状况, 扶住投资者的决策, 也为电网规划提供依据。

结语

据预测, 中国的“大数据”市场从2012年后会成倍增长, 政府、电信、能源和银行等主要行业会首先使用大数据, 面临“大数据”时代的到来给电力行业发展提出各种新的挑战来看, 如何将挑战转变为机遇是每个企业都要思考的问题, 运用大数据可以海量挖掘信息技术, 提高生产力, 提升电网运行、维护和销售方面的实力, 使中国的电力企业成为世界领先的能源行业。

摘要：本文主要探讨大数据技术在电力企业的应用, 大数据以其数据总量大、种类多、传输快捷等特点, 逐渐渗透在人们的生产生活, 方便了我们的日常生活, 对国家的经济发展也起了一定的作用, 能为我们分析问题提供更多更好的解决方案。

关键词：大数据技术,电力,企业

参考文献

大数据与电力企业 第8篇

近日,由中国行业软件协会组织的“电力大数据平台关键技术研发与示范应用工程”项目鉴定会在北京举行。由中国科学院院士徐宗本任组长、中国工程院院士沈昌祥任副组长的鉴定委员会对该项目给予高度评价,认为项目所研发的平台技术是在国际上首次提出并实现集中式和分布式混合架构的电力大数据存储与计算服务、多源异构电力大数据融合模型与统一数据网关等技术;平台结合电力生产服务特点,开展了卓有成效的示范应用,形成了分时节和分行业的细粒度用电行为特征分析、分行业和分地区的符合预测等一批应用模型与算法,所研发的关键技术具有创新性,达到国内领先、电力应用领域国际领先水平,符合鉴定要求。公司副总工程师李向荣,国网信通部负责人及相关单位代表出席会议。

坚强智能电网及“三集五大”体系建设的不断推进,对信息系统的建设模式、数据质量、存储效率、检索方式、数据计算能力等提出了更高要求。大数据平台的关键技术研发和示范应用,从国家发展战略、电网业务、信息技术三大方面分析电力大数据需求,开展电网企业一体化全业务数据模型、大数据总体设计及关键技术研究工作,完成涵盖数据整合、数据存储、数据计算、数据分析、数据安全、平台服务的大数据平台研发,基于企业级大数据平台的建设成果从电网生产、经营管理、优质服务领域开展示范应用。自2014 年起,公司统一开展项目研究,组织国网山东、浙江、上海、福建、安徽、辽宁电力,国网客服中心等单位,开展电力负荷预测、用电行为特征分析、配网抢修精益化管理、配变重过载预警分析、新型客户服务业务型态、防窃电预警分析、政策性电价和清洁能源补贴执行效果评估等示范应用。

该项目是公司积极应用“大云物移”新技术创新发展的重要实践。项目基于多源数据采集、海量异构数据存储、分布式计算等技术,建成了具有自主知识产权的、支持公司电网生产控制、经营管理、客户服务的电力大数据平台,所研发的关键技术指标优于国内外同类成果。项目取得了集关键技术、企业级大数据平台、场景应用于一体的技术创新,以及包括技术专利、论文、软件著作权、企业标准等一大批研究成果;成功完成拥有自主知识产权的大数据平台在国网江苏、上海、浙江电力,国网客服中心等10 家单位的部署实施,实现了电力负荷预测、配网故障抢修精益化管理、电网设备状态监测、防窃电预警分析等10 个典型场景的示范应用,降低了非计划停电时间,提升了设备利用率,提高了服务质量等,取得了显著的经济效益和社会效益。

大数据与电力企业 第9篇

非结构数据来源于多个业务系统，其中包括营销管理信息系统、物资管理信息系统、办公自动化系统、门户系统等应用系统。同时企业产生的文本数据、图像、声音等也属于非结构数据。在企业非结构数据急速增长和资源使用受制约的情况下，急需对非结构数据进行统一管理，充分发挥非结构数据资源的作用。

1 非结构数据中心总体功能架构

1.1 重复数据删除技术

重复数据删除，也被称为智能数据压缩或单一实例存储，它是一种可以减少数据存储需求的手段，事实上它是数据压缩的衍生品。重复数据删除与数据压缩的主要区别在于：假如有2个完全相同的文件，数据压缩会对每个文件进行重复数据的排除并代之以指向第1份数据的索引;而重复数据删除则能分辨出2个文件完全相同，从而只保存第1个文件。与数据压缩一样，它可以删除掉第1个文件里的重复数据，增加一个指向第1份(并且是唯一一份)数据的索引，从而减小所存储数据的大小。

1.2 总体设计

非结构数据管理中心是一个安全、易用、经济高效的信息管理系统，专门为存储非结构数据设计，是软、硬件结合、经济高效的在线重复数据删除及数据归档平台。

非结构数据管理中心软件部分负责数据的获取与利用;硬件部分负责存储数据，以确保数据的安全。

1.2.1 硬件网络环境

系统网络拓扑结构如图1所示。系统由2台非结构应用服务器、2台核心交换机、2台芯跳交换机、2台SAN光纤交换机、4台HCAP归档节点、1台高性能存储阵列组成。

非结构应用服务器通过以J2EE技术、SOA技术编写的接口程序与营销系统、生产系统等文件服务器进行数据交换，然后将收集到的各种数据传入配置有负载均衡策略的4台归档节点，而归档节点采用基于标准的开放接口，包括网络文件系统(NFS)、通用Internet文件系统(CIFS)。接收到数据后，通过冗余的光纤交换机，以文件块作为存储对象，写入高性能的RAID磁盘阵列中，同时实时计算及校验。到自定义的时间段，将数据进行分块计算指纹码，将重复指纹码的数据块进行删除，利用重复数据删除技术保留核心数据，随时提供给非结构应用服务器检索或者调用。

1.2.2 软件支持平台

软件支持平台包括运行非结构数据管理中心及其他功能的操作系统、后台数据库及相应的客户端工具软件等，也是非结构数据管理中心开发的运行环境。

1.2.3 非结构数据管理中心

非结构数据管理中心提供数据的获取、归档、整理、存储、检索、查阅、借阅利用等与非结构数据管理相关的业务处理和信息服务。

使用数据归档、存储、搜索等技术，系统会对归档后的数据进行大比例的压缩，在保证遵从法规的同时，用户可以大幅减少在存储系统上的成本支出，文件服务器也因为存储数据的减少而变得更容易管理。

非结构数据管理中心系统总体设计架构如图2所示。

1.3 技术路线

采用J2EE架构构建企业非结构数据管理中心，系统软件架构采用开放的、成熟的、包含内置工作流的Java B/S模式多层体系作为应用软件平台架构，结合目前主流的成熟MVC框架等进行构建，提供更好的应用性能以及系统维护性、扩展性和安全性。

1.3.1 J2EE架构

后台管理系统采用J2EE架构，应用程序安装在后台服务器中，可以被通用浏览器所浏览。基于Web的信息服务模式为构建应用提供了一个良好的集成框架，它采用标准的协议，不局限任何硬件平台和软件环境。

1.3.2 SOA技术

系统对外接口和服务组件采用SOA技术，可灵活配置，对外提供接口和服务。

SOA是一个组件模型，它将应用程序的不同功能单元通过定义好的接口联系。接口是采用中立的方式进行定义的，它独立于实现服务的硬件平台、操作系统和编程语言，使服务可用一种统一方式进行交互。

2 非结构数据中心系统功能的实际应用惙㸃

非结构数据管理中心的业务功能架构如图3所示。

2.1 系统管理

非结构数据管理中心提供个性化的统一入口，包含系统的常用功能模块，并可根据个人的爱好单独定制界面的内容和布局。可定制的内容包括主页的显示结构、显示内容、栏目数量、个人的待办工作及邮箱等。

2.2 数据管理

数据管理主要功能包括：文档分类管理和文档属性管理。系统提供标准的文档分类，根据用户的需要，还可以动态增加文档分类。可定制各个不同文档分类的文档属性，属性代表非结构文档的字段定义，例如OA系统的发文文档类型中，审稿人可以用一个属性表示。

2.3 数据浏览

数据浏览主要有以下功能。

2.3.1 文本文档浏览

用户在首页选中某类文档后，选择年、月，即可浏览相关的信息，也可以对文件题名作模糊查找。以查阅档案资料为例，在首页的数据展示区域，找到档案资料，该模块有文书档案、科技档案、合同档案等项目。在显示的数据中，点中任意一条数据的标题项目，即可查看该数据的明细。

2.3.2 照片文档浏览

照片文档打开时，以照片缩略图的方式显示图片的列表，用户点击某张图片后，可以显示图片的详细内容，并提供图片的翻页、直接跳转功能;还可以为用户提供照片文档的列表，以便用户快速打开文档。

2.3.3 声像浏览

作为非结构数据的管理系统，允许用户进行查看、管理声像文件等操作，并提供声像文档的查看、下载及在线播放FLV声像文档的功能。

2.4 数据检索

系统中内置强大的全文检索引擎, 而非关系数据库式的全文检索。使用分布式索引技术，能提供高速的搜索性能和准确的搜索结果，数据量越大，性能优势越明显。分布式索引技术除了高性能和高准确率外，还提供模糊查询，其内置的全文检索引擎可以为邮件数据的所有部分做索引，如发送者、接收者、主题、内容、附件、日期及大小等。

2.4.1 全文检索

系统支持W o r d、T I F F、PDF、PPT、HTML等格式的电子文档原件的全文检索功能。

2.4.2 条目检索

用户可以录入文档的标题、文档的分类、文档的日期范围、文档的附件题名等信息，在文档的资料库中进行条目检索，检索的结果可以按不同的字段排序，也可以分页显示，每页显示的记录数可以动态调整。

2.4.3 全文检索

录入关键词后在相应的分类中进行搜索，搜索的范围包括标题、关键词及文本附件中的文字等，搜索的结果以文档摘要形式展示，包括文档的标题、匹配的内容摘要及文档的相关属性信息。此外，用户还可以进行快速的分类搜索，可以在搜索结果中再进一步搜索查找，搜索结果可以列出相似的热门搜索关键词。

2.4.4 高级检索

用户可以进行更多条件限制的搜索，包括录入文档的类型、包含的关键字等，搜索具体的分类、文件的格式、关键词出现的位置(标题、附件、属性)及文档创建日期、范围等条件。用户还可以定制搜索结果返回的内容是否显示摘要，以及搜索结果每页的文档数等。高级搜索的结果与全文搜索结果以相同方式展示。

2.5 数据利用

非结构数据管理中心支持从以下系统获取数据的功能(主要包括获取非结构化的文档数据)：

(1) OA系统数据获取：获取OA系统所有收文、发文、会议纪要、传真、制度等非结构数据文档;

(2)营销系统数据获取：获取营销系统的国家法规、国家政策、规章制度、业务流程、业务功能、业务术语等非结构数据文档;

(3)生产系统数据获取：获取生产系统的标准规范、规章制度、法律法规、生产技术、安全规范等非结构数据文档;

(4)电子邮件获取：获取邮件系统的所有个人电子邮件数据。

2.6 接口管理

非结构数据管理中心系统提供与OA系统、营销系统、生产系统、EAI/EIP、PKI/CA等系统的接口，实现非结构数据管理中心与以上各业务系统的应用集成。

3 结语

在电力企业走向市场的大背景下，采用先进的管理思想和现代化计算机技术手段，保证信息系统运行稳定、可靠、高效，提高企业竞争力，是当务之急。

通过建立安全、易用、经济高效的非结构数据管理中心，对企业内部个人文档、部门文档、电子邮件、视频记录、声像、照片以及业务系统数据等非结构数据自动归档，随时高效利用经过重复数据删除的核心数据。将庞大的非结构数据从不同的业务应用系统归档至统一的存储设备，提升在线系统性能，并对数据安全提供了有效保障。

参考文献

[1]戴士剑, 涂彦晖.数据恢复技术[M].北京:电子工业出版社, 2007.

[2]张　冬.网络存储系统原理精解与最佳实践[M].北京:清华大学出版社, 2008.

大数据与电力企业 第10篇

在国家电网公司加快建设坚强智能电网和“三集五大”管理体系的大背景下,信息化支撑作用日益突出,信息与业务的融合速度大幅提高。随着SG186工程的初步建成,尤其是北京、上海、陕西三地数据灾备中心的投运,国家电网公司信息系统真正进入一体化运行阶段,系统复杂度更高,纵向联系更密切,横向协同更频繁。这对各网省电力公司的信息系统运维提出了更高的要求,特别是针对公司的核心业务数据的变更,更是需要谨慎处理。

本文调研了国家电网公司华中分部的信息系统数据库现状,并分析了存在的问题,结合现有的软硬件资源,从数据库迁移和数据库整合2方面提出了华中分部信息系统数据库的优化整合方案,并探讨了对灾备系统的影响。经过最终实施,消除了数据库系统的隐患,提升了数据库系统的稳定性。

1 数据库现状及存在的问题

华中分部SG186工程经过多期系统建设与深化应用,已先后建设了ERP系统、核心数据库系统、数据中心、一体化平台综合应用系统、邮件系统等。这些业务系统有些使用的是共享的核心数据库,有些使用的是独享的数据库系统[1]。华中分部信息系统数据库优化整合前的架构如图1所示。

1.1 信息系统数据库现状

目前,华中分部的信息系统数据库包括1套共享的核心数据库,以及若干个独立的单机数据库。

1)核心数据库运行现状。核心数据库运行在2台HP小型机上,采用Oracle Clusterware集群软件和Oracle自动存储管理(Automatic Storage Management,ASM)来实现Oracle RAC,通过Oracle ASM来达到HDS高端存储设备和HP高端存储设备间的实时数据镜像,实现存储级的高可用性。目前,这种架构能够保证在其中一个存储设备宕机的情况下不会对核心数据库业务造成影响,并且Oracle ASM数据存储管理方式可以方便地进行数据库空间的扩容,有效利用总体分配空间。

2)核心数据库备份现状。在华中分部本地,采用Symantec的NBU(Net Back Up)集中备份产品全库备份到磁带库上;在上海灾备中心,根据国家电网公司数据级灾备系统的要求,采用存储复制的方式对核心数据库全库数据进行备份,采用Oracle Golden Gate数据库复制方式将核心数据库中的操作型数据存储(Operational Data Store,ODS)数据库进行备份。

3)核心数据库应用现状。华中分部大部分信息系统的数据库都使用核心数据库(除财务管控、生产管理系统及ERP),使用方式是多个业务系统建立多个用户,共享单个实例。

4)其他信息系统数据库现状。其他信息系统的数据库,比如财务管控数据库和生产管理系统数据库,运行在华中分部VMware虚拟机集群的单节点上,且均为单机单实例部署。

1.2 存在的问题

华中分部在对核心数据库管理运维过程中,发现存在以下问题:

1)核心数据库所使用的2台HP小型机,已使用8年,配置较低,性能已不能满足分部统一IT资源平台的需求,存在宕机的风险;

2)数据库系统存储空间使用率高达80%,需要扩容;

3)财务管控数据库和生产管理系统数据库运行在VMware虚拟机上,其安全性和可用性得不到保证;

4)信息系统数据库分散,不便于集中管控;

5)ODS数据库与其他业务系统数据库共享核心数据库,其数据库复制Golden Gate进程,易受到他业务系统影响而异常中断;

6)ODS数据库的数据库复制软件未开启数据定义语言(Data Definition Language,DDL)复制功能,一旦ODS数据库发生DDL操作,上海灾备中心的数据库复制进程会发生异常中断。

2 优化整合方案

将核心数据库、财务管控以及生产管理系统的数据库整合到新购置的2台IBM小型机上,共用1套Oracle数据库。对现有信息系统进行分类[2],对于关键程度很高、排他性较高的系统,如生产管理、财务管控、人资管控、ODS等,使用单独的Oracle数据库实例;对于关键程度较低、排他性较低的系统,如远程培训、综合管理、国际合作、安检管理等,使用不同的用户、表空间共享一个数据库实例。

2.1 技术路线

由于牵涉到将数据库从Windows和HP-UX平台迁移到AIX平台,并且会影响到灾备系统,所以迁移整合前,需要做一些测试,以便确定具体的技术方案。

2.1.1 数据库迁移的最优方式验证

此次系统的迁移要求数据库从Windows平台和HP-UX平台迁移到AIX平台,且数据库版本不变,可以采用以下方式进行数据迁移[3]。

1)数据泵:速度比传统的导出导入快,且支持更多功能。

2)Oracle RMAN数据库迁移:Oracle RMAN(Recovery Manager)数据库迁移支持在字节存储格式相同的不同操作系统平台之间转换迁移,且此方式是将数据文件转换后直接复制到目标库服务器中进行重建,所以迁移的速度最快。另外需要注意的是,源库在转换过程中必须设为只读,所以必须停止应用系统。

经过对生产环境实际数据(460 GB)进行迁移测试,建议采用Oracle RMAN数据库迁移方式。数据泵和RMAN 2种迁移方式时间对比见表1所列。

2.1.2 Oracle Golden Gate跨平台复制的DML和DDL测试

为了模拟迁移整合后ODS数据库灾备场景,即生产端为AIX平台,灾备端为HP-UX平台,首先将核心数据库数据库迁移至IBM小型机上模拟生产端,另外用1台已下线的HP小型机模拟上海灾备中心的灾备端。

测试方式是在源数据库端进行数据操纵语言(Data Manipulation Language,DML)和DDL操作,Oracle Golden Gate软件能将DML和DDL操作同步到目标数据库,测试表明Oracle Golden Gate支持从AIX平台复制到HP-UX平台。

经过前期的测试验证,数据库迁移采用RMAN方式,数据库整合模式采用共享数据库实例和独享数据库实例相结合的方式,具体是生产管理系统数据库、ODS数据库和人资管控数据库采用独享数据库实例的方式,其他信息系统采用共享一个数据库实例的方式。

2.2 实施方案

华中分部信息系统数据库优化整合实施方案如图2所示。

具体实施步骤如下[4]:

1)确认对核心数据库扩容之后,生产端和灾备端的存储空间满足要求,存储复制的License满足要求;

2)准备数据库软硬件资源环境,包括为IBM小型机安装操作系统、分配合适的存储空间、安装Oracle集群和数据库软件、配置RAC和ASM、创建独享和共享的Oracle实例等;

3)关闭Oracle关联应用,停止Oracle对外服务,确保在数据库迁移过程中不产生业务数据;

4)将共享目录以网络文件系统(Network File System,NFS)挂在源数据库主机上,采用RMAN方式对源数据库进行导出至共享目录;

5)将共享目录从源数据库主机卸载,挂到目标数据库主机,并使用RMAN方式进行数据库恢复、还原,还原完成之后,通过比对源数据库和目标数据库所有Schema对象数量,进行数据一致性验证;

6)验证通过后,新生产环境与上海容灾端Golden Gate和存储复制联调;

7)Oracle RAC新生产环境启用,关联应用开启验证,调整Oracle相应参数以提高数据库性能[5];

8)关闭原生产环境主机,进程资源回收。

3 实施效果

华中分部信息系统数据库优化整合后的架构如图3所示。

经过此次优化整合,主要在以下4个方面取得了很好的实际效果。

1)提升了数据库性能。将核心数据库从老旧的HP小型机迁移至新的IBM小型机上,硬件平台性能和稳定性得到了极大提升,消除了原HP小型机由于使用时间过长而带来的硬件故障隐患;数据库软件方面,扩充了容量,调优了有关参数,使核心数据库各项性能指标得到了较大的改善。

2)改善了数据库运维模式。以前华中分部存在多套数据库,运维人员无法统一运维调度,需要巡检和维护多套数据库,耗费大量的人力和物力。将数据库重新按照业务系统自身特点进行优化整合之后,所有的信息系统共享一套数据库,运维人员可以对数据库进行统一运维调度,极大地降低了运维难度。

3)消除了灾备数据库复制的缺陷。以前的ODS数据库与其他业务系统数据库共享使用核心数据库上的一个实例,其他业务系统的数据变更对ODS数据库的数据库复制进程会产生不良影响,并且以前ODS数据库复制软件没有开启DDL复制功能,ODS数据库一旦发生表结构变更,会引起数据库复制灾备端进程异常中断。经过此次优化整合之后,上述缺陷得到有效规避。

4 结语

经过此次数据库系统的优化整合,在硬件平台、数据库空间、数据库整合模式以及灾备系统等方面都得到了较大的改善,提高了信息系统在数据层面上高可用性和高安全性。此次数据库优化整合是在国家电网公司集中式数据灾备系统建成后实施的,由于涉及到与灾备系统之间的联调工作,此次优化整合对其他网省公司的核心数据变更提供了很好的实践依据。

参考文献

[1]孟浩华,马俊平,吕美玲.异构存储环境下的虚拟化整合设计及实施[J].电力信息化,2011,9(10):84–87.MENG Hao-hua,MA Jun-ping,LV Mei-ling.Design and implementation of virtualization integration in heterogeneous storage environments[J].Electric Power Information Technology,2011,9(10):84–87.

[2]张华峰,韩旭杉.SG186业务应用系统数据库整合模式[J].电力建设,2010,31(8):104–106.ZHANG Hua-feng,HAN Xu-shan.Database integration model of the SG186application system[J].Electric Power Construction,2010,31(8):104–106.

[3]钱菁,黄光明.异构数据库间数据迁移的实现方法[J].微型电脑应用,2002,18(3):10–12.QIAN Jing,HUANG Guang-ming.Data portability between is omeric databases and its realization[J].Microcomputer Applica-tions,2002,18(3):10–12.

[4]邱红飞,李先绪,黄植勤.企业应用系统中异构数据库迁移关键技术研究与实现[J].微计算机信息,2012,26(9):236–238.QIU Hong-fei,LI Xian-xu,HUANG Zhi-qin.Research of HDB data migrating in enterprise information system[J].Control&Automation,2012,26(9):236–238.