随着电网的建立健全, 各方面的机制都不断完善加强, 为了充分发挥实时采集的电网数据价值, 要求技术发展能够适应大规模电网数据流实时处理的新要求。就目前来看, 电力系统大数据分流所采用的理论方法依旧是传统的方式, 而大规模电网的数据流庞大, 具有实时性、无序性、无限性等特征, 使得基于“先存储后处理”设计理念的数据批量处理在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面面临着前所未有的新的挑战[1]。
一、电力大数据计算服务体系
电力大数据计算服务体系是为了更好进行细节处理, 可以通过当下先进的计算机分析技术、数据处理技术以及数据提取技术进行资源的分配管理, 构建面向电力运维管理人员、应用开发人员、数据分析人员、业务人员等不同用户的高层次概念模型[2]。
(一) 面向电力业务人员的应用服务
电力业务人员需要承担起电力系统的系列任务, 将数据流进行有序的处理, 包括相关的检测、统计等内容, 进行相应的程序处理, 进行数据的传送、下达以及封装, 将封装好的模型进行进一步的处理应用。
(二) 面向数据分析的分析服务
数据分析是电力大数据处理的重点内容之一, 通过一定的运算将数据进行算法的建立、模型的评估、系统的管理等内容处理。其中分流算法包括单数据流和多数据流的算法分析, 模型构建评估是对数据模型进行进一步的优化, 用户可以通过模型处理的结果进行具体的应用配置, 模型流程管理是包括版本管理、停用预测等。
(三) 面向电力应用开发人员的编程服务
面对大数据的处理, 电力开发工作人员需要进行整体的编程处理, 面向电力应用开发人员提供分布式消息队列输入、流处理初始化、数据转换、计算任务分配及调度等编程接口。开发人员针对实际的应用进行逻辑的编写, 并通过相关的参数调整, 将相应的数据内容传入到应用平台当中去, 实现全面的部署。
(四) 面向电力运维管理人员的监控服务
电力大数据实时流计算处理平台提供统一实时监管服务, 可定期将计算任务的数据规模、处理进度、资源占用等信息反馈给分级资源管理器, 然后在进行分级处理, 将分支信息与主干信息进行紧密的联系, 以图、表等形式来进行展示。
二、电力大数据流计算技术框架
结合相应的大数据体系, 采用较为先进的技术进行整体框架的搭建, 形成较为可靠的运算、采集平台, 其核心的功能在于即时采集、数据计算以及有效存储等。
(一) 数据即时采集
数据的采集是电力大数据分析计算的基础前提, 能够有效的实现实时采集将对未来的数据处理、模型建立打下良好的基础, 但是就数据采集与数据处理之间并不一定能够达到同步的效果, 那将造成一定的误差, 为此需要设立一定的数据缓存来进行方便数据的处理, 缓存区一般采用内存缓存与文件缓存两种方式, 可以极大的提高数据处理的高效性与安全性。
(二) 数据的实时计算
将采集的数据进行有效的处理是其中的重要环节, 要对数据进行计算处理则必须要借助计算平台, 采用滑动窗口的方式进行多电网数据流输入, 利用电力多数据流协同计算方法, 进行数据流之间的异步协同优化, 实现多数据流实时处理。
(三) 高效的数据存储
当计算的结果与存储的数据较大时, 需要进行一定的数据分流处理, 当多数据处理结果小并且重要性不高时, 可以直接存储带分布式列式数据库。相应的, 采用该方式则会引起稳定性不足, 甚至出现一定的数据损失, 若是处理的数据量较大, 且相对重要时, 可以通过分布式消息队列Kafka, 然后在储存到分布式列式数据库, 该方式虽然有较为繁琐, 但是有效的避免了数据丢失的问题, 有效的提高了数据的稳定性。
三、电力多数据协同计算
多数据流的并行处理主要是由并行计算架构和并行算法模块实现, 通过对各数据流处理的中间结果缓存, 进行分析任务的分布及结果合并。不同的数据流需要不同的计算体系以方便进行系统连接, 目标函数的优化计算采用交替方向乘子989第46卷法 (Alternating Direction Method of Multipliers, AD-MM) 并行优化算法, 实现不同机器之间的信息交互共享和同步处[3]。
将数据流进行具体的划分结合成数据块, 每一个数据块可以分给不同Workers进行处理, 同时又可以进行继续划分成下一级的服务器, 其中服务器可以进行相应的分区, 通过一步步详细的划分使得无论是数据的提出还是处理更加高效。这样, 训练数据、模型、参数都可以并行处理, 系统因而就具有很好的可伸缩性。同时, 部分Worker宕机不会影响到其他模型训练服务器, 系统的容错性也很好Worker还可进行一批多次迭代后才更新参数到参数服务器。
四、结论
本文针对目前的电力大数据问题进行系统的阐述, 其中包括对于数据的提取、计算、模型的建立, 通过系统的处理后可以进行有效的分析, 完成研究应用, 解决广域范围内电力数据流实时关联分析的同步及大尺度问题。
摘要：目前的电力系统对于国民生活有着重要意义, 为此需要进行有序的电力调控才能满足要求, 而电力系统的复杂性与数据量的庞大性则需要进行对数据的严格有效处理, 对此本文对电力大数据的多数据流实时处理技术进行系统的讨论分析, 以实现良好的系统运行效果。
关键词：电力大数据,多数据分流,实时处理技术
参考文献
[1] 蔡斌雷, 郭芹, 朱世伟, 等.面向大规模流数据的可扩展分布式实时处理方法[J].青岛科技大学学报 (自然科学版) , 2016, 37 (5) :584-590.
[2] 王德文, 杨力平.智能电网大数据流式处理方法与状态监测异常检测[J].电力系统自动化, 2016, 40 (14) :122-128.
[3] 李圣, 黄永忠, 陈海勇.大数据流式计算系统研究综述[J].信息工程大学学报, 2016, 17 (1) :88-92.