广电数据网范文（精选9篇）
广电数据网 第1篇
中国广播电视网络经过几十年的发展,已建成世界上覆盖人口最多,无线、有线、卫星等多种技术手段并用,中央与地方、城市与农村、国内与国外并重的规模庞大的广播电视网络,广播电视的传播能力、覆盖水平、服务质量大大提高,广播电视数字化进程明显加快,进入了有线、无线、台内数字化全面推进的新阶段。截至2011年底,中国有线电视网络拥有1.9亿有线电视用户,是用户聚集度最高、用户终端规模全球最大的有线电视网络,是入户带宽资源最高的基础信息网络,这些都是下一代宽带网络与应用技术研究最坚实的物质基础。
随着入网用户的增加,用户对业务的需求也日益膨胀,广电宽带数据网将向多业务承载网的方向发展。在系统中引入的BRAS(Broadband Remote Access Server,宽带接入服务器)设备负责终端用户的连接和用户流量的汇聚,并与认证系统、计费系统和客户管理系统及服务策略控制系统相配合,实现用户接入的认证、计费和管理功能。BRAS具有灵活的接入认证方式、有效的地址管理功能、强大的用户管理功能,并能提供丰富的业务及控制功能。
在建设用户认证系统平台中,如何使用正确的测试方法评估系统的处理能力,确保在高峰期间系统的稳定性和健壮性,成为有线网络运营商面临的重要问题。
2 Web认证技术
2.1 概念
Web认证接入方式采用了HTTP重定向技术,客户端无需安装任何软件,用户打开浏览器输入任意网址后,由认证系统推送认证登录界面,输入用户名和密码发送到认证服务器进行身份认证,从而获得相应的授权。
2.2 认证系统体系结构
在使用Web认证的系统中,AAA服务器(认证、授权和计费,Authentication,Authorization,and Accounting)与BRAS设备之间使用RADIUS(远程用户拨号认证系统,Remote Authentication Dial In User Service)协议,BRAS设备为AAA服务器的客户端。门户服务器从用户提交的报文中将用户名和密码提取,封装成相应的报文传递给BRAS设备,BRAS设备再与AAA服务器通信完成认证,体系结构如图1所示。
2.3 Web认证系统流程
Web认证系统的流程,从用户发起HTTP请求、BRAS设备触发认证、到用户完成认证,可以划分为6个步骤,如图2所示。
1)用户登陆浏览器,输入任意网址发出HTTP请求,BRAS设备收到后,判断用户是否通过认证,如果用户没有经过认证,则将认证门户服务器地址推送到用户客户端。
2)用户客户端对认证门户服务器发出登陆页面的HTTP GET请求,认证门户服务器返回登陆页面的URL地址。
3)用户通过浏览器页面呈现的表单输入用户名密码,提交给门户服务器的认证模块,等待认证结果。
4)门户服务器认证模块将用户信息进行协议封装后传递给BRAS设备对应接口。
5)BRAS设备收到带有用户信息的数据报文后,经过AAA客户端接口,使用RADIUS协议与AAA服务器完成用户信息认证。
6)返回的结果信息经由门户服务器推送到用户的浏览器界面上。
从认证系统的体系结构和整体流程可以看出,影响认证系统性能的接口和环节较多,需要分解整个流程,单步测试后,再进行整体测试,以判断系统的性能瓶颈。
3 测试方法学
针对网络应用层的测试方法学在业界还没有形成系统的RFC文档,测试方法的选择要基于各个协议的RFC文档定义,以及参考相关网络设备对于应用层测试的要求。在用户的整个认证流程中,HTTP协议和RADIUS协议都有相关RFC文档说明。
3.1 HTTP协议和HTTP事务处理速率
HTTP(Hypertext Transport Protocol)协议,即超文本传输协议,是网络应用层最常用的协议之一。HTTP协议目前常用的版本包括HTTP1.0(RFC1945)[1]和HTTP1.1(RFC2616)[2]。两者的区别在于是否默认支持持续性连接。持续性连接是指在最初的HTTP信息交互完成之后,相应的TCP连接仍然保持打开的状态,使用持续连接,多个HTTP请求可以在同一个TCP连接里完成,因而能提高HTTP的性能。
根据RFC3511[3]中的相关定义,HTTP事务是指客户端和服务器之间一次请求与响应的过程,因此HTTP事务处理速率(HTTP Transaction Rate)的测试目的在于检验DUT(被测设备,Device Under Test)/SUT(被测系统,System Under Test)能支持的用户存取HTTP对象的最大速率。HTTP事务处理速率测试的重点在于检验被测设备的CPU运算速度、内存资源利用率等性能指标。对于用户而言,如果设备的运算性能和资源不足,尽管网络带宽足够,用户仍然无法体验快速流畅的网络应用[4]。
3.2 RADIUS协议和用户请求处理速率
RADIUS协议由RFC2865[5]、RFC2866[6]定义,是目前应用最广泛的AAA协议。
用户请求处理是指用户通过客户端与服务器之间发起的一次请求并认证完成的过程。对于RADIUS服务器来说,每个用户在认证过程中都会首先向服务器发起一次认证请求并获得认证的结果。用户请求处理速率的测试重点是检测服务设备在CPU、内存利用没有达到饱和状态时能够处理的用户请求速率。如果设备的最大用户请求速率不能满足用户数量的设计要求,那么就会导致大量用户无法接入的故障出现。
4 系统性能测试方法研究
基于认证流程,系统性能测试被分解成4个阶段逐一进行,使用Spirent Avalanche网络应用层仿真及性能测试仪表模拟对应接口的用户行为。
4.1 BRAS设备的URL地址重定向性能
基于系统流程,如图3所示将测试仪和BRAS连接,BRAS在收到用户的HTTP GET请求后,首先判断用户是否通过认证,如果是未认证用户,则返回认证门户服务器的URL地址。
1)使用测试仪模拟客户端,在测试仪表的物理测试端口,通过配置,模拟仿真一定数量的IP地址,并保证这些IP地址并没有被BRAS设备认证过,如图4所示。
2)配置客户端发出HTTP GET请求的行为。由于测试系统未包含DNS域名解析服务器,使用任意一个不可被直接访问到的IP地址即可,例192.168.1.1/index.html(见图5),客户端的HTTP版本配置为HTTP 1.1。
3)GET请求发出后,BRAS设备要判断用户是否认证,并回复URL重定向的报文,其中HTTP状态码为302(见图6),客户端收到此报文认为一次有效的HTTP重定向请求事务处理结束。
4)如果每次事务处理都成功,则提高每秒钟事务的请求数目,反之则降低。在所有事务都成功的临界状态下,记录每秒的事务请求处理速率(TPS,Transactions/s)。
4.2 认证门户的请求处理能力
认证门户服务器基于HTTP架构设计,服务器的硬件和HTTP软件环境的性能同样会成为影响Web认证整体性能的瓶颈之一。按照图7所示,将测试仪表和门户服务器集群直接连接。
门户测试指标同样是HTTP事务处理速率,同时需要分别测试门户服务器静态首页和动态处理两种情况下的对应数据。因为在实际业务运行中,如果门户的动态处理能力出现饱和,但是静态性能仍有空闲,用户还是可以访问到认证首页。
1)静态页面
使用测试仪模拟用户客户端,配置客户端为HTTP1.1版本,对门户服务器的静态首页发出HTTP GET请求。记录系统能够成功处理的最大HTTP事务请求处理速率。
2)动态页面
使用测试仪模拟用户客户端,配置客户端为HTTP1.1版本。通过读取真实用户数据信息表(见图8)中的用户ID和登陆密码,对门户服务器的用户名密码提交页面发出大量的用户HTTP POST请求。
门户服务器配置模拟认证程序,在收到用户信息后返回HTTP/1.1 200 OK的状态结果(见图9)。记录系统能够成功处理的最大HTTP事务请求处理速率。
4.3 AAA服务器RADIUS请求处理能力
AAA服务器对RADIUS请求的处理能力是Web认证系统性能的重要测试指标。测试仪和RADIUS服务器连接如图10所示。
对于AAA服务器的服务性能,需要测试记录用户请求处理速率。利用测试仪模拟RADIUS客户端,按照RA-DIUS标准协议发出认证请求,AAA服务器在收到请求后返回认证结果给客户端。
对于不同的AAA服务器,RADIUS协议采用的EAP(可扩展身份验证协议,Extensible Authentication Protocol)类型可能不同,在实际测试中,主要评估的是系统处理能力,无论用户认证是通过还是拒绝,都算一次有效的请求处理过程,如图11所示。
4.4 整体系统处理能力
理论上,上述3个测试结果中获得的最小数据即是系统整体性能参考值。认证流程涉及的每个环节和接口,都可能会对测试结果带来影响,为了保证该数据的准确性,需要进行一次完整的系统测试,如图12所示。
负责认证的服务系统位于省级的中心机房,BRAS设备位于地市机房。整体性能测试将认证系统看作一个黑盒,使用网络测试仪读取用户信息数据表数据,模拟用户发起HTTP GET请求,获得重定向地址后,输入用户名密码,HTTP POST提交后,返回HTTP/1.1 200 OK的状态码。
测试仪表配置中,需要对每一步系统回应报文的捕获后,提取相关变量,模拟用户客户端连续请求发出过程。在获得到HTTP/1.1 200 OK状态码后,一个有效的认证流程结束。将整个认证过程看成一个HTTP事务处理,记录获得的HTTP事务处理速率,即整体系统的性能。
5 结论
本文研究了针对基于BRAS设备Web认证系统的性能测试方法。根据Web认证系统自身的特点,将被测系统划分为3部分分别测试,获取相应的数据后,再进行整体测试。运用此方法可以有效地发现认证系统存在的性能瓶颈,并在进行整体测试时,可以模拟更接近真实处理能力的请求量。
随着广电宽带数据网的进一步建设,BRAS设备会被更加广泛地使用,而Web认证作为一种认证手段也会得到相关的应用。运用合理的性能测试方法,可以准确判断系统的瓶颈,为制定系统进一步的升级改造策略提供指导。
参考文献
[1]BERNERS L T,FIELDING R,FRYSTYK H.Hypertext transfer pro tocol—HTTP/1.0,RFC1945[S].1996.
[2]FIELDING R,GETTYS J,MOGUL J,et al.Hypertext transfer proto col—HTTP/1.1,RFC2616[S].1999.
[3]HICKMAN B,NEWMAN D,TADJUDIN S.Benchmarking methodol ogy for firewall performance,RFC 3511[S].2003.
[4]林田,施小秋,胡波.网络性能测试与分析[M].北京:高等教育出版社,2009.
[5]RIGNEY C,WILLENS S,RUBENS A,et al.Remote authenticationdial in user service(RADIUS),RFC 2865[S].2000.
广电数据网 第2篇
甘肃广电网络天祝云计算数据中心项目开工
11月27日，全国首家广电系统省级“云计算信息枢纽中心”——甘肃省广电网络天祝云计算数据中心项目在天祝县城北新区正式开工建设。
甘肃广电网络天祝云计算数据中心项目是省广电网络公司统一实施的五大产业之一，项目规划占地150亩，总投资10亿元，分三期完成。一期投资2亿元，建成2000平方米的主机房。项目建成后，预计年产值达8000万元，真正成为我国西北规模最大、功能齐全、技术先进的云计算数据中心。该项目将充分发挥广电网络资源优势、高清互动电视综合信息平台优势及甘肃广电网络天祝云计算数据中心技术优势，为我省乃至我国西北省区提供平安城市、数字城市、智能交通、远程教育、远程医疗、平安社区等多领域的服务，最终打造一个全省乃至西北的科技中心、科普中心、青少年活动中心和信息枢纽。
广电数据网 第3篇
随着数字化的发展，2009年，姜堰广电与江苏省网合作，建立了具有独立信源的数字电视前端系统、互动前端平台和宽带前端平台，并完成了城区的双向网络改造。截至2010年上半年，城区约6万户数字电视用户整转工作完成。在整转过程中，姜堰广电提出“城区整转以互动为重心、以宽带为重点、以高清为亮点，数模转换为基准点”的原则。经过发展，城区互动用户达1.2万户，宽带用户达5000户。在省内广电行业反响热烈。
姜堰广电接入网技术选择
1.CMTS宽带接入系统
CMTS技术是一种基于HFC网络，以数字方式传送数据，提供宽带IP接入服务，并支持各种IP宽带业务（如互联网接入、局域网互连和IP语音、视频、数据多媒体应用等宽带IP增值业务）的技术。CMTS宽带接入系统由CMTS、HFC网络和CM 3部分组成，如图1所示。
CMTS是数据网和HFC网之间的连接设备，具有数據转发、协议处理和射频调制解调等功能。可以通过上行和下行射频接口与HFC网络相连，并通过百兆或千兆以太网接口连接数据网络交换机，而交换机则同时连接服务器和路由器，由此构成了数据服务本地平台，通过路由器接入因特网（CMTS一般放置在分前端，下行信号采用广播方式覆盖光节点）。
HFC网络是基于有线电视同轴网的双向交互式网络，能将CMTS发送的数据载波以广播方式从前端传送至用户端，并能将CM发送的数据载波传送至局端。
CM 是连接HFC和用户终端的设备，具有数据转发、协议处理和射频调制解调等功能。能通过射频接口连接HFC网，也能通过10兆以太网口或USB接口连接用户PC设备。
CM技术是从87～860MHz电视频道中分离出一条8MHz的信道用于下行传送数据，下行数据采用64QAM调制方式或256QAM调制方式。上行数据则通过5～65MHz之间的频谱进行传送。为了有效地抑制上行噪音积累，则采用QPSK调制。CM是用户端设备，放置在用户家中，通过10BASE-T、100BASE-T等接口与用户计算机相连。
2. FTTX+LAN接入方式
FTTX+LAN接入方式,是有线网络能够实现"千兆到小区、百兆到大楼、十兆到家庭"的宽带接入方案，小区的交换机和局端交换机采用光纤相连，小区内则采用五类线综合布线，网络可扩展性强、投资规模小，适用于商业集团用户和智能化小区接入因特网，能实现网络的高速互联。
光纤是宽带网络最理想的一种介质，具有传输容量
若需要则在缓存系统中查找，若系统内含有所需文件，则通过缓存系统进行数据提供。工作原理如图4所示。
SuperCache支持主流视频网站的视频缓存（如优
酷、土豆、搜狐、酷六、奇艺等），也支持各类型文件格式（如mp3、exe、mp4、zip、rar、doc、docx、rm、rmvb、wmv、wave、mkv、mov等）的下载缓存，还支持公开协议的P2P（如迅雷、BT、FlashGet、旋风下载等）下载缓存。
SuperCache缓存系统有两种工作模式：即被动缓存和主动缓存，两种工作模式能单独使用，也能配合使用。
被动缓存是分析用户的对外请求，并记录用户请求行为，且将用户访问较多的资源缓存到本地缓存服务器，而其他的用户请求则可直接使用本地缓存服务器的资源。整个过程系统自动实现，不需用户进行任何配置。
主动缓存是根据百度热点、主流视频网站的热度排行，提前将相关视频下载到本地缓存服务器，用户在观看时，则直接使用本地的缓存资源（也可以将某个视频网站的全部视频缓存到本地缓存服务器）。
SuperCache缓存系统能在指定的时间段进行视频、文件的下载，避开了用户高峰时期，能利用网络空闲时间下载缓存文件。
随着三网融合的不断发展，广电行业开始利用广电电视网络逐步实现了有线宽带、高清互动、VOD点播等具有一定ARP值的业务。广电行业和电信行业竞争时，视频业务是最具有竞争力的方式（高清视频点播是广电行业所独有的，是电信IPTV所无法比拟的）。随着宽带用户数的增多，姜堰广电搭建了优质的流媒体综合平台，而宽带互联网数据缓存系统则为姜堰广电节省了网络出口带宽，并提高了网内用户上网质量，解决了广电行业出口难的问题。
广电数据网 第4篇
1增强型OIT技术
研究人员根据传统电信运营商所应用的数据信息进行分析和研究, 同时利用前后两段来进行具体地连接。在具体的建设和实际的应用中需要将交换机应用到工作中。利用相对比较丰富的广电纤维来对数据进行延伸处理, 进而将信号传输给网络, 在最终的光纤接入时, 技术人员还需要采用其他类型的应用形式。从电信运营商的工作中可以看出, 交换机和EPONOIT的分立是比较常见的组成形式。最终形成了城域网。接入层在工作中需要进行扩容, 因此, 相应的设备往往需要应用在设备汇聚的位置。网络上的各类设备不能随便地替换, 因为要想增强技术的应用程度, 需要加强对各种设备进行保护。
对于广电行业来说, 在对设备进行改造之前, 局域网络呈现出空白的形式, 也就是说地市级的地域网还不够完善, 需要进行全面地改进。因此, 研究人员对整个网络进行规划和设计, 对IP运营网络进行了构建和重组, 促进了IP网络运行的高效性。为了提升E-PONOIT的功能, 研究人员需要将其进行全新的定位。在原有比较单一的OIT功能上, 加强交换和汇聚的力度, 提升业务的接入, 提升设备的部署。这种形式不仅对广电IP城域网进行改善, 还可以提升网络的性能, 进而增加业务的承载能力, 对增值业务的开展提供空间。随着科技的进步, 很多厂商逐渐推出了各种不同类型的网络, 将网络的各项功能融为一体。
2接入网端到端统一网管技术
从广电行业发展的过程中可以看出, 对IP网络进行具体维护的技术人员还相对比较缺乏。但是由于接入网的数量在不断增加, 拥有功能相对比较强大, 且易于使用的网管至关重要。从很多数据网应用的区域来看, 各种网管的组合形式比较常见。其中EOC的头端就是应用带内网管直接对网管信息进行代理。在其基础上, 结合自身的网管信息, 就可以直接通过SNMP协议来进行设置, 最终将相关的信息传递给信息中心。EPON的信息可以通过OIT的管理接口来进行传递, 一些头端设备可以直接应用到一些厂家的协议当中。
3流量管控技术
三网融台是当前社会发展的主要方式, 同时也是当前广电网络和数据发展的主要基础前提。伴随着当前社会技术的不断发展和进步, 在当前广电网络定向发展的趋势下, 针对其中存在的各种问题和影响因素分析, 强调内容可管、业务可控、网络可信和服务可靠。在工作的过程中对流量的管理是不容忽视的重点环节, 由于在广电业务的开展中是利用太网汇聚后, 对业务流量和内容安全工作的管理应用有着不足和缺陷, 因此在管理中需要采用深度包检测技术, 对网络技术管理中存在的问题进行处理, 确保网络传输流量和安全能够有效的控制。广电网络实现双向化改造后, 业务分析和流量管控是最为重要的工作环节, 而且在应用的过程中由于各种业务的不断开展, 对其新型的业务进行严格分析和控制管理。尤为重要。互动电视、宽带接入、BCPA等新兴业务不断发展, 网络流量高速增长, 应用呈多样化趋势。基于电信级业务分析和流量管控技术。可以帮助广电运营商实现削峰填谷, 保证网络平衡运行, 降低运营成本, 保障关键应用。通过对应用层协议进行分析, 提高广电城域网出口带宽的利用效率。降低带宽成本。电信级AP系统的关键技术包括:如何在体系架构上保证功能扩展性、如何提高业务识别的准确率、如何提高统计分析的实时性、如何实现流量和队列的同步、如何实现BGP路由可见等等。目前国内已经出现支持8G处理能力、500万用户的大容量设备, 对固网和移动数据网都可以进行专业的业务分析和流量管控。
4电信级以太网技术
在典型的宽带接入网架构中, 一般在分前段部署汇聚交换机或者EPONIT设备。分前端的汇聚设备通过星型结构连接到中心的业务路由器和BRAS上。这种星型组网与广电分前段之间的环形光纤路由存在一定的矛盾, 意味着分前端数量越多, 光纤资源的消耗将越大:而且星型组网对接入和汇聚路由器ACR的端12占用较多。近年来发展迅速的电信级以太网技术解决了以太网环形组网的问题, 同时在QOS、OAM扩展性等方面对传统以太网进行了很大的增强, 是适合广电在分前段承载多业务的一种理想技术方案。
5展望
目前广电网络的高清互动方案更多的是采用机顶盒+电视机的终端模式, 其运营的目标是要尽量把客户吸引到电视机前面。但随着社会及技术的不断进步, 人们生活娱乐方式发生了翻天覆地的变化, 电视节目仅仅是人们多种娱乐方式的其中一种选择。而互联网的出现更深刻地改变着人们的生活。各种资讯、信息以爆炸性速度增长并通过互联网广泛传播, 电视在年轻一代已不再是获得资讯的第一选择。由此可见, 目前广电的高清互动业务未必能为广电带来理想中的利润增长。而且面对电信IPTV激烈的市场竞争, 以及互联网电视对用户收视习惯的改变, 广电传统的视频业务更有可能逐渐萎缩。单纯在电视呈现的高清互动可能不是广电的未来之路。或许只有符合广大人民群众需要, 通过IP网络承载多种业务, 实现三屏合一, 融入互联网内容的高清互动才是广电真正的未来之路。
6结论
总而言之, 三网融合的趋势是广电IP数据网不断深化和发展的空间, 广电行业发展中应用的数据网和电信行业各个商家所应用的数据网之间存在着较大的区别。从现如今广电行业进行改造和创新的过程中, IP数据网之间存在着较大的差异性。以太网所承载的业务形式较多, 各种不同类型的组合形式促进了规格部署阶段的提前到来。在本文中, 笔者所提到的光电IP数据网建设技术可以为广电行业的发展奠定基础。
参考文献
[1]吴巍枫.广电IP数据网建设若干技术探讨[J].通讯世界, 2011 (09) .
[2]刘智超.关于广电IP数据网建设技术的探讨分析[J].黑龙江科技信息, 2012 (9) .
[3]张健健.江苏广电IP数据网规划建设问题讨论[J].视听界:广播电视技术, 2010.
[4]黄初满.HFC+IP技术是建设广电宽带信息网的最佳方案[J].西部广播电视, 2013 (8) .
广电数据网 第5篇
1 数据仓库技术及其工具介绍
1.1 数据仓库建模
数据模型是表征抽象实体和实体之间的关系,数据仓库模型可分为业务模型、领域概念模型、逻辑模型和物理模型。数据仓库的建模方式可分为两种,一种是多维模型,基于预先定义的关系来完成,基本结构包括星形模型和雪花模型;一种是关系模型,其结构特点能够为所有类型的数据集市提供数据源,反射用户的业务规则。
根据预先定义的关系来完成建模,逻辑建模方式在考虑业务概念和事件属性内容的同时,并将其实体化。首先要关注的是数据仓库的逻辑建模,按照文献[3]的分析,构建面向对象的数据仓库模型,系统流程如图1所示。
1.2 数据仓库关键技术
1)源系统,即外部数据源,可以为数据仓库提供各种类型的数据。
2)元数据(Meta Data)用于定义和描述数据仓库的系统结构、操作和过程的信息[3]。可分为技术元数据、业务元数据和过程元数据。
3) ETL,即Extraction,Transformation,Loading的缩写,就是数据的提取、转换和加载,负责完成数据从数据源向目标数据仓库的转换。
4)数据集市,俗称“小数据仓库”,是数据仓库的一种面向主题的多维数据库或者商业视图。
1.3 OLAP技术
联机分析处理(On-Line Analytical Processing,OLAP)委员会对其定义为:使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业特性的信息进行快速、一致和交互的存取,从而获得对数据更深入了解的一类软件。按数据组织来说可分为3类:多维性OLAP、关系型OLAP和混合型OLAP。
1.4 数据仓库体系结构
标准的数据仓库系统通常包括数据源、ETL、数据存储、OLAP服务器和前端展示组成,如图2所示。
2 广电检测数据体系结构分析与设计
广播电视作为宣传沟通的渠道,一直发挥着不可替代的作用。为了确保高质量的视听享受,需要对各类和广电相关的设备和系统在指定的检测机构进行检测。根据产品功能的不同进行分类,总体来说主要有无线广播电视、有线电视、电视中心、广播电视软件产品和电磁兼容五个大类。每个大类下面又根据具体功能分为多项产品和系统,针对每一类产品和系统会有不同的测试指标和测试内容,对于同一类产品和系统会存在有规律可循的测试数据。这些测试数据大部分是以doc、pdf、txt文档或者其他的形式保存,由于各类数据是分散的,没有统一格式,不便于对这些数据进行分析处理,这样利用数据仓库技术建立统一的检测数据整合平台就显得尤为重要了。
2.1 需求分析
检测工作是用指定的方法检验测试某种物体指定的技术性能指标,已经成为质量控制的关键环节。
作为广电仪器设备和系统的检测部门,每天要处理大量的检测数据,针对不同的检测内容,会有不同的技术指标和测试结果。目前的状况是伴随着每个检测任务的结束,相应的检测结果和数据也沉睡在了资料库里;而且现存的检测结果和数据是跟着业务单来走的,相互之间都是相对独立的;如何更为有效地处理这些测试数据,将这些关联信息串联起来进行分析,将会给检测业务的长期有效发展带来不可估量的价值。
2.2 数据来源分析
源数据是数据仓库系统的基础,是存储在数据仓库中的数据来源[4,5]。本文中数据来源主要是第三方实验室各类型的检测结果以及相关信息。这其中既有实验室信息管理系统所产生的文档数据,也有其他格式的文档数据,以及未来可能将数据共享的其他实验室所产生的各类型数据。
在构建用于数据分析的数据仓库时[6],往往采集到的数据来源众多、数据不规范,对那些数值定义不完整、数据冗余等情况会影响后续数据分析的结果,建立一套针对性的规则对检测数据进行清洗,这就要使用数据的ETL技术,对各种属性进行概念分层。
数据的ETL相对数据仓库建模和数据挖掘技术难度较低[7],但是所包含的任务量却是数据仓库系统开发中比重较要的一部分。鉴于数据仓库的海量数据特性,可以借助商业的ETL工具来完成数据的抽取、转换和加载,目前比较成熟的ETL工具有OWB (Oracle Warehouse Builder)、Informatic PowerCenter、ODI(Oracle Data Integrator)和Datastage等。
2.3 逻辑模型设计
多维数据模型的设计主要是维度表和事实表的设计,而逻辑模型设计是对概念模型的细化,将信息维度展开成雪花模型,使用多个表来描述维度,多个事实表之间可以通过共享多个公共维度表连接起来[8]。
作为第三方公正的实验室,本中心不仅承担着广播电视仪器设备入网测试的任务,还融合了相关业务的委托测试。从业务范围来说,主要是有线电视、无线广播电视、光和数据网络、移动多媒体广播、卫星广播电视、电视中心和嵌入式软件等。根据工作性质和内容、方式等特点,本实验室检测数据内容结构如图3所示。
在图3中,检测数据可以作为一个事实表,它的属性有检测时间、检测地点、检测环境和检测仪器等。由于检测数据的出处可能是不同的,会有不同的检测单位属性,每个检测单位的检测业务范围大致一致,每项检测业务会涉及不同的样品,样品又会有不同的生成单位。
在对上图进行具体细化之后,可以得出以下几个表,首先是检测事实表,其存储主要的维度及度量信息,或者一些必要的描述信息。如图4所示,检测事实表所包含的维度信息主要有时间、环境、仪器、类别和来源。基本上包含了检测数据的属性信息。
2.4 物理模型设计
数据仓库的物理模型设计要完成逻辑模型在物理系统中的实现,即将逻辑模型中所定义的事实表和维度表转换成物理数据库表,这其中包括表的数据结构类型、索引策略、数据存放位置和数据存储分配等。在进行物理模型的设计实现时,要考虑的因素有:I/O存取时间、空间利用率和维护的代价等。考虑到数据仓库的数据量大,但操作单一的特点,可采取其他的一些提高数据仓库性能的技术,如合并表、建立数据序列、引入冗余、进一步细分数据、生成导出数据、建立广义索引等[9]。
本课题采用SQL SERVER关系数据库为数据仓库的物理基础,存储事实表和维度表数据,见表1～4。在逻辑模型的基础上,需要进一步确定各事实表和维度表的物理结构,包括表格字段数据类型、主键和索引等。
3 小结
在上述内容中,构建了广电检测数据的数据模型,如何根据数据模型构建数据仓库的原型系统将是下一步工作的重点。利用数据仓库强大的数据存储和处理能力,构建广电检测数据的智能化分析处理,一方面使得各种大量检测数据的处理变得更为有效和科学,另一方面,利用数据仓库技术管理庞大的检测数据,可为广电检测数据的质量控制提供系统化和科学化的依据。
检测数据作为各行业质量控制的重要环节,得到了快速的发展,各业务部门积累了大量的检测数据,这对其来说是宝贵的资源,如何更有效地对这些检测数据进行整合,采用数据仓库技术建立一个相对独立的数据信息整合平台。本文通过对数据仓库技术和联机处理技术进行研究,结合广电检测数据的一些实际特点,对其逻辑模型和物理模型进行了初步设计,为广电检测数据仓库的原型系统提供了框架和模型。
摘要：检测工作是质量控制的关键环节,会根据测试对象的不同产生大量的数据,利用数据仓库技术来管理测试数据,将会对检测工作的长期发展产生巨大的作用。首先对数据仓库的关键技术和实施工具进行了介绍,接着在分析广电检测数据整体架构的基础上,进行了逻辑模型和物理模型的初步设计,为广电检测数据仓库的原型系统提供了框架和模型。
关键词：数据仓库,检测数据,模型
参考文献
[1]INMON W H.Building the data warehouse[M].4th ed.Indianapolis:Wiley Publishing,Inc,2005.
[2]MICHAEL R.BLAHA J R.Object-oriented modeling and design with UML[M].2nd ed.[S.I.]:Prentice Hall,2004.
[3]蒋秀艳.基于数据仓库的生产成本分析研究与应用[D].上海:上海交通大学,2013.
[4]HAYARDISI G,SITANGGANG I S,SYAUFINA L.Data warehouse and Web-based on OLAP for hotspot distribution in indonesia[C]//Proc.2009 2nd Conference on Data Mining and Optimization.Kajand:IEEE Press,2009:1-4.
[5]ZHAO Xiaofei,HUANG Zhiqiu.A quality evaluation approach for OLAP metadata of multidimensional OLAP data[C]//Proc.Department of Computer Science and Technology Nanjing University of Science and Technology.Chengdu:IEEE Press,2010:357-361.
[6]郭曙超.食品安全检测数据仓库技术的应用与研究[J].食品研究与开发,2013(9):125-128.
[7]廖振云.基于数据仓库技术的交通管理系统研究与应用[D].广州:广东工业大学,2013.
[8]李炎强.基于数据仓库的广电用户收视数据研究与应用[D].广州:中山大学,2013.
广电数据网 第6篇
有线电视网络在产业运行过程中产生海量数据,这些数据具有天然的大数据4V特征:规模(Volume)、多样(Variety)、高速(Velocity)、价值(Value),理顺这些数据并使其发挥商业效用需要借助数据仓库。
数据仓库是有线电视网络数据建设体系的重要一环,是在原来不同业务软件系统基础上重建网络数据流和信息流的过程,是监测和应用有线电视网络产业运行数据的基本手段。
1 广电网络的数据体系和功能
有线电视网络数据体系从数据源上可分为产业运行数据和用户行为数据,整个产业的运行数据由一个个有线电视网络公司的运行数据共同构成,整个产业的用户行为数据由一个个有线电视网络公司的用户行为数据共同构成(图1)。
有线电视网络数据体系又可分为宏观部分和微观部分。从宏观上讲,针对整个有线电视网络产业,有产业产值和社会贡献数据,有产业结构和发展变化数据等;从微观上讲,具体到某一个有线电视网络公司,有公司经营投入和产出的数据,有网络线路建设和运行的数据,有节目内容编排和播出的数据,有终端用户发展和收视的数据,有资本层面的营收和运作数据等。
宏观层面和微观层面的数据体系建设目标不同。宏观层面的目标体现在两个方面,一是面向有线电视产业内部,科学衡量产业实际发展水平,量化产业发展对社会的贡献,为产业决策提供支撑;二是面向有线电视产业外部,向产业外部提供大数据服务,参与整个社会多样性的大数据工作。微观层面的目标基本都面向有线电视网络公司企业内部,主要是提高企业内部的经营决策水平和经营效率,提高服务质量和水平,把服务做到更精细,更精准,让客户更满意。
2 广电网络数据仓库技术架构和建设过程
2.1 数据仓库认知和技术架构
有线电视网络数据仓库建设包括整个产业的数据仓库建设和单个有线电视网络公司的数据仓库建设,是个庞杂浩大的工程。在本文中,我们仅探讨企业层面的数据仓库建设,但即使对单个有线电视网络公司而言,企业级数据仓库建设亦是一项繁重的工作。
我们可以从四个方面予以理解有线电视网络公司的企业级数据仓库建设。首先,数据仓库是对多个异构数据源的有效集成,是在原来不同业务软件系统基础上重建企业数据流和信息流的过程;其次,数据仓库面向分析型数据,存放在数据仓库中的数据将用于各种复杂聚集和统计分析;其三,产经分析在数据仓库的建设中发挥着非常重要的作用,同产经分析相结合的有线电视网络数据仓库相当于有线电视网络公司的智库,可以用于支撑经营决策;其四,数据仓库的某一个具体的主题区域被称为数据集市或数据市场,有时也被认为是一种微型的数据仓库。
企业级数据仓库建设是为了满足有线电视网络公司长期信息化管理需要,技术架构应包括业务数据源层、数据处理层、数据应用层等(图2)。
2.2 数据仓库的建设阶段
具体而言,企业级数据仓库建设过程通常分为四个阶段:
1.第一个阶段是数据仓库系统分析阶段
首先是对有线电视网络公司的业务体系进行细致梳理,分析不同业务部门对数据分析的要求和频率。
其次按照业务部门对数据分析的要求,按不同主题分别设计概念模型、分析模型、逻辑模型、物理模型(图3)。目前有线电视网络各种软件系统产生的原始业务数据量非常大,逻辑模型汇总何种数据需要在分析模型的指导下进行,应只抽取同分析模型相联系的数据,而不是所有数据。至于逻辑模型抽取数据的广度和深度,一般而言,广度比深度更为重要,广度涉及到经营决策分析的方方面面,而深度并不是越深越好,有一些深度的数据挖掘非常有意义,而有一些深度的数据挖掘不仅意义不大,而且浪费很多成本,因此在数据设定时,应采取广度优先的原则,先设计广度,后设计深度。数据仓库设计表结构亦要根据数据存储的深度和广度进行设置,一般情况下,企业级数据仓库可采用星座模式,数据集市(数据仓库的子集)面向某个特定主题,可采用星形模型或雪花模式。
2.第二个阶段是数据采集与数据存储工作
采集的数据须要既是可得的,又是可用的,数据的可得性是实现数据价值的前提,数据的可用性是实现数据价值的条件。
将源数据存入数据仓库一般采用ETL技术,包含extract(抽取)、transform (转换)、load (加载)三步。目前ETL技术相对成熟,难点在于有线电视网络公司的数据源来自于多个具有不同属性的软件系统,存在许多冗余的、重复建设的数据或报表系统,又归口于不同部门的管理,缺乏公共数据源,在不同的数据源上做统计查询工作既复杂又低效,统一规划分析的难度非常大,且源数据没有时间点,不仅不能对历史数据进行回溯查询,而且可能导致数据可信度下降。因此,必须将有线电视网络公司多个数据源的数据以统一模式存储到单个公共站点上,构建以集中式数据存储为核心的体系结构,既方便不同使用部门查询,也不影响数据源系统的工作(图4)。
3. 第三个阶段是数据处理、数据清洗工作
被采集数据的质量优劣是决定数据应用效果的关键,数据质量由三个因素决定:源数据质量、数据清洗水平、数据转换程度。源数据质量是整个数据仓库数据质量的基础,要确保源数据不被污染,数据一经污染必须确认其“脏”度和可用度,作为源数据流入数据仓库的数据应该具有原始准确性。数据清洗工作异常重要,如更正简单拼写错误的数据,剔除重复性数据和虚假性数据,标注不合逻辑的数据(互相冲突、不合常理、不正确等),寻找缺失性数据,避免欺诈性数据等等。数据转换,如改变数据度量单位,改变数据属性,替换原有概念等(图5)。
4.第四个阶段是数据应用和数据展现工作
数据应用和数据展现工作是有线电视网络企业级数据仓库建设的核心,数据仓库的建设价值并不仅仅体现在数据仓库中所存储的数据量的多少,而更在于有线电视网络公司可以从数据仓库中能够获得的信息和分析结果的质量。
数据应用的方向之一是数据挖掘,主要应用于内容关联推荐,用户发展预测等。
数据应用的方向之二是数据分析,主要应用于业务管理和提高公司的经营治理水平。
数据应用的方向之三是数据支持,主要是为操作系统提供实时数据支持。有线电视网络公司营业厅的一线服务人员很容易就可以通过操作系统访问历史数据,得知用户的收视喜好和使用习惯,从而可以为用户更好地推荐服务产品。
3 广电网结行业数据仓库建设的难点和应对策略
3.1 数据集市和数据仓库建设顺序
有线电视网络公司在建设企业级数据仓库时,会面临企业级数据仓库和部门级的数据集市建设顺序的问题,比较理想的方式是自上而下先建立一个企业级数据仓库,再建立各个数据集市,但这种方式通常实现难度大且建设时间长。部分有线电视网络公司会考虑建设独立型数据集市,这种方式通常简单易实现且建设价格相对低廉,但在现实中往往得不偿失,当独立型数据集市支持多主题区域时,会导致多个部门数据不一致,使得各个数据集市成为信息孤岛从而无法兼容。比较合适的方式以部门需求和数据应用为导向,通过业务视角对数据仓库建设提出技术要求,优先建立一个或几个主要的数据集市,迅速试错并快速迭代,同时考虑企业级数据仓库的结构、内容。
3.2 数据概念定义及其推广使用
在有线电视网络公司企业级数据仓库的建设中,清晰统一的数据概念定义是最为基础的工作。
由于数据概念定义的不同,导致数据与数据之间无法进行整合分析或比较分析的例子比比皆是。以“用户”这个概念为例,同行交流的时候通常会被问起“用户”数量多少?这里由“用户”而引来的歧义就很多,这“用户”指的是“有线电视覆盖用户”,还是“有线电视收看用户”,还是“有线电视缴费用户”,抑或还是“有线电视离网用户”。即使是“有线电视离网用户”,到底哪些情况算是离网,很多有线电视网络公司的定义又都不一样。如果不把这些概念明确下来,那么进行统计时,就会驴唇不对马嘴,此用户非彼用户,简单在一起加总,就失去了统计意义。
由于数据概念定义的不同,导致数据计算方式不同而产生错误判定或无法判断的例子也比比皆是。例如近年来社会上出现的对开机率大幅下降的误判就是由不同的计算方式所引起的,开机率指的是某时间段平均每分钟看电视的家庭户数占全部拥有电视机的家庭户数的百分比,不同时间间距的开机率自然不一样,且一定有较大的差异,例如凌晨时间段的开机率一定大大低于黄金时间段的开机率,“平均每分钟”的开机率一定大大低于“平均每天”的开机率,不同时间段的开机率没有意义在一起做比较。又例如,当我们看到“网络视频的用户使用率为69.1%"“电信IPTV用户活跃度达到70%以上”等之类的数据时,通常会感觉比较糊涂,需要看到“用户使用率”和“用户活跃度”数值背后计算方式的区别,才可以判断哪种方式更优。
科学的数据概念定义是个非常繁杂的工作,需要在理顺业务体系和管理体系的基础上对各名词概念和数据的上下级关系进行细致定义,对计算数据列明公式和含义,以便在以后的业务工作中采用统一的统计口径,科学看待数值本身以及数值含义。
3.3 分析模型的建立和应用
数据的价值挖掘由方法论来保证,分析模型正是方法论,是数据仓库的黑匣子。
分析模型在整个数据仓库建设中具有“纲”的作用,是逻辑模型之前的一步,指导逻辑模型都需要搜集哪些数据(图6)。如果没有分析模型的指导,逻辑模型就会成为无本之木,后期有可能需要不停地打补丁或者瘦身,从小的方面而言会导致分析工作不流畅,从大的方面而言会导致无法有效整合数据资源,最终使数据仓库建设工作失去目标。
分析模型的建立一方面要借鉴/参考国际/国内已经比较成熟的传统研究方法/理论,另一方面要根据国内有线电视网络行业情况做调整/修正和创新,将其转化为行业分析方法/理论,后一部分比前一部分更为重要。
3.4 行业分析模型的建立应以用户需求为导向
满足用户需求是有线电视网络公司的经营根本,挖掘用户需求则是有线电视网络公司的经营目标,最终公司治理水平也由满足用户需求的水平而决定,因此有线电视网络公司应着手建立以用户需求为导向的行业分析模块(图7)。只有分析并理解用户需求,才能进行产品管理、客户管理、营销管理、服务管理,以及属于支撑系统的终端管理和网络管理。
产品管理和客户管理是企业经营管理的核心。通过数据挖掘,可以将产品特征与用户特征做比对,从而根据用户需求对产品服务进行推荐。产品管理和客户管理的水平、产品服务推荐的准确性很大程度上都依赖于对用户需求把握的准确性,因此行业分析模型在建立时,也要以用户需求为出发点并贯穿始终(图8)。
4 结束语
有线电视网络数据仓库建设意义重大,对于正在产业转型升级期的有线电视网络公司而言,其产品重塑、商业模式创新、经营模式转变都需要借助数据仓库的建设。
有线电视网络数据仓库建设工程艰巨,对于经营方式原本粗放且条块分割严重的有线电视网络公司而言,不亚于凤凰涅槃,需要企业一把手有大决心和大动作。
有线电视网络数据仓库建设方兴未艾,目前还停留在比较粗浅的频次统计阶段,需要系统规划分步落实。格兰研究作为从事视频行业市场研究工作的专业公司,希望能抛砖引玉,和业界同仁共同探讨有线电视网络数据仓库建设的相关问题。
参考文献
[1]William H.Inmon,数据仓库[M],王志海译,第四版,北京,机械工业出版社,2006.
[2]Abraham Silberschatz,数据库系统理论[M],杨冬青译,第六版,北京,机械工业出版社,2012.
[3]覃雄派,王会举,杜小勇等,大数据分析——RDBMS与MapReduce的竞争与共生[J].软件学报.2012(01).
[4]谭晓玲,王丽珍,构建大型企业的数据仓库[J],云南大学学报(自然科学版),2004(05).
广电大数据平台建设设想的研究 第7篇
大数据 (bigdata) , 指的是所涉及的资料量规模巨大到无法通过目前主流软件工具, 在合理时间内对其进行撷取、管理、处理, 并整理成为帮助企业做出经营决策的资讯。自从人类发明印刷术以来, 过往上千年的所有印刷材料只相当于200PB, 而在2011年全球数据使用量已达到1ZB (ZB是PB的一百万倍) 。PB、EB、ZB正成为大数据中的主流计量单位, 这些颠覆性的数据量级别, 给人类的社会带来巨大的改变和冲击。大数据具有4V特征:
数量 (Volume) :数据规模, 有TB、PB、EB、ZB级数据。
多样性 (Variety) :数据有多种形式, 如结构化、非结构化、文本、多媒体。
速度 (Velocity) :数据的运动如分析流数据, 在一秒内做出决策。
价值密度 (Value) :包含大量的不相关信息, 使用机器学习、人工智能技术对未来趋势与模式进行预测分析、深度复杂分析, 获得稀缺知识。
大数据时代来临之时, 传统广电行业是顺应时代潮流迎来蓬勃新生, 还是生死有命、逐渐走向边缘, 这是一个严肃的问题, 是一个需要当机立断的问题, 是一个重大到无法回避的问题, 要从战略高度去看待。
2 建设广电大数据云计算平台的必要性
众多新兴媒体已经高度重视对大数据的分析, 这可为其提供按需生产的信息内容、适销对路的产品, 更让其能够开发出全新的商业模式和营销体系, 获取更多的盈利可能与更大的生存空间。如新浪微博与阿里进行战略合作, 开展大数据业务层面的探索;视频网站Netflix利用大数据分析制作《纸牌屋》的经典案例;通信运营商试图利用数年来积累的用户数据嫁接到IPTV领域。
而同时传统媒体对大数据的运用却相对迟缓。广播电视正从传统的“一对多”式的广播型媒介向多对多式的, 以移动化、互联化为核心竞争力的“窄播型”、“互播型”全媒体平台升级。广电行业应抓住大数据时代来临的机遇, 以各类数据为“杠杆”, 挖掘各类不同层次受众的需求, 提供更加个性化、更具互动性、更有深度的媒介体验, 走在全媒体发展的前列, 以应对互联网带来的严峻挑战。
总体来说, 大数据技术的广泛应用可以在广播电视收视测量、节目策划与改进、观众互动参与、广告精准投放等各个环节上产生颠覆性影响, 推动广电行业的全方位变革与重构。
3 广电大数据平台建设的优势
3.1 直接面对千家万户, 接“地气”。
广电是党的“喉舌”, 是连接群众的桥梁, 它深入千家万户, 直接服务各阶层人群, 在向老百姓提供信息服务的同时, 可以从社会上获取具有核心价值的第一手数据。这是其他厅局所不具备的优势。
3.2 是海量数据的源头拥有机构。
包括广电积累的大量的音视频资料数据, 各种机顶盒获取的用户使用跟踪数据, 广电各业务系统在生产过程中产生的采访、编辑、播出、传输、发射数据和维护数据, 技术台站对网络音频、视频的监测数据, 广电客服数据, 利用其它技术如网络爬虫获得的数据等。
3.3 自己拥有高效安全的网络。
广电有线、无线网络是国家重点基础设施, 是天然封闭、安全且高速的网络。尤其是有线数字电视这些年来大规模的推广与普及, 已经为广电行业带来了一个巨量且详尽的真实用户信息数据库。随着“三网融合”、技术进步, 广电有线网络服务内容不断扩展, 正向着可承载丰富资源、可以实现多功能应用的网络发展。
3.4 得天独厚的宣传优势。
广电有线、无线网络是国社会上有关的行业、部门、新兴传媒都有着密切联系, 便于获得全面的信息。
4 广电大数据平台建设的优势, 广电大数据平台的功能
广电行业要打破传统观念, 通过建立全广电系统统一的数据中心, 整合所有信息资源, 分析挖掘可用价值, 把广播电视的宣传舆论导向、政府职能、事业管理、产业发展等行为建立在科学决策的机制下, 使我局在开展全媒体业务、舆情发展方向预判、广播影视发展研究和领导决策参考等方面更好地发挥作用。
5 建设广电大数据云计算平台的总体思路
5.1
要搭建基于大数据技术、云计算技术的数据中心, 对来自各种终端的各种数据资源进行再生产、整合和深度解读, 消除信息孤岛, 实现数据统一管理。这能很好地解决各业务系统和组织结构之间的数据共享与集成问题, 并确保数据的完整性、及时性、准确性和安全性。
5.2
在数据中心的基础上, 建设基于大数据技术的智能信息服务平台, 针对不同的受众需求, 为用户筛选、推荐最适合的内容, 提供近乎量身打造的新闻资讯, 满足个性化和专业化的需求, 探索出一条为受众和用户提供分众化服务和体验的媒体发展之路。
5.3
利用大数据智能信息服务平台将广电网络的外部价值创造和内部价值创造进行整合, 通过对海量数据资源的智能挖掘, 对企业运营状况进行科学分析, 促进自身新业务的拓展, 探索出新的经营创收模式。如通过大数据获得更加精确可信的收视率数据, 通过挖掘大数据中蕴含的丰富信息, 了解观众喜好, 实现广告、增值业务、电子商务等互联网应用直达用户终端的精准推介等。也可对事业管理、行政服务、事故预判、舆情分析、应急调度提供决策支持。
5.4
还可以进行数据的销售和交换, 为政府提供公共服务支撑, 使广电大数据智能服务系统成为国家信息化建设基础设施。如通过将广电大数据平台与平安城市、智能交通、应急管理、电子政务等各类政府信息系统进行数据交换、协同, 促进各类政务信息的开发利用, 提高政府决策效率和科学化水平, 实现精细化管理。
6 结语
某广电单位大数据平台架构设计 第8篇
1 大数据平台架构
BDM(Big Data Management,大数据管理平台)整体架构由下向上,从底层硬件逐步构建。
(1)硬件设施层:提供最基础的硬件系统。
(2)虚拟化层:在硬件设施层之上,将硬件资源虚拟化,将服务器集群资源统筹管理。
(3)数据存储层:完成海量数据的分布式存储。提供数据备份和容灾,采用Hadoop框架的HDFS分布式存储引擎、分布式消息队列Kafka、分布式文档型内存数据库和关系型数据库。
(4)数据服务层:包括,数据装载读写、数据分析处理编程框架和数据查询等。数据处理工具完成服务层与数据存储层间的数据交互,提供友好的数据操作界面。
(5)数据接口层:对外提供操作的相关接口。
2 BDM组件关系
图1为该局BDM的整体架构,采用SOA(Service-Oriented Architecture)架构,其将具体功能以服务的形式部署在服务器集群上,每个服务以分布式方式部署,提供单独的高可用的服务,平台中的各系统都可以任意访问服务。BDM平台支持结构化数据(数据库表、结构化文本)、半结构化数据和非结构化数据。
数据经由Kafka写入到Hadoop HDFS,永久存储,进行离线计算;经由Kafka到达Storm流计算平台,进行实时计算和处理。
2.1 Nginx
Nginx是一个高性能的HTTP和反向代理服务器,是BDM中统一的HTTP请求的转发入口,需两台服务器集群互为备份和负载均衡。它接收用户的HTTP接口调用浏览器访问,将请求转发到OMCenter网页、BDMS网页、数据查询、REST接口和数据探头等。
2.2 分布式集群协作管理Zookeeper
Zookeeper是集群协作管理中心,提供集群协调功能,保存集群运行状态和配置信息并同步到集群各个系统,组件包括:数据采集服务、Storm、Hadoop和Kafka等。Zookeeper作为集群的配置中心,在多台zookeeper服务器之间,保证数据强一致性,实现了Paxos算法,完成数据在节点之间存储一致的状态,在部署zookeeper集群的时候,一般使用3台集群或5台集群。
Zookeeper在部署完成后即拥有高容错功能,一个zookeeper节点故障,并不影响整体集群的服务功能,这个节点重启就可以恢复数据,并恢复正常状态。集群协作管理的方式有如下几种。
(1)在zookeeper中保存集群中每个服务器地址及其提供的对应服务。
(2)客户端从zookeeper中获取集群中提供服务的具体实例地址和具体服务通信。
(3)集群状态发生变化时,更新zookeeper内容,即时通知客户端。
(4)zookeeper保存并分析服务的运行状态,发送监控信息和报警信息。
2.3 Kafka
Kafka集群有三种角色(如图2):Producer是数据的发布者,向消息队列推送数据;Consumer是数据的订阅者,从消息队列订阅数据并消费;Broker是消息队列实体和集群中的Server。Kafka指定各个分区到对应的读取进程,因此保证每个进程读取数据的顺序性和负载均衡。
Kafka消息读取的方式如图2。它可以同时处理多个逻辑队列,每个队列用一个Topic名称进行唯一标识,即一个Topic确定一个逻辑队列。每个逻辑队列分成多个分区(Partition),图中为Kafka Cluster的P0~P2,每个分区分散存储于服务器上,数据写入kafka时,轮询写入每个分区。数据的消费者,分多组(Consumer Group)同时读取数据,每组都可读取到队列中完整的数据,两组之间不会相互影响。
2.4 Kafka ICE服务
ICE(Internet Communications Engine),是一个分布式计算框架和RPC框架,方便各服务读写kafka数据。ICE Grid服务端包含Registry,Registry Replica,Node和服务:
(1)Registry:ICE Grid的服务注册中心、配置中心,其中保存了所有节点状态、服务状态、服务地址和端口及服务RPC API的元数据等。
(2)Registry Replica是Registry的热备服务。
(3)Node:ICE Grid通过Node服务管理节点上运行的服务的启停,一个服务可注册在一个或多个节点运行,服务进程通过Node进程创建。
(4)服务:通过ICE Grid框架定义。在BDM中,数据探头和Kafka ICE都是通过ICE实现的。一个节点可启动多个服务进程,每个服务进程可以配置成多线程方式。
(5)客户端:客户端通过服务定义的slice文件,通过RPC的方式和服务端通信,完成API调用。Registry根据一定的规则,将服务地址分配给客户端,分配策略有轮询、随机和根据负载分配的方式。
2.5 数据探头
数据探头服务采集和接收推送数据,并发送到Kafka,数据经过Nginx,uwsgi,Input ICE,Kafka ICE到达Kafka。Input ICE服务提供了动态API配置的功能。
2.6 Mysql
Mysql作为BDMS的后台数据库,也作为基础数据管理和关系型数据库部分数据的存储。BDM中Mysql集群,使用主备方式部署(Master-Slave),备机提供数据的只读服务,主机提供数据的读写服务。
2.7 Storm
Storm是BDM中的实时处理平台,完成实时统计、计算和数据处理等。Storm集群分为主控节点Nimbus和工作节点Supervisor,Nimbus负责任务的总控,管理所有工作节点的状态;Supervisor负责接受并执行任务。
Storm会保证数据在计算任务中都被处理过一次(至少一次),如果处理发生异常,这条数据会被重新发送,保证每条数据都会被正确处理。Storm在记录消息处理情况的时候,只有数据完全经过所有节点的时候,数据才会被认为正常处理完成。该项目中,可使用Storm完成实时指标计算,如,全局设备实时运行时长统计、设备实时状态分析等。
2.8 分布式文档型数据库Mongodb
Mongodb是文档对象数据库,是一种No SQL数据库,每一条数据是一个“文档”,一个文档是一个json格式的数据,由于json格式数据的特点,Mongodb没有关系型数据库的外键和关联等概念,对于有嵌套关系的数据,可以直接存储到一条记录中。Mongodb支持集群部署方式和自动故障恢复。Mongodb高可用部署方式为Replica Set(副本集),其中Primary为主节点,数据的读写操作都在Primary上执行,两个Secondary服务器从Primary同步数据并作为热备,这3个节点之间通过心跳信号通信,确认彼此服务处于存活状态。
当Primary出现故障时,主的心跳信号丢失,此时,两个Secondary节点中的一个节点作为Primary,客户端和新的Primary节点进行操作。故障节点恢复后,重新加入集群,并作为新的备节点,开始数据同步。
在BDM中,Storm从Kafka读取实时采集的数据,完成计算后,将计算结果输出到Mongodb存储,使用方读取Mongodb结果获取实时计算报表。
2.9 BDMS大数据建模平台
BDMS大数据建模平台是基于Hadoop、Hive、sqoop等hadoop生态系统中的工具整合开发的可视化大数据离线计算、数据分析和建模平台。基础的Hadoop平台提供HDFS分布式数据存储和Map Reduce计算框架,使得大量数据的分布式计算成为可能。存储文件分成多个Block(块),默认大小是64M。通过块的Replica的方式,保证数据可靠性,读取速度和吞吐量。一般每个块至少分布到3个Data Node节点上。如图3,Name Node负责维护集群的元数据,Data Node用来存放数据块,每个数据块都有3个备份,分散存储于各个Data Node上,任意一个Data Node故障,数据块的副本不会丢失;同时,为防止Name Node单点故障,引入了Secondary Name Node的备份节点。Hadoop HDFS上的数据读写,始终都采用就近原则,优先使用本地的数据块,以提升数据读取的速度。
Hadoop平台为BDMS提供基础的数据存储和计算框架,单纯Map Reduce框架应用复杂,因此Hive平台提供了结构化数据的管理和查询功能。Hive使用类SQL语言,完成对Hadoop上存储的数据进行查询。Hive将SQL语言解析成为Map Reduce任务在Hadoop平台上执行,更适合于海量数据的SQL查询。BDMS还提供了Hadoop平台上的其它功能,如,Spark MLL机器学习库,sqoop数据装载工具等,为数据的采集、清洗、格式化、查询、建模、计算、分析、报表产出等一系列流程提供可视化工作界面。
2.1 0 集群监控中心ganglia
Ganglia是BDM的服务器集群监控中心,它收集每个节点的服务器运行状态和服务运行状态,完成运行状态的实时监控图标绘制,图标的数据保存为rrd格式,可在使用较小磁盘容量的情况下,记录多年的历史数据。
3 结语
除了上述的各个组件,大数据平台还配备报警中心和运维管理中心,报警中心完成对BDM中关键服务组件运行状态的监控报警和对数据处理任务的监控报警;运维中心OMCenter为BDM提供一站式私有云管理软件、集成设备管理、服务管理、监控、实时报表和配置中心等。目前,BDM已经运行了一年左右,体现了其应有的作用。
参考文献
[1]张戈.浅谈广电网络的信息化建设[J].科技致富向导,2014(26):80,172.
广电网络数据专线故障分析及检查 第9篇
关键词：广电网络数据,专线故障,分析检查
数据专线业务是通信业务的一种, 它为广义的远程信息处理提供文件传输、电子信箱、可视图文、遥测、遥控等服务, 在数据业务高速发展的态势下, 标志着我国新的通信网络的出现和拓展, 在以IP为基本架构的宽带数据网络业务中, 它提供和支持IP业务以及各种话音、图文、视频业务, 在广电与电信、移动、联通等各运营商争夺数据专线业务的竞争方面, 广电网络如何守住自己的阵地, 实现自己的业务拓展、争取应有的份额, 就要加强自身的网络建设, 不仅在业务服务上体现优势, 更要在数据专线故障维护方面体现其先进性和及时性。本文就以广电网络数据专线的故障维修为重点, 进行故障的检查、分析和修复。
1 广电网络数据专线故障排查步骤、方法及程序
广电网络在日益频繁的银行、公安监控业务传输工作中, 故障发生率呈现频发的态势, 我们要理性分析故障发生的原因, 进行故障排查, 要根据如下步骤进行故障检查:
1.1 广电网络数据专线传输模式的类型判定
由于广电网络的数据专线传输有多种模式, 这里介绍两种模式, 即:光纤直连和SDH设备的数据传输, 我们要针对性地进行故障原因的排查。第一种:光纤直连模式, 仅需要简单地检查光纤的连接链路是否顺畅, 同时对于“单纤”形式的传输类型可根据其是否正常收光和发光即可判定故障;对于“双纤”形式的传输类型, 就要同时对两条不同收光和发光的光纤进行检查。第二种:SDH设备的数据传输, 其设备包括:终端复用器、分插复用器、再生器和DXC, 由于该设备具有复用和解复用技术简单、低阶信号可直接复用成高阶信号, 无需中间复用过程的优点, 因而具有较便捷的提高信号传输速率特点, 它通过采用回环、替换法对SDH传输通道本身链路进行检查, 根据链路是否有数据正常传输来加以判定和检修, 增强了操作、管理和维护的能力。
1.2 广电网络数据专线传输机房的故障检查
数据传输机房前端的设备是进行专线故障排除的首要位置, 要逐个排查, 不能遗漏和跳跃, 这个步骤要借助于“光缆配纤”图纸、光功率计、OTDR、红光笔等资源, 这些检测设备各有其功效, 其中:光功率计的作用是检测光纤是否有光在正常输送, OTDR的作用是对无光的光纤进行距离的测定和光缆损坏部位的确定。
1.3 广电网络数据专线传输现场的故障检查
通过上述步骤和方法, 我们可以检测出光纤的故障位置点, 在确定了故障准确部位之后, 就需要进行故障原因的现场分析, 其出现故障原因包括用户使用引起的问题, 由于用户自行改动网络, 而使周围环境造成改变, 出现光纤传输故障。
2 广电网络数据专线故障类型剖析
数据专线故障根据其模式的不同, 也呈现出不同的故障类型, 其一是光纤链路故障, 其二是前端的传输设备故障。下面, 对这两种故障类型进行逐一分述:
2.1 光纤链路故障
2.1.1 光纤链路阻滞
这主要表现为光缆的损坏, 在我们广电网络设施的光缆敷设过程中, 根据不同地质地形特征, 进行明线光缆敷设和地埋管线光缆敷设, 这两种敷设类型各有其不同的故障产生原因:明线光缆极易被超高车辆所挂断, 并且还易与其他通信光缆混淆, 造成人为剪断;而地埋管线光缆会由于通信施工不规范、道路改建、绿化改造等建设原因, 而使其遭受损坏。
广电网络数据专线传输机房也会出现“跳纤”故障错误, 这是由多种原因造成的, 其影响因素有:“光缆配纤”图纸的错误、“跳纤”配线箱序号错误、电视信号被误当作数据专线信号进行“跳纤”等, 这些都属于链路连接过程中产生的阻滞类型。
2.1.2 光纤链路功率损耗超负荷
前面分析的是光纤断裂的故障情况, 这里还有一种常见的故障是:光纤并未断裂而光缆有实质的损坏, 这有两种影响因素:其一, 是熔接质量不过硬, 而使光缆的光功率损耗过大, 造成光缆的损坏;其二, 是光纤法兰头对光缆光功率的巨大影响。在光缆配线箱及终端设备内部, 由于光纤头未实质性地与法兰头的槽口相接或连接不紧密, 都会引起光功率的超常损耗, 导致光纤法兰头的光功率损耗值由正常的0.5d B急剧升为3-4d B, 因此, 光纤法兰头是故障发生的重大隐患, 要尽量减少光纤法兰头。
2.2 数据专线传输设备故障
2.2.1 网络数据专线传输通道故障
广电网络数据专线传输机房的SDH设备是环网状的结构, 在单条链路阻滞的情形下, SDH设备仍然可以继续传输数据而不是环网状的、由单条链路组成的小分机房就会出现传输中断。另外, 机房内部的交换机设备也会由于环路网线的连接错误而出现故障, 致使数据传输中断, 使整个广电网络系统陷于瘫痪。
2.2.2 数据专线的传输通道设备故障和前端、终端设备故障
(1) 传输通道设备故障。由于广电中心机房的SDH传输设备是环网状, 由两条链路同时输送, 万一其中一条链路中断, 则SDH传输设备还可以正常运行。而分机房是由单条链路组成的, 一旦出现问题传输设备即会中断出现故障。
(2) 传输前端、终端设备故障。数据传输设备经常会遭遇视频死机的困扰, 尤其是在光传输设备前端和终端不匹配的情况下, 即使是同一型号设备, 但是新旧款式不同都会出现问题, 导致光链路正常而数据传输却阻滞的情况, 极难进行故障的排查;还有就是电源适配器出现问题, 也会给故障排查造成困扰, 极易造成设备的误更换, 耽误设备正常使用和运营。
总而言之, 为了使数据专线发挥其在广电网络中的支撑作用, 其安全和稳定性成为了关注的焦点, 我们要严格按照数据专线的程序和流程, 从各方面对数据专线进行故障排查和分析, 通过各种专业设备和测试设备的应用, 尽快将数据专线的故障位置点进行判定和确认, 并进行逐个的排除和解决, 减少数据专线的故障发生率, 提高维护效率。
参考文献
[1]王云, 王磊.广电网络数据专线常见故障分析及排查[J].广播与电视技术, 2015 (02) .
[2]顾跃.广电网络中的电气技术及电子技术应用[J].中国高新技术企业, 2015 (09) .