全景视频监控系统

全景视频监控系统（精选8篇）

全景视频监控系统 第1篇

现在的全景视频拼接方案层出不穷，但是基本都是通过软件处理的方式，这种方式的缺点是分辨率较低、处理速度很慢，很难达到实时的效果。为了提高视频系统的分辨率和处理速度，满足用户更高的需求，本文提出并设计了一种基于FPGA的全硬件处理方式，实现了高分辨率、高质量、实时360度全景视频系统，查新表明该成果不仅在国内是空白，在国际上其性能指标也具有领先地位[1]。该系统在军事、高端警卫防范、新一代视频远程网络会议等地方具有广泛的应用前景。

表1是该系统的性能特点，具体包括分辨率、帧率等关键指标。

全景视频实时系统结构

FPGA全硬件全景视频实时系统结构如图1所示。系统视频数据采集端是5个Macron高分辨率CMOS图像传感器水平放置，其位置是经过精确预校准的[2]。同时配备高质量的大视角光学镜头对视频进行同步高速采集，并将采集好的视频送入图像预处理部分。图像预处理主要进行色彩生成、色彩校正等图像处理，以生成正常的彩色视频流供后续操作。图像校正对由于采用大视角镜头而产生的镜头失真及镜头位置分布产生的视差失真等问题进行实时校正处理[3]。全景拼接主要完成柱面投影模型匹配、图像拼接、边界处理等实时操作以生成完美的全景视频流。本视频压缩模块采用的是标准的JPEG标准进行压缩。为应对超大尺寸全景视频的实时压缩，加速压缩进程，本压缩模块采用一种定制的双核并行压缩方式。该双核并行压缩方式既加快了压缩进程，又解决了超大尺寸图像压缩时需要超大缓冲资源的问题。同时，本压缩模块的视频压缩比是可接受远程后端部分的以太网调整控制的。

UDP部分采用硬件实现UDP协议，提高数据传输的速度，同时提供了人机交互平台。HDMI显示部分完成了视频显示控制处理。PCIE采集卡连接PC端的PCIE接口，接收以太网发送过来的压缩视频数据。PC端再通过软件图形设计实现实时显示全景视频、局部放大缩小、控制FPGA模块处理等功能窗口。

FPGA系统组分

图像预处理FPGA+CMOS(macro＿cap)

系统产品集成5个Macron高分辨率CMOS图像传感器在一个底座上，水平方向呈环状均匀分布5个。每个图像传感器配备专门定制的高质量大视角光学镜头。固定焦距小于4mm，滤镜口径小于30mm，拍摄角度大于83度，传感器与镜头之间也经过精确匹配。同时，光学镜头的设置都是固定的，以保证系统处于校准状态[3]。

图像采集模块由图2中macro_cap所示，它主要实现了色彩生成、自动白平衡、色彩校正。由于MT9T031CMOS传感器采集到的数据是bayer格式的图像，每个像素点只提供一个颜色分量，因此需要色彩插值模块再生其它颜色分量以恢复完整的彩色图像。又因为不同色温的光照下，物体的颜色会随之变化，为了还原物体本光转换关系并不是线性的，而是幂指数关系，因而如果图像直接显示，图像就会因这种非线性关系而偏暗，为使显示器能够正确地显示生成的图像就需要Gamma校正模块对图像进行校正。如图3所示，经过这几步的预处理，CMOS视频图像就可以提供给后续系统进行更高级的处理。

图像矫正和全景拼接

此模块是全景系统的关键部分。如图4所示，将5路经COMS图像预处理系统的视频流通过仲裁模块减少为三路送入Xilinx Spartan-6 XC6SLX150中的MCB硬核存储数据，然后通过多端口内存控制器MPMC(MultiPort Memory Controller)接口将数据送入桶形校正与柱面投影BC(Barrel Correction&Cylinder Projection)模块[5]，通过EDK工具配置MicroBlaze软核，以达到控制MPMC接口进行视频实时显示的目的。这样处理后的图像克服了由于大视角镜头产生的镜头失真及视差问题[6]，可以很好地完成图像的拼接过程。

视频压缩

视频压缩采用Motion JPEG全硬件编码的方式，内部包括RGB到YCrCb转换、离散余玄变换、Z字形编码、量化、RLE编码以及霍夫曼编码部分。由于要对五幅图像拼接起来的大图像同时压缩，一个JPEG压缩模块是不够的，因此我们需要采用是一种定制的双核并行压缩方式，两个JPEG模块同时进行压缩。若要利用block ram对8行数据缓存并且处理，从资源上考虑，需要8行*1920*5*24位的1.8Mbit大小的ram，而Spartan-6 150的ram资源最大为4.8Mbit，因此这样会浪费大量宝贵的ram资源。所以我们利用JPEG协议中的RST信号，设计出另外一种结构，如图5所示。我们将五幅图依次存在DDR中，若每幅图的宽度为X，高度为Y，则整幅图像的大小为5X*Y。这样每个JPEG需要压缩的图像大小为2.5X*Y。我们利用读取JPEG数据比JPEG压缩速度快很多的特点，在码流合成时，先取JPEG_1的子图像1压缩码流，然后切换到JPEG_2的子图像2压缩码流，如此循环切换。切换机制，即在每个子图像结尾时进行切换，所以可以采用这样的方式：对当前仲裁到的通道进行标志计数，只要检测到SOI、RST、EOI中的任何一个，计数器就加1，当计数器为2时，切换仲裁通道，同时计数器清零。在新的仲裁通道重新计数，如此循环进行切换。

然后压缩好的全景图像通过接口模块(MCB2JPEG)进入并行硬件视频压缩模块(JEPG)，实时对全景视频进行压缩处理，速度可达1920*5*1080@15FPS的，最大压缩比达20:1以上。

远程控制和数据传输

远程控制部分需要以太网的支持，同时以太网又肩负着硬件打包传输压缩视频的任务。在视频传输的时候，UDP扮演硬件打包数据传输数据的角色，而在用户控制的时候，UDP模块又可以实现ftp协议完成系统和PC之间的交互命令。在控制方面全景视频系统能进行两种运行模式：(1)在分辨率优先时，可实时生成5*1920(H)*1080(V)@15FPS的实时全景视频;(2)在帧率优先时，可实时生成5*1920(H)*720(V)@30FPS的实时全景视频。为了达到远程观看全景视频和远程控制的目的，该系统可通过以太网进行相关参数的控制，可以自由地选择两种不同的运行模式。另外通过远程控制，还能对系统进行更新升级，其流程如图6所示。而在数据传输部分，经过全景拼接后的视频流可用通过HDMI在显示器上直接显示，同时经过压缩处理后也可将其送入UDP模块，通过Ethernet连接到PCIE采集卡，存储到硬盘上，进而在PC客户端上显示或后期处理。

系统应用

全景视频实时系统具有高分辨率、高质量、高保真、无死角等特点，可以在单视点实时同步显示周围场景，能够让观察者快速、准确、全面地感知周围场景信息的变化。因此，全景视频实时系统有着广泛的应用。如视频会议，景区观光，军事装备，虚拟现实、机器人视觉等领域。

结束语

本论文介绍了一种全硬件的全景系统，该系统包括图像预处理、图像校正、全景拼接、视频压缩、以太网传输、HDMI显示等模块，并依次展开详述各个模块的功能和实现。该系统不仅稳定地完成了高分辨率、高质量、实时拼接360度全景视频的功能，而且其性能指标遥遥领先国际上的同类产品。它可以广泛应用于各种场合，拥有很好的前景。

参考文献

[1]基于FPGA全硬件处理的多摄像拼接的高分辨率360度全景视频实时系统[R].科技查新报告,报告编号:A2012343

[2]徐渊,周清海,朱明程.多通道视频图像全硬件拼接方法及装置[P].中国.发明专利.20120092029.8.2012

[3]Bayer,Bryce E.Color imaging array[P].U.S.Patent 3,971,065,Jul.

[4]周清海.基于FPGA的多通道全景SoC设计与实现[D].深圳大学,2012

视频网站自制内容全景调查 第2篇

2012年，“自制”正成为视频网站领域被提及最多的字眼。

两年前，视频网站挺进自制时，外界曾普遍冠以“小作坊”、“小打小闹”等帽子。眼下，优酷土豆、搜狐、奇艺、乐视网等几乎所有视频网站都宣称继续发力自制，在自制上都加大了对资金和人力的投入。

视频网站正在向电视化趋势发展。在自制内容上，视频网站会根据自己的优势有不同的侧重点。虽然内容自制前景良好，但视频网站自制剧的商业化变现能力依然较弱，而流量占比低、模式受制于广告主等尴尬也日益凸显。

优酷 自制剧

都市青春类：《泡芙小姐》共四季、《嘻哈四重奏》共四季、《全优7笑果》、《非常爱情狂》、《“色”女郎》、《我的泡沫之夏》；

运动类：《天生运动狂》； 侦探类：《糊涂囧探》

微电影：《电影逆袭》、《幸福59厘米》、《11度青春》、《勇敢爱》、《父亲》、《不可能的可能》、《赢家》、《美好2012》系类；

综艺节目

娱乐类：《优酷娱乐播报》、《轻松时刻》、《我是传奇2》、《让口水飞》、《全民爆料》、《综艺IN事件》、《优酷名人坊》；

访谈类：《晓说》； 体育类：《优酷体育播报》； 汽车类：《每周车闻播报》；

播出时间：《晓说》每周五更新；其他不定期播出

目标受众：目标受众为20~40岁左右的年轻知识分子和上班族 宣传策略

优酷《晓说》节目在创造6，000万播放奇迹后，又宣布携手浙江卫视，与该频道重点项目——纪录片《艺术：北纬30度》合作，首次实现网络视频自制综艺节目登录电视平台，在传统的“台网联动”模式上又有了进一步的打破和创新。

自制剧计划

优酷土豆集团会依托优酷出品、优酷自制综艺和土豆映像三大自制战略，加强主题化运作。优酷自制内容更注重励志。

土豆 自制剧

都市青春类：《踢踏江湖》、《爱啊哎呀，我愿意》、《水煮鹿顶鸡》、《成人区》、《三国恋》、《蜡笔与小新的故事》、《窈窕淑女》；

职场类：《2B青年入职记》、《明星实习记》、《天剩我才》；

其他：《十二星座与避孕套的激情故事》、《十二星座发财梦》、《罗小黑战记》、综艺节目

娱乐类《土豆最印象》、《土豆最音乐》、《哈林哈时尚》、《土豆通台湾——今晚淘汰谁》、《土豆玩出味》、《世界WE记录》、《YIF魔幻》；

微电影

《你好吗。我很好》、《100分的吻》、《再一次心跳》、《Love life》 播出时间：《哈林哈时尚》每周五晚上21点30分更新；其他不定时播出 目标受众 宣传策略

打造2013土豆映像节，为原创视频打造“一站式宣传平台”，将“原创作者”和“原创影像作品”的挖掘和包装有机结合。如周播自制节目《土豆最映像》借2013土豆映像节进行推广。此外，还与中国台湾TVBS（台湾无线卫星电视台）达成战略合作，土豆网的自制综艺节目《哈林哈时尚》将输出至TVBS电视台播出。

自制剧计划

优酷土豆集团会依托优酷出品、优酷自制综艺和土豆映像三大自制战略，加强主题化运作。而优酷和土豆两个平台差异化方面的运营，将主要体现在自制战略上，土豆自制节目将主打青春风格。

奇艺 自制剧

青春爱情类：《非常宅》、《在线爱》； 家庭剧类：《奇异家庭》 微电影

微电影集《城市映像2012》 综艺节目

娱乐类《帕帕帮》、《娱乐猛回头》、《音乐不要停》、《综艺大嘴巴》、《时尚爆米花》、《街拍瞬间》、《电视剧有戏》、《头号人物》、《环球影讯》、《笑够了没》、《笑霸来了》、《某某人知道》；相亲类《浪漫满车》；

谈话类《以德服人》、《青春那些事》； 养生类《健康相对论》； 旅游类《小姐爱旅行》 播出时间：

周一《娱乐猛回头》；周二《帕帕帮》、《以德服人》、《综艺大嘴巴》、《头号人物》；周三《音乐不要停》、《时尚爆米花》、《健康相对论》；周五《环球影讯》、《笑够了没》、《浪漫满车》；周六《笑霸来了》、《街拍瞬间》、《小姐爱旅行》；周日《某某人知道》、《电视剧有戏》

自制节目计划

“爱奇艺出品”坚持以电视节目的规格做网络综艺节目，建立起了自制综艺节目一周7天不间断播出的“综艺大日播”体系。爱奇艺将继续加大多类型综艺投入，并不断提升爱奇艺的媒体价值，彻底打通综艺节目产业链上从策划、制作、艺人合作到宣传推广的每一个环节。

乐视 自制剧

都市青春类：《我怀了你的孩子》、《叫我郝聪明》、《青春大爆炸》、《女人帮》、《率性生活之末日逆袭》； 黑道类：《东北往事之黑道风云20年》 综艺节目

谈话类：《无间道》、《星月私房话》；

娱乐类：《影视风云榜》、《美女运动会》、《我为校花狂》、《魅力研习社》 微电影

爱情类：《上海故事》、《37°爱》、《大学那点事儿》、《我要结婚》、《北京故事》、《战妻》、《重庆故事》、《不准》；

其他：《英雄联盟》、《小面》、《无词歌》、《外星人与限价房》 播出时间：

开辟【乐视午间自制剧场】，将周一至周五每天中午12时锁定为自制剧首播时间。《叫我郝聪明》接档《我怀了你的孩子》每周一至周五更新；《无间道》每周一、三、五更新；《星月私房话》《影视风云榜》每周日更新

目标受众：职场白领 宣传策略：

通过专题、视频集锦，以及围绕内容的社会化传播，提升该剧的网络影响力。在自制剧上线之前乐视网剪辑了多个版本的片花，提前剧透，吸引潜在用户，这些片花经过微博、SNS、论坛等社会化传播媒介传播，在网友中耳熟能详。此外，开展了一系列的有奖收视活动，推动用户保持“追剧”习惯，并参与微博和视频的转发，进一步增强了用户黏性。

自制节目计划

乐视网每年过亿的投资是一个战略部署，圆梦计划是2000万，差不多每年都会推出几百集网络剧。

搜狐 自制剧

都市职场类：《疯狂办公室》；

青春偶像类：《秘密天使》、《夏日甜心》、《钱多多嫁人记》、时尚都市《猫人女王》； 微电影 《7电影》 综艺节目

访谈类：《先锋人物》、《大鹏嘚吧嘚》；

娱乐类：《搜狐大视野》、《综艺马后炮》、《明星在线》、《屌丝男士》； 播出时间：

《大鹏嘚吧嘚》每周四更新、《先锋人物》每周五更新、《搜狐大视野》每周一至周五更新、其他不定期更新

宣传策略：

搜狐视频推出“微综艺”概念，力推“8分钟”的综艺节目，上线“微栏目”频道。微栏目以8分钟为一单位，任何人、工作室、视频机构都可以将自制节目上传分享，搜狐视频的审核团队会从上传的节目中，通过流量考核，甄选出受网友欢迎的作品，分享百万大奖。

视频网站自制内容观察 目的：差异化竞争

视频网站竞相做自制，主要原因不是买不起版权，而是同质化竞争所迫。

2012年，国内视频网站围绕平台的竞争格局已经落定，差异化的战略催化了自制的发展，而视频网站自身不盈利也迫使从业者积极试水自制。

此外，视频网站做自制，除了从渠道上把控外，还可借机参与到内容制作的上游，掌握的话语权更大，最终培育出新的制播产业生态。

国内视频网站走自制的道路和80年代的电视台的操作手法如出一辙，各大电视台的品牌都是靠自制打出来的。采购的影视剧是基础、标配，自制是特色，这将是视频网站的核心竞争力。

投入：几千万甚至上亿

无论是借道第三方，还是完全自己摸索，从2011年开始，各大视频网站都一边持续买剧，一边转而在自制内容上加大投入的资金额度。

一位行业内人士透露，视频网站投入一部微电影的资金为10-100万元，一部自制剧为150-500万元，而自制节目，少则是一些编辑剪辑的零成本制作，多则数百万投入。2012年，奇艺已上线的两档自制综艺节目《恐怖！健康警报》和《爱GO了没》每部的投入都达到千万元。2012年2月16日，搜狐视频宣称为其自制栏目《向上吧，少年！》投入的综合资源过亿元，创下视频网址自制投入的新高。

过去一年视频网站产生的微电影就超过2000部，2011年每家是3-4个编导，2012年达到10多个。不过，也有少数视频网站，如爱奇艺，则尝试完全自家承担所有的自制工作。在爱奇艺自制部门，近60%的人员来自电视台。

题材：都市青春和娱乐为主

视频网站自制内容主要包含三大板块：微电影、自制剧和自制节目。

国内视频网站所做的微电影和自制剧，没有统一的定义和标准，因为策划、制作太专业，过程艰难，可复制性很低，难以形成持续的规模和品牌影响力。而网络自制节目更灵活、更接地气，未来可能形成品牌气候。

各大视频网站的自制剧类别上仍是以都市青春剧为主，剧情也偏重与轻松搞笑，将受众锁定在年轻网民身上。个网站也有推出职场类自制剧拉拢现在的年轻白领一族。但是在剧情介绍上大多会采用较为劲爆的阐述方式，达到一开始就博人眼球的目的。

一些私密性的、一对一的网络载体传播节目，并不适合电视台上面对公众传播，但有着巨大的潜在需求，这给了视频网站做自制节目以巨大发展空间。目前各大视频网站的自制节目，以娱乐类节目为主，除此之外，各网站大多会推出一两个品质上乘的谈话类节目，让网站的节目质量有所提升。

盈利：商业变现能力弱

虽然投入在不断增多，但一个难以掩藏的尴尬就是，自制内容恐难成为视频网站的流量砥柱。尽管如《青春期》《女人帮、妞儿》《我怀了你的孩子》等自制剧赢得了用户好的口碑，播放量均破亿，但目前各家自制内容所占视频网站的总流量比例均低于5%。

除了流量难以获得突破之外，视频网站做自制的商业化的变现能力依然较弱。

虽然视频网站号称是为了拥有差异化内容，实质还是为了丰富自己的营销产品。众多视频网站都是将自制内容和硬广资源一起打包售卖，从而提高整体的广告价格。

和自制节目相比，微电影和自制剧的商业化稍好。偏内容者靠传统的广告获得收入，偏广告性质的靠客户信息植入获利。据了解，近8成的自制剧和微电影，在开拍之前就已经和广告主达成广告植入或冠名等协议，一些品牌商甚至以付费形式与制作团队一起决定微电影的拍摄与传播。这使得视频网站量入为出，投拍的风险较小。但一部作品能获得可观的投资收益极少，真正火的微电影也就是优酷的一部《老男孩》。包括优酷、奇艺等视频网站都试水把自制剧反向电视台播出，但据了解获利颇微。

全景视频监控系统 第3篇

上述研究主要为变电站三维巡视、仿真培训和设备资产管理等几个方面的应用, 均是以图纸、照片或激光点云数据等基础数据, 采用逆向建模手段进行三维立体模型建模。由于每个变电站都有不同类型的设备和独特的空间分布特征, 导致三维逆向建模工作量大, 建模周期长。此外, 已建的三维模型只能描述其固定的样式, 即便人为性地加入一些三维动作, 也不能客观、实时反映设备的真实现状。因此, 就目前电力行业应用现状而言, 也只是对某一类型或级别的常规变电站进行三维建模, 主要用于教学培训等一般应用, 无法应用于变电站的日常管理工作中。

鉴于变电站三维可视化的客观需求, 研究三维全景与视频监控相结合的变电站三维可视化, 对于提高变电管理工作具有重要意义。

1 三维全景与视频监控

1.1 三维全景

三维全景技术是目前迅速发展并逐步流行的一个虚拟现实分支, 可广泛应用于网络三维、网络虚拟教学等领域。传统三维技术及以Vrml为代表的网络三维技术都采用计算机生成图像的方式来建立三维模型, 而三维全景技术则是利用实景照片建立虚拟环境, 按照“照片拍摄→数字化→图像拼接→生成场景”的模式来完成虚拟现实的创建, 更为简单实用[4]。

研究过程中采用佳能5D单反相机, 配合适马8mm鱼眼镜头, 单点拍摄3张球形鱼眼照片, 然后使用全景拼合发布软件把拍摄的鱼眼照片拼合成360度全景照片待用。

1.2 可量测三维全景

拍摄全景照片的同时如果采集了该拍摄点的地理坐标信息, 通过多张具备一定重叠度的全景照片, 采用摄影测量技术对这些照片进行影像匹配和位置定向处理后, 全景照片上的每一个象素点具有空间坐标位置信息, 基于这样处理后的全景照片, 即可实现诸如距离、角度、面积等几何量测;如果加入矢量对象并且与数据库相结合, 即可实现查询定位。

1.3 视频监控

近年来, 随着视频监控技术向数字化、远距离传输发展, 其应用越来越普及, 已广泛应用于公安、银行、交通、教育等领域, 在电力行业, 视频监控主要应用于机房无人值守、变电站无人值守、发电厂安全生产管理监控等。其中, 数字化变电站中的“遥视”, 即为视频监控在变电站管理中的应用典范。

1.4 变电站可量测三维全景与视频监控

变电站可量测三维全景能反映设施设备的真实外观、空间位置和分布现状, 不需要进行逆向建模即可进行三维操作;在特定位置安装监控摄像头对重要的设施设备进行监控, 通过提取视频中的单张与全景影像进行匹配, 即可在三维全景中反映变电站的实时现状。

2 系统总体设计

2.1 总体技术思路

(1) 基于GIS技术, 实现在二维地图上展现供电局管辖的所有变电站的位置, 并可查询变电站基本信息; (2) 选择一个220k V变电站为试点, 全方位采集变电站全景影像数据; (3) 对采集的数据进行预处理, 融合、统一坐标; (4) 安装视频监控头, 实时获取监控视频; (5) 开发全景与视频监控可视化管理系统, 实现变电站全景视频与监控视频的无缝融合;录入变电站重要设备台帐资料, 实现三维可视化管理, 如查询定位。

2.2 系统逻辑和功能结构图

3 应用案例

我们以重庆大学城220k V变电站为研究对象进行应用实践, 工作内容包括变电站全景数据采集、监控摄像头安装和管理系统开发三部份。

本项目采用配有佳能EF 15mm f/2.8鱼眼镜头的佳能5D Mark II单反相机为采集工具, 按单点3张照片合成一张全景图的要求, 共作业时间3小时共采集53个点约2 0 0多张全景照片。监控摄像头共安装两个, 一个位于主变压器, 另一个位于巡视通道。监控摄像头安装调试完毕后, 测量获得摄像头的X、Y、Z固定坐标, 为系统进行影像匹配时使用。

在应用过程中, 监控摄像头获取的动态影像与全景图进行实时匹配, 融合效果较好, 实现基于真实全景影像的动态监控效果。

4 结语

本文分析了目前变电站设备台帐管理现状, 提出采用三维全景可视化技术对变电站设备台帐进行管理方法, 改变了传统的单纯以文字、二维电子地图 (GIS) 的管理方式, 以直观、真实的交互式可视化进行管理, 有助于管理者能更准确地掌握空间的特性和设备的分布状况, 为管理者能更迅速地作出适当的决策提供了有益的帮助。

参考文献

[1]刘求龙, 胡伍生.利用点云数据进行惠泉变电站三维重建[J].地矿测绘, 2009, 24 (4) :7-8.

[2]李世倩, 陶红鑫.基于三维图形技术的变电站巡视仿真系统[J].中国电力教育, 2005

[3]谢成, 胡炎, 邰能灵等.基于可扩展对象库的变电站三维仿真平台.电力系统自动化[J], 2009, 33 (6) :90-94.

全景视频为VR/AR带来技术挑战 第4篇

关键词：VR,相机,全景,H.264,TCP-FIT

VR为何忽然变得有意思?

首先,我们看到有一些东西在今天这个时代跨过了门槛,诸如人类历史上第一次可以在一张硬盘上存储一辈子所有听过的音乐,可以存储这辈子所有拍摄过的照片,而且成本非常低廉。慢慢地,我们到达了另一个门口,就是存储这辈子所有看过的视频。其次,每一个人都有一个摄像机,包括手机等便携设备。第三,未来越来越多的人可以无处不在地上网,企业用户和老板可以随时找到你。

我们来想象一下,假如这是媒体实验室在做的事情,它的口号是:Never Lose a memory。将来老师给学生们讲课,不需要描述,可以放给他们看。包括我们给年轻人讲文革、过去的时代,我们可以放给他们看。

VR的三大技术挑战

V R有很多技术的挑战,很多基本技术问题至今没有解决。包括几大核心。第一是C a m e r a s,有大量人做了大量的Camera,但是离我们需要的还有距离。假如你可以控制Camera当中每一个内容,你可以想象做什么东西?第二是需要知道什么地方看什么,如何跟周围环境去交互,包括如何去实现这些技术。当然还包括在移动设备上展现和捕捉全景的视频,即多媒体信息的融合以及多媒体信息的处理和增强。第三是网络,今天网络无处不在,我们设想很多云计算美丽的场景。不过,很多知名的企业把基础设施放在亚马逊上,当亚马逊出现问题的时候怎么办?另外,VR需要大量服务器,这会耗费大量能源,并且需要高速的网络做连接。同时,在VR中做高速的数据处理也有很多挑战。

挑战之一:Camera

在展会上可见各种各样丑八怪的VR原型。假如VR像我们期望的那样变成现实、变成娱乐的主流,VR的主流设备最后一定不是丑八怪。

VR像素会是多少?很多人觉得这不是问题,我们今天可以做2000万、6000万像素的相机。实际上摄像头做得越来越小的时候,像素感光能力越来越弱。另外是艰苦的拍摄环境,比如高动态范围环境以及弱光环境,如何保证高的质量?今天我还没有看到一个相机真正能够模拟电影胶片的水平。

第二个问题是如何保证全景的相机?不同的相机之间或者不同像素以及不同位置如何保持一致性?比如快门是不是同步,曝光能不能做融合,高速运动时是不是会有一些变形等。

第三是我们的相机有没有景深?喜欢摄影的人知道莱卡相机的内容做出来很漂亮,我们能不能提供这些给艺术家?我们认为最终需要把最好的软件和硬件结合起来,而这恰恰是今天没有很多人去做的,我们看到各种各样的全景相机,但是大部分是垃圾。

例如,图1是我们今天看到的VR真实的场景和分辨率。为什么说真实?我们把演员4m以外拍摄的场景放在不同的1K、2K哪怕4K Plus上的分辨率,4m以外看到她的脸和在头盔上显示质量差距过大,相信没有人愿意付费。所以分辨率是非常大的瓶颈。

从技术角度,要真正支持我们所熟知的娱乐界的最低门槛的分辨率。在全景状态,摄像机至少要达到5K×5K,也就是比今天的4K有一个数量级以上的分辨率提高,才可以满足我们最基本的需求。

挑战之二:编/解码

假如我们用今天熟悉的手机分辨率,实际上需要有20K×10K的分辨率,要比今天家里4K的显示器大概有一到两个数量级的提高。这么高的分辨率下如何编码和传输?这是非常大的挑战。因为今天蓝光4K已经用非常高的带宽。

其中一个问题是Encoding(编码)。做技术的人总喜欢做美好的预测,例如今年H.265的编码会全面占领市场,4K的内容会全面占领家庭,但实际上没有这么快。原因首先是系统很复杂。第二系统跟二十年前刚开始做的时候是不一样的。很多人认为可能比上一代提高了50%的效率,但是成本非常高,包括步数、解码器和专利的成本等,有一些甚至需要付出上亿元的成本。即使满足了这些条件,实际上离我们真正做到高质量VR的要求还是有很大的差距。

另外一个问题:有没有什么事情是我们现在可以做的,可以规避这些问题的?答案是有的。我们不是在这里解释技术的细节。业界告诉你或者所谓专家告诉你,做高清一定要H.265,其实不用。用H.264可以达到一样的效果。看到科技公司和清华实验室的编码器得到了美国一家大型市场调查机构编码器领域的大奖,因为我们有很好的H.264的编码器。

要把视频编码真正用到VR上要应用很多场景。比如做360°的视频,用各种巧妙的办法拼接成平面的样子,然后想办法去降低其动态分辨率和成本,用整体上比较低的码率去传输VR的内容。但即使这样,我们离真正的视频编码还有很远的距离。以下会讲我们如何去做这件事情。

主要的思路是:第一我们需要摆脱传统视频编码的做法,过去我们做一个标准需要十年,在中间有很多IP来解决各种各样的问题。现在我们希望做的标准是一个通用的标准,跟应用无关,但是最终的解决方案一定是需要针对VR去做很多优化的。

第二个问题是网络。我们有了内容,如何把内容传递给用户。我们有3G、4G等高速网络。但是除了网络基础以外,还有一个问题是如何使用网络。比如90%的是用TCP协议(如图2)。视频当中也多用TCP协议。其实TCP不是一个好的做视频的协议,因为TCP有一个很大的问题:在设计的时候会认为只要你丢包,是因为你发得太快,所以会把发送的速度降慢。实际上,在复杂的无线网络情况下,你用最慢的速度发一样可能会丢包(如图3)。解决办法是设计更好的算法针对你应用的场景。这里我们提出一个算法:TCP-FIT,相比其他算法,TCP-FIT最高可以在相同网络情况下提高7倍的吞吐率,华为和中兴已是我们的客户。

有很多问题是OLDI(Online Data-intensive),比如在淘宝购物或者做大量数据挖掘工作时,做视频编码需要高速的服务器做连接,各层之间延时非常小,才能保证流畅的体验。但有时会突然发现整个网络的吞吐率瞬间降到零,这也是需要解决的问题。针对这些问题,我们也有在不更换设备情况下的解决方案。

最后强调一点,网络方还需要根据应用对整个系统做优化。例如网上流媒体观看,比如爱奇艺等。通常采用自适应技术,通过带宽不断地推码率,带宽高的时候推得高一点,带宽低时会推得低一些。但是有一个问题,你观看的时候视频质量会变化,例如图4,开始时图4的人脸很清晰,背后突出出现水柱后,会发现人脸的清晰度大幅下降。在中国这种情况不是特别多,因为原本推的就是质量较差的视频流。如何解决这个问题?你可以铺更多CND,可以想办法做编码。但是今天推流的时候你会发现一个很有意思的现象,可能视频是用手机拍的。每个用户手机的拍摄像素不同,因此视频质量不同;另外带宽质量也不同,我们可以用较低的成本大幅度地提高/增强图像精细度。

我们针对应用去重新审视我们系统中的假设。传统的假设是像广电一样,解码器很便宜,编码器很贵,实际应用中可能解码器很贵,编码器很贵。

小结

VR前景很美好,但现实很骨感。到美好的全景视频中间需要解决很多问题。此外,还有怎么做有意思的节目的问题。VR终极的节目是不是游戏?不一定。

技术上,第一,今天的质量原因是你需要容纳全景信息。第二,我们需要系统化的解决方案,未来的VR未必是做很便宜的全景相机的一帮人,然后把内容放到现在大家知道的视频平台上,用标准的模具生产的眼镜或者其他装置去观看。未来一定有一个端到端想清楚的解决方案,从拍摄到编码、传输、存储,一定是系统的。第三是我们需要重新审视原来做各个技术的认为习以为常的假设,这些假设是不是适合我们应用的环境,比如编码、推送和消费,只有整体的推进才能带来数量级的性能提升。所以VR的用户体验是从多维度来衡量的,比如质量、延时等等,需要软件和硬件工程师一起来提出一个整体的解决方案,硬件和软件协同做优化。

全景视频监控系统 第5篇

Maxim Integ rated推出G M SL四通道解串器MAX9286, 以更少元件、更短时间实现ADAS (高级驾驶辅助系统) 的环视系统设计。仅需一片MAX9286吉比特多媒体串行链路 (GMSL) 解串器, 即可接收并自动同步来自4个摄像头的视频信号。

A X9286解串器可通过长达15米的屏蔽双绞线 (STP) 或同轴电缆接收并同步来自4个摄像头的视频信号, 理想用于汽车产品。MAX9286通过4通道、工业标准CSI-2接口向视频处理器输出数据。器件可替代四个分立式解串器和一个FPGA, 大大降低电路板面积和元件数量。此外, 该款高集成度解串器无需额外的摄像头同步软件。

信息系统全景可视化监控模型研究 第6篇

关键词：信息系统,全景可视化,监控

0前言

电力企业将建设越来越多的信息系统, 为保障信息系统的安全稳定运行, 对信息系统的运行监控显得非常重要[1,2,3,4]信息系统的运行监视主要包含运行状态监视、运行指标展现和运行数据分析三方面, 监控系统的设计一般侧重于对信息系统各个组成部分 (业务系统、中间件、数据库、服务器、操作系统、网络系统、通信系统、终端系统等) 独立分块地进行监视, 运行监视人员则需要从分块的监视数据中综合分析信息系统整体运行状况, 当业务发生中断时, 运行监视人员不能快速、精确地定位是业务系统本身发生故障, 还是服务器、中间件或网络设备发生故障。

在信息系统的运行监控中, 非常有必要采用可视化技术直观地展现信息系统各个组成部分的运行状况, 文献[5-6]介绍了电力系统中运维可视化的优点。信息系统的运行数据分析也很重要, 从管理层面, 分析数据可以在信息化发展和管理方向为领导提供决策支持;从运行层面, 分析数据可以为信息系统的优化提升提供数据支撑, 如果没有一个规范的运行管理指标, 很难做好数据分析, 更难做到决策支持。

文献[7]基于CMDB研究构建信息系统运行方式模型, 该模型主要侧重中间件、数据库、服务器、网络系统等平台设备, 但没有将业务系统模块纳入模型, 也没有对运行的指标展现和数据分析进行研究。本文提出了一种以业务系统为主线, 对信息系统各个组件进行监控, 并能直观展现的模型, 称为信息系统全景可视化监控模型, 该模型包含信息系统全景可视化监控视图、全景可视化监控关键展现指标、全景可视化监控技术方法三个方面, 可为信息系统监控平台的设计和开发提供参考。

1 信息系统全景可视化监控

信息系统全景可视化监控是指一个信息系统的每个组成部分都纳入监控, 并能直观地展现。本文先对信息系统的数据通信过程进行说明, 图1参考OSI七层模型, 列举了信息系统数据通信过程中所涉及的各类组件。

全景可视化监控视图, 将信息系统的主要组成部分都纳入监控, 如图2所示。

全景可视化监控视图分为业务系统层、中间件/数据库层、服务器层、网络层和用户层。

在业务系统层, 视图中的外框可将业务系统看作黑盒, 框中的模块即为业务系统的服务组件或独立功能模块。中间件及数据库都是独立运行在操作系统上的应用程序, 所以独立成一层。服务器层则对操作系统运行状态进行监视。网络层监视与服务器直连的接入交换机以及数据中心核心交换机的运行状态, 同时监视服务器与交换机、交换机与交换机之间的链路状态。用户层监视局域网核心交换机的运行状态, 因局域网以下的接入交换机或终端故障时只影响局部用户, 核心交换机故障时则影响全局用户, 因此视图从业务系统的角度重点监视局域网核心设备。

全景可视化监控视图中每一层的监控点, 都可呈现五种子视图, 分别为颜色、标注数字、鼠标停留悬浮信息、鼠标点击对话信息、鼠标右键上下文菜单信息。

菜单项有三种类型, 一是在视图中没有展现的其他详细信息, 如资产信息;二是调用基于SOA架构开发的外部系统数据, 如调用监控点相关的流量分析数据;三是外部连接, 可直接连接到第三方的管理软件平台。

全景可视化监控视图以业务系统为主线, 为便于故障的定位和告警分析, 将通信系统和数据网络系统简化为局域网和数据中心之间的连线, 当通信系统和数据网络系统发生故障时, 均能通过连线及局域网节点的颜色变化体现。

2 全景可视化监控关键指标

本文参考文献[4]和文献[8]中的指标集, 设计了全景可视化监控视图关键展现指标, 为信息系统监控平台的展现指标设计提供参考。

1) 业务系统层监控指标分成直观展现指标、鼠标停留悬浮展现指标、鼠标点击。

2) 中间件/数据库层、服务器层、网络层、用户层指标, 与业务系统层指标类似, 也分为四类。

3 全景可视化监控技术方法

信息系统全景可视化监控模型包含三种技术:一是指标数据采集技术;二是界面设计技术, 实现用户与计算机的交互界面;三是数据分析技术, 从知识发现和决策支持的角度, 对监控指标数据进行分析, 发现规律。信息系统全景可视化监控模型的技术架构如图3所示:

3.1 指标数据采集技术

如果企业指标数据由不同的专业监控信息进行采集, 建议不同的专业监控系统都依据企业SOA架构[9]和接口规范进行设计, 为数据指标的提取提供标准接口, 并能对接到企业的ESB上;对于支持企业SOA架构的业务系统各组件/功能模块的应用指标数据, 通过企业ESB调用, 对于不支持的业务系统, 通过业务系统动态输出模块故障调试信息, 由全景可视化监控视图的专业接口采集并分析。

全景可视化监控视图可以通过企业ESB获取所需的指标数据, 也可以通过定制的接口采集非标准接口的其他专业系统的指标数据, 如图4所示。

全景可视化监控视图中的指标数据分为运行指标、应用指标、服务指标、性能指标及配置数据, 视图可实现运行指标的统计分析, 而服务指标、性能指标、配置数据都由专业系统实现, 业务系统的应用指标由业务系统自身实现。

3.2 视图展现技术

视图展现注重于用户体验, 建议采用目前互联网流行的RIA应用, RIA应用是集桌面应用程序的最佳性能、Web应用程序的普及、快速、低成本部署以及互动多媒体的美观、快捷、最佳用户体验为一体的新一代网络应用程序。以下比较三种适用于企业的RIA技术。

1) Flex技术:基于Flash Player, 通过浏览器在客户端实现矢量动画及复杂的人机交互, 并能实现与后台数据库的存储。

2) Silverlight技术, 基于Microsoft.Net Framework的WPF技术, 提供丰富的Web呈现和交互, 效果与Flex类似。

HTML5是由W3C推动的互联网超文本标记语言 (HTML) 的新一代规范。使浏览器可以脱离Flash player和Silverlight的支持, 直接解析显示图形或动画。

3.3 数据分析技术

结合全景可视化监控, 介绍异常分析、汇总分析、性能分析、关联分析四种方法。

1) 异常分析:异常分析的目的是找出采集数据中的异常数据。

2) 汇总分析:汇总分析是将所采集的告警、性能等指标数据进行简化、归类, 并整理成图表, 发现数据的内在规律。

3) 性能分析:性能分析是通过分析用户到服务器及服务器之间的数据交互过程, 计算出服务器及网络的响应时延, 从而定位性能问题。

4) 关联分析:关联分析是发现信息系统组件告警之间潜在的关联关系。

4 结束语

本文针对信息系统的运行监视, 提出了一种以业务系统为主线的信息系统全景可视化监控模型:通过对用户到服务器的数据通信过程进行分析, 提出了信息系统全景可视化监控视图, 并设计了视图关键展现指标, 研究了全景可视化监控的数据采集、视图展现及数据分析技术。企业可以参考该模型设计可视化的信息系统监控平台, 然而在系统设计中, 如何保证指标数据采集的及时性、准确性、完备性是需进一步研究的问题, 同时在对指标数据的分析中, 企业可以针对每一种数据分析技术研究并设计最适合的应用场景。

参考文献

[1]陈小潮, 朱峰.华东电网信息系统综合监控平台建设[J].电力信息化.2006, 4 (7) :42-45.

[2]马志程, 唐振营.一体化信息系统监管平台在甘肃电力的应用[J].电力信息化.2010, 8 (11) :43-46.

[3]丁一新, 黄讯, 蔡晶晶.基于ITM的集中监控平台建设[J].电力信息化.2012, 10 (3) :93-97.

[4]中国南方电网有限责任公司.Q/CSG118001-2012中国南方电网有限责任公司IT集中运行监控系统建设规范[S].广州:中国南方电网有限责任公司, 2012.

[5]李宏波, 徐轶军.信息运行可视化平台的设计与实现[J].电力信息化.2012, 10 (3) :103-106.

[6]肖家锴, 刘年国, 吴克良, 等.电力系统运维可视化平台的研究与设计[J].电力信息化.2012, 10 (11) :69-74.

[7]彭泽武, 李伟清, 林强, 等.电网企业信息系统运行方式模型研究[J].电力信息化.2013, 11 (6) :12-17.

[8]中国南方电网有限责任公司.南方电网公司信息化指标体系设计报告[R].广州:中国南方电网有限责任公司, 2012.

[9]顾春红, 于万钦.面向服务的企业应用架构—SOA架构特色与全息视角[M].北京:电子工业出版社, 2013.

全景虚拟演播室系统设计亮点 第7篇

新疆巴音郭楞电视台作为地州级电视台在全景虚拟演播室建设方面进行了大胆探索。该全景虚拟演播室系统运用一系列新技术, 如图形运动跟踪算法、虚拟背景渲染技术和摄像机跟踪技术等, 在提升虚拟演播室节目的三维实时视觉效果、符合虚拟演播室节目的制作实际、降低虚拟演播室设备的采购成本等诸多方面进行创新。无论在技术还是在操作实用性方面, 都可以称之为新一代虚拟演播室系统。

1全景虚拟演播室系统

巴音郭楞电视台使用的全景虚拟演播室是一款支持三机位同步切换、采用计算机图形跟踪系统与摄像机机电传感跟踪系统相结合、渲染系统根据场景虚拟摄像机轨迹或者采集摄像机平摇 (Pan) 、俯仰 (Tilt) 和变焦 (Zoom) 的参数, 实时生成与前景运动一致并经色键抠像合成以及添加字幕层输出的新一代创新型虚拟演播室系统, 系统结构见图1。

1.切换器:完成摄像机前景信号的切换工作, 受控于图形工作站串口信号;

2.同步信号分配器:完成外来同步信号的分配, 分别将同步信号分配给图形工作站、切换器以及预留给用户摄像机的三个同步信号输出口;

3.视频输入模块:将切换器输出的摄像机前景视频信号进行10bit广播级数字处理;

4.色键:运用领先的色键抠像算法, 将前景数据流进行实时的抠像处理并产生相应前景画面的键和填充数据信息;

5.活动视频采集模块:实时采集输入的活动视频信号, 并作10bit广播级数字处理, 以用于建立虚拟场景视频窗口;

6.音频采集延时模块:对演播室现场音频实时采集并作相应延时处理输出, 以保证虚拟演播室视音频信号音画同步。

2技术亮点

2.1独特的图形运动跟踪算法, 虚实结合完美的视界

对于传统的虚拟演播室设备, 可以任意创建虚拟场景空间, 但是由于真实摄像机运动空间 (演播室的物理空间) 的有限, 给观众呈现的始终只能是局限于蓝箱室内的狭小视觉效果。

图形运动跟踪算法在全景虚拟演播室的应用, 将这一切缺憾完全弥补。通过设置虚拟摄像机的运动轨迹关键帧, 自动计算真实摄像机画面中物体在虚拟空间的坐标。在虚拟摄像机沿预设轨迹运动过程中, 真实物件始终保持其位于虚拟空间的唯一位置, 而虚拟场景随着虚拟摄像机运动而景别不断变化, 从而实现各种航拍、摇臂、移动导轨等真实拍摄才能实现的效果。同时, 通过键遮挡技术, 实现自动遮挡功能, 从而将虚拟物件与真实物件的合理透视、景深关系完美体现。由于虚拟摄像机的运动轨迹是在虚拟空间任意设置的, 所以, 虚拟演播室的制作再也不受实际演播室空间的限制。

只要前景摄像机的取景画面合理, 运用图形运动跟踪算法实现虚拟摄像机运动过程中, 前景人物与虚拟场景同步联动、精准定位和合理的遮罩关系, 真实与虚拟空间结合得天衣无缝。通过图形运动跟踪算法, 真实摄像机拍摄的真实演员画面将始终面向虚拟摄像机镜头, 无论是设置环绕、俯冲等种种虚拟摄像机拍摄轨迹, 都将获得演员始终面向摄像机镜头的合理拍摄效果。

2.2机电传感与图形运动跟踪结合, 最大限度贴近应用需求

尽管在实现大范围的虚拟节目拍摄效果方面, 图形运动跟踪算法独具优势, 但在节目实际制作过程中, 摄像师需要对摄像机进行平摇、俯仰或者推拉镜头的动作, 由于没有在真实摄像机前端加装物理跟踪方式, 所以无法采集获知摄像机参数变化, 以便虚拟场景与真实前景同步运动。面对这一应用需求, 全景系统并没有改变用户的操作习惯, 采用放大或者移动摄像机人物画面的方法, 通过移动鼠标的方法实现镜头变化的效果, 继承和发展了机电传感跟踪方式, 在摄像机摇动、变焦以取景人物半身、特写的过程中, 传感系统采集其相应参数, 传递至渲染系统, 虚拟场景同步变化。采用机电传感与图形运动跟踪相结合的方式, 用户既可以运用前者, 满足通常虚拟节目的制作需求;又可以运用后者, 实现航拍、摇臂等飞行镜头, 用于节目的开场与收场, 将虚拟空间的广阔场景充分表达。

全景虚拟系统仍然保留了广角机位, 它通过广角机位的切换, 体现出主持人处于虚拟空间的效果来。例如图2所示, 机位一取的是主持人中景, 机位二取的是全景, 主持人和嘉宾都出现于虚拟演播室场景当中, 机位三取的是嘉宾中景, 通过这三个摄像机之间的切换, 就可以很好的体现出虚拟演播室的空间效果。

2.3灵活的多机位设计

全景虚拟演播室系统标配三通道摄像机切换器, 三个摄像机拍摄的不同景别前景对应相应广角虚拟场景, 同时, 这三路摄像机信号可以任意绑定任何一路应用图形跟踪算法的运动机位, 实现超出实际摄像机机位的灵活多机位切换效果, 极大丰富了虚拟演播室的创作手段。

2.4精彩的阴影、倒影色键处理效果

传统的色键只能控制抠像人物地面阴影的深浅, 如果由于蓝箱或灯光的因素, 造成摄像机拍摄的人物根本没有阴影, 则传统色键根本无技可施, 主持人与虚拟场景结合的真实度大为降低, 而若要实现演员地面倒影的效果, 对于虚拟演播室产品和节目创作来说, 更是可望而不可及。该系统利用创新的色键技术, 用户不仅可以任意增加主持人的阴影 (如图3) , 控制阴影的深浅, 而且还可以增加多个角度的阴影, 更可以增加演员的倒影, 与虚拟场景的反光地面相结合, 制作出远远胜出以往的精彩虚拟演播室节目。

2.5精美预渲染场景与灵活实时渲染场景元素完美融合

目前, 三维实时渲染技术取得很大发展, 在三维节目包装方面也越来越受到电视工作者的欢迎。但是, 在构建大型的虚拟演播室用的场景方面, 由于场景模型巨大, 仍然很难满足电视领域实时渲染的技术要求。所以, 很多采用实时渲染三维模型的虚拟演播室产品, 都对虚拟场景建模做了诸多限定, 包括场景三角形面数、纹理贴图大小、虚拟灯光数目等等, 而实际呈现在电视画面的虚拟场景效果却很难令人满意, 会出现场景暗淡、质感缺失、物件边缘呈锯齿状、场景仿真度低、摄像机机位切换出现黑场等各种问题, 而当需要摄像机动态拍摄的效果, 特别是快速的运动时, 此时对于渲染系统的性能要求更高, 整个虚拟场景就会出现抖动、画面撕裂, 甚至是场景物件丢失、黑场等现象。

全景虚拟演播室系统采用预渲染场景与实时渲染场景元素相结合的渲染模式。对于整个虚拟全场景, 采用预渲染方式, 对于场景建模、材质、灯光无任何限制, 可构建任何规模的场景。无论是机电传感跟踪还是图形运动跟踪的机位, 都采用预渲染方式, 虚拟场景精美细腻、光亮鲜活, 既可以应用机电传感跟踪方式实现摄像机的近景、特写拍摄, 又可以应用图形运动跟踪方式实现全景、恢宏的拍摄, 相得益彰。同时, 在场景内可添加各种实时渲染三维、二维场景元素, 场景元素完全遵循预渲染三维场景空间坐标定义, 满足各个机位视角的合理透视关系, 各种视频、图文、动画序列、粒子、三维模型 (地球、虚拟电视机/电视墙、统计柱状图和饼状图等) 可任意创建, 并实现对前景的遮挡功能。

2.6机械光电传感跟踪系统, 摄像机跟踪精确平稳

现代虚拟演播室系统, 精确的传感和快速的场景跟踪至关重要。全景虚拟演播系统采用高精度的机械光电传感器, 实时控制三维虚拟场景中的虚拟摄像机参数, 从而使三维虚拟场景随着真实摄像机的动作变化而改变。在快速的镜头推拉摇动过程中, 可以控制虚拟场景的快速同步变化, 同时保持场精确的平稳过渡, 不会出现人与背景错位的现象。

单位:P/360° (Pulses/360°)

该全景虚拟系统摄像机传感跟踪精度在水平、俯仰和推拉方向可以达到非常高的精度 (见表1) 。

万能镜头传感系统, 兼容所有摄像镜头, 无需任何机械改造。安装使用简单快捷, 系统状态一目了然。

2.7高质量的虚拟大屏幕

目前, 各种虚拟演播室或虚拟布景产品在虚拟大屏幕本身质量上面有很大的差别。虚拟演播室中的大屏幕是置于三维场景中的一个三维景物, 这个三维景物需要在每秒50场的条件下实时地将视频信号变成三维场景中的一个画面, 我们把它称之为实时纹理映射。在三维重建的过程当中, 从视觉平面上来讲, 三维物体在场景中占据了多少面积, 如果面积太大, 从三维平面映射来讲, 它可能就跟不上, 因此在虚拟演播室中的三维虚拟大屏幕的大小是有限制的。我们很好地解决了这个问题, 该系统能够确保在每秒50场的基础上让视频实时映射到三维场景当中去, 当虚拟背景被完全放大到大屏幕的时候, 即视觉画面完全被大屏幕占满的时候, 仍然可以得到一个非常好的视频画面效果。前提一定是保证每秒50场的变化, 因此大屏幕的画面质量是非常高的。

3结束语

相信通过各民族技术人员在实践中不断探索、创新, 虚拟演播室技术运用方面一定会出现更多的新构想、新方法使边疆少数民族地区广袤的土地、原生态的自然风光通过荧屏能够更好地展示给全国人民, 更好、更快地推动我们的技术和工作水平提高。

摘要：本文介绍新疆巴音郭楞电视台搭建的三机位多通道高标清数字三维全景虚拟演播室的几个技术亮点。在使用过程中通过软硬件结合的方式, 大大发挥了图形运动跟踪算法、虚拟背景渲染技术和摄像机跟踪技术优势, 弥补了硬件设备的不足, 特别适合地州电视台使用。

关键词：全景虚拟演播室系统,图形运动跟踪算法,渲染,精度

参考文献

[1]王永炫.虚拟演播室系统的选型参考[J].广播与电视技术, 2001, (3) :31-33.

[2]冯远淑, 陈福民.虚拟演播室系统跟踪的研究与实现[J].微型电脑应用2003, (5) :51-52.

电影频道传送信号全景监测系统 第8篇

关键词：信号监看,全景监测,报警归并,报警有效性

作为广电总局批复的四家全国性的节目集成平台之一, 电影频道节目集成平台承担着自办频道及为地方电视台付费频道集成传输的工作任务, 对安全播出有极高的要求。为了确保信号安全, 及时、快速发现故障、定位故障并进行应急处理尤为重要, 这就需要建设一套完善的监测系统。而电影频道原有的基于多画面和信道码流的传统监测手段的局限性日益明显:信号监测和传输链路结合不够紧密, 不利于报警定位;报警众多, 缺乏有效梳理, 大量的冗余报警给值班人员带来了很大的压力, 久而久之, 大家对报警的敏感性下降, 甚至不再关注报警信息。为此, 本着实用、易用、安全第一、功能可扩展的基本原则, 我们建设了新一代播出运行监测管理平台。本文即是对其中传送系统的信号监测管理部分的功能与设计方法进行论述, 希望能对类似的应用场景提供一些参考。

一系统现状

1. 传输链路特点

图1展示了电影频道自办流播出拓扑示意图, 其他几个传输流的播出拓扑图与之类似, 该传输链路的监测有以下几个鲜明的特点:

●种类不同的信号类型:信源基带信号采用SD-SDI和HD-SDI, 编码、复用、视分后的传输信号为ASI, 接收的卫星信号为QPSK, 每种不同的信号都需要纳入统一的监测系统;

●数额较大的监测点:为保证播出系统的可靠性, 电影频道播出机房采用主、备两套传送系统7×24小时并行运行。每条播出链路从信源到输出, 都经过了编码器、复用器、加扰器、切换器等众多环节, 为了能准确地定位故障点, 需要在传送系统各环节加入大量的监测点。大部分监测点都是码流信号, 每条码流包含多个频道节目。因此, 需要监测的数据非常多。

●数量庞大的报警:对于数字电视信号的监测, 一般从信道、码流和视音频内容三个层面进行监测, 信道层面一般包括信道失锁、信号电平过低等, 码流层面一般包括带宽、TR101290三级错误等, 视音频内容层面一般包括黑场、静帧、左右声道无声等。典型情况下, 传输流的中断会导致大量的报警, 监测系统需要能对这种类型的报警做出合理的处理;另一方面, 在多环节监测体系中, 如果故障点靠前, 则后级所有监测点都会报警, 即一个故障引起大量报警。

2. 传统监测方式

在此之前, 电影频道已经在播出系统输入、复用加扰后、卫星回传等主要环节, 设置了相应的监测点, 建设了配套的多画面监测系统和信道码流监测系统, 具备了一定的信号监测能力, 监测拓扑图如图2所示, 各类嵌入式的监测板卡将不同的信号统一IP化后送入交换机, 是整个系统建设的基础。

(1) 多画面监测系统

多画面监测系统, 主要是以画面的形式, 实时展示监测点的信号传输质量;基于视音频内容层面进行信号监测, 产生传输信号的视音频内容层面的原始报警, 在界面展示和入库查询;提供TS流的实时录像和故障触发录像等。

(2) 信道码流监测系统

信道码流监测系统, 依托ASI/QPSK嵌入式监测板卡对信号的分析结果, 如图2中“ASI/QPSK监测前端”所示, 主要从信道层面和码流层面对ASI/QPSK传输信号的质量进行监测, 产生传输信号的信道层面和码流层面的原始报警, 在界面展示和入库查询。

二全景监测系统

在现有的监测系统中, 由于信号类型的不同和监测主机负载能力有限, 每个多画面监测主机和信号码流监测主机均负责一部分信号的监测任务, 其在整个监测环节中呈点状分布, 不能构成一幅完整的信号全景监测链路图, 当监测点发生报警后, 值班员无法在第一时间准确判断该监测点所处的播出环节及可能造成的影响, 及时排错。

多画面监测系统和信道码流监测系统都是基于原始传输信号监测, 当信号发生故障时, 产生的均是原始传输信号相关的原始报警, 同时, 在多环节监测中, 一般前级监测点发生报警, 都会引起后级多个监测点发生故障, 每个监测点每条码流按照7套节目计算, 将造成几十个节目故障, 从而导致几十条甚至上百条报警信息。值班员会面对数量如此庞大的原始故障报警, 很难快速定位故障源及明确故障最终产生的后果。这不利于抽象出整个播出系统的整体运行状况。

电影频道传送信号全景监测系统的设想正是为解决上述问题提出的:首先, 依赖多画面监测系统和信道码流监测系统产生的原始报警及IP化的视音频信号, 以链路的方式将各个监测点串联起来, 形成一幅信号全景监测链路图;其次, 对多画面监测系统和信道码流监测系统产生的大量原始信号报警, 按照预配置的监测链路拓扑, 及预定义的报警归并规则进行合理有效地归并, 减少大量冗余报警信息, 极大提高报警的有效性。全景监测系统的整体监测拓扑如图3所示。

如图3所示, 全景监测系统的展现界面是整个传送系统的信号传输链路图, 在链路图的各个关键环节, 都配有此环节的视音频信号展示, 即将信号监测与系统链路图紧密结合, 一旦信号出问题, 大家可以立刻监看到故障影响范围和后果, 快速定位故障环节, 从而进行精准的应急处理, 便于快速排查故障。

1. 信号全景监测链路化

在全景监测系统中, 每个信号都采用信号所在的线号ID来标识, 设备ID采用系统预配置的GUID来标识, 监测点以GUID来标识, 并按照监测环节进行分类。按照节目流在播出系统中的拓扑图, 可以配置出相应监测点的链路模型图, 如图4所示为电影频道自办流监测链路模型图。

按照播出系统的环节, 我们将整个监测链路按照A、B、C、D、E五级来划分监测环节, 分别在各监测环节引入监测点。通过此图配置, 我们可以确定每个监测点所接入的信号, 该监测点的上级监测点和下级监测点, 从而形成一幅信号全景监测图。如表1所示, 为电影频道自办流通过监测拓扑配置后, 形成的各监测点前后级关系。该拓扑关系一方面可供链路展示, 另一方面为智能报警归并提供搜寻路径。

2. 报警智能化归并

所谓智能报警归并就是在一定时间内发生的多个独立的相互关联的原始报警, 根据某种预先设定的归并规则, 进行合并, 生成单条报警, 从而大大减少报警数量, 提高报警的有效性和可用性。

多画面监测系统和信道码流监测系统针对的是单一环节信号监测, 产生都是信号原始报警。面对大量的原始报警, 很难对系统的整体运行情况有较清楚地掌握, 报警效率低下。若能对原始报警按照报警等级、按照传输链路进行合理归并, 势必会提高监测效率。根据实践经验和一线值班人员的关注点以及习惯, 我们将报警归并分成以下三种:单一节点信号OID级归并, 多级信号链路级归并和码流级归并。

●OID级归并 (KPI级报警归并) :一个信号的报警OID包括视频丢失、静帧、黑场等。实际发生故障时, 往往是几乎在同一时间或非常短的时间内发出多个不同的OID原始报警, 但实际属于同一故障, 归并后只生成一条报警。如图5所示, 信号A在很短时间内报出视频黑场、视频丢失和左声道无声三个报警, 通过归并, 报警将始终只显示一条报警, 最后显示的归并后的报警信息是信号A视音频故障。

●链路级归并:要求对同一信号链路的所有监控节点进行分级, 按预先定义的归并规则, 将这一信号的多个报警进行归并, 生成尽量少的故障记录。我们知道, 业务系统链路信号的报警往往具有连带效应, 即一条信号或码流链路上某节点的报警, 会引起其下行链路上多个节点的报警, 这一系列有因果关系的故障其实是一次故障, 因此, 我们可以将信号链路按照前后级的位置进行分级, 如图4所示, 最末级E级为最高级, 第一级A级为最低级, 故障归并时以故障等级较高的故障对故障等级较低的故障进行归并, 只形成一条故障记录;具体说, 在整个监测系统环节中, 当多个监测点同时发生故障后, 我们可以按照拓扑路径, 找出最末级报警信号, 以最末级报警对上游所有环节进行归并, 以上称之为链路级归并。根据图4, 如某信号在A1节点静帧故障, 导致B1, B2, B3, B4, C1, C2, D1, D2, E1全部节点发生此信号静帧, 不做报警归并会生成10条报警记录, 如果进行报警归并后, 则只生成1条报警记录——此信号E1节点静帧, 值班人员立刻清晰的知道此次故障的最终影响后果, 从而采取相应的应对措施, 点开此条报警记录, 我们可以看到10条报警的原始记录。

●码流级归并:同一多节目码流中可能因为码流故障导致所有的节目均出现信号故障。若同时结合码流层的监测报警, 能够将此类故障进行归并, 自动生成“码流故障”记录。如, 某个节点D1发生故障, 整条码流中的所有节目 (7套节目) 全部黑屏, 此时可能生成几十条报警, 包括视音频的报警、码流层的报警等, 进行报警归并后只生成1条报警记录——D1节点码流故障, 点开此报警记录, 可以查看生成的几十条原始报警。码流归并大大减少了报警数量, 使得“繁而杂”的报警变得“少而精”, 使得工作人员在第一时间能关注关键信息, 提高处理的效率。

(1) 智能报警归并区间

由于各种类型的报警门限值不同, 发生报警的先后顺序也是不同的。例如在流断开的情况下, 可能会并发报出视频丢失, 音频丢失等较多的原始报警, 但是这些报警不是同时报出, 若我们采用实时故障归并, 将会产生大量存在相互联系的智能报警, 不能提高报警的有效性。因此, 我们需要设置一个智能报警的归并区间, 将区间内收集的所有原始报警, 一并进入到智能报警归并逻辑中去, 完成智能报警的归并。

(2) 智能报警的归并原理

a.KPI级报警归并

KPI级报警归并主要是以KPI的角度进行抽象, 通过对KPI发生的所有原始报警进行归并, 得出各KPI的总体报警情况, 形成信号全景点集报警。

对KPI报警的归并, 分为3个步骤进行:

第1步, 按KPI分类原始信号报警。对KPI所有原始报警进行分类, 分为视频内容层面监测报警和音频内容层面监测报警两大类, 例如, 视频丢失、黑场、静帧等归类为视频报警;音量过高、音量过低、静音等归类为音频报警。

第2步, 根据KPI原始报警归并智能报警描述。经过第一步的分类, 若分类中只存在音频报警, 取音频报警中报警级别最高的原始报警描述为智能报警描述;若分类中只存在视频报警, 取视频报警中报警级别最高的原始报警描述为智能报警描述;若分类中既存在视频报警也存在音频报警, 将智能报警描述设置为“视音频故障”。

第3步, 根据KPI原始报警终极状态归并智能报警状态。对KPI的所有原始报警终极状态取并集, 若存在任意原始报警状态为未恢复, 智能报警状态即为“报警”, 若所有原始报警状态均为恢复, 智能报警状态即为“恢复”。

b.链路级报警归并

链路级报警归并主要从KPI链路的角度进行抽象, 通过对KPI级智能报警进行链路搜索, 归并出KPI报警的链路路径及找出造成报警的关键KPI, 形成信号全景链路集报警。

在监测链路中, 我们从信号接收到中间环节到发送, 规定相应监测点的级别顺序为由低至高。根据KPI监测环节的由低至高顺序搜索, 找到KPI智能报警的最高环节, 将该环节确定为关键KPI。由此可得出该关键KPI从首次发生报警, 到报警末端的整个报警链路环节。

c.码流级报警归并

码流级报警归并主要以码流的角度进行抽象, 先对KPI智能报警进行码流并集归并, 后对码流报警进行链路级归并, 形成信号全景流集报警。

第一步, 搜索所有节点报警, 若存在某节点码流所有节目AV层面的KPI均报警, 记录该码流在此节点为“码流故障”, 否则不再进行码流级报警归并;

第二步, 根据监测环节由低至高顺序搜索“码流故障”, 按照链路级报警归并原则进行码流故障归并, 将多级节点的多个码流故障归并为一条码流故障。

(3) 智能报警的恢复

每条智能报警都详细记录了其归并的所有原始报警, 系统会维护一个智能报警记录池。每收到一条原始报警的相关恢复, 首先进入智能报警池, 对相应的原始报警进行恢复。若某条智能报警所包含的所有原始报警终极状态均变为恢复时, 该条智能报警恢复。

3. 设备与信号集中展示

在电影频道的播出设备大都提供了一套其运行状态的对外接口, 但不同的设备对外的接口形式不一样, 在通信方式上有串口、USB、网口等几种形式, 接口方式有分为指标报警主动向外推送和提供外部查询接口, 由外部主动查询两种方式, 在协议层面又存在大不同, 包括SNMP、WebService、UDP、TCP、HTTP等。

为了将电影频道的播出设备监测融合到全景监测系统中, 我们采取了一对多的适配器解决方案。首先针对不同厂商不同协议的设备进行二次开发, 由其提供的对外接口, 获取其能够对外提供的报警和指标, 解决了通信协议层面的不适配;接着将设备支持的报警类型和设备指标类型, 按照全景监测系统支持的协议格式进行映射转换;最后采集软件将采集到的信息统一按照全景检测系统所支持的HTTP方式上报至全景监测系统。

全景监测系统按照预配置的链路, 准确地将相应的设备报警和指标实时展示在链路对应环节中, 通过这种集中展示方式, 将信号监测与设备监测有机地结合起来, 大大提高监测的有效性。

三结束语