宁波数字电视存储系统（精选8篇）
宁波数字电视存储系统 第1篇
图书馆存储系统的主要功能是实现对加工后的元数据库、对象数据库的存储与管理。主要完成对内部制作的各种资源, 包括一次文献的数字化资源和二次文献资源进行存储与管理, 既是资源的入口 (资源加工完以后归入这个地方) , 又是资源的出口 (资源的服务与发布) 。该系统主要采用三级存储机制, 把利用率最高的资源放在速度最快的存储体中, 把利用率较低的资源放在第二级的存储体中, 把需要保存的资源放在第三级的存储介质中。主要解决面向海量数字资源的调度、备份、服务、存储、长期保存等问题。存储设备主要完成对数字资源信息的存放, 是信息存放的载体与介质。
按照, 目前图书馆已经产生了大量的数字资源的需要, 以及有关规范组织数字资源的需要, 为了尽快把这部分的资源向用户提供服务, 考虑采用在线、近线、离线三种方式。离线也考虑磁盘、磁带、光盘三种介质, 近线考虑采用带库、光盘库和廉价的SATA磁盘盘阵列三种介质。永久数字资源的保存载体目前是个挑战性的问题, 考虑到可修复性, 用带库是一个比较可行的方案, 因为磁带不会因为一个块坏了而不能读出, 并且可以利用磁带库的纠错和容错的能力, 进行一定的修复, 并自动复制一个磁带, 采用此种方式可以保证利用率最高的发布与服务数据的在线保存状态, 其他的服务的数据可以存放在近线状态。当数据满足一定条件以后, 可以逐步地把资源迁移到磁带库中以完成资源的备份和永久保存。采用此种方式的循环, 可以保证数字资源利用与保存在一个动态平衡的状态。
通过对数字图书馆馆藏数字资源的分析, 从资源类型角度分析, 数字资源可分为全文影像资源、流媒体资源、网络资源、传统业务系统资源及其它资源等;从功能角度分析, 又可将数字资源分为发布与服务数据、文献数字化加工产生的未提交的数据、数字资源加工产生的未正式提交的数据、实时产生的书目记录以及永久保存的稿纸质的数字化文件数据、数字资源加工后的数据、国内资源供应商保存的数据、互联网采集到的资源、购买的资源等。
下面根据数字图书馆各应用系统和各类资源的特征, 并结合数字资源生命周期规律和数字资源永久保存规划, 对数字图书馆存储资源进行统一规划管理。
1、存储规划原则
根据数字图书馆馆藏资源和应用特点, 按照数据生命周期的规律, 决定对资源采用集中分级存储的方式。通过分析, 可将数字资源分成5个层面进行存储, 即:服务层、生产层、恢复层、保护层和归档层。
服务层:
利用FC磁盘阵列对外提供关键应用服务, 并存储对性能要求高的关键应用数据和在线发布的热点数据;
生产层:
利用FC和SATA磁盘阵列对利用率较低的在线服务数据、在线生产数据 (如:文献数字化加工产生的未提交的数据、数字资源加工产生的未正式提交的数据、实时产生的书目记录等数据) 进行存储并完成对部分资源的临时缓冲存储 (如:数字资源加工后的数据、国内资源供应商保存的数据、互联网采集到的资源、购买的资源等数据) 。
恢复层:
通过FC和SATA磁盘阵列的镜像、快照等存储技术对数据特别是服务层的关键数据进行恢复管理, 以达到对数据的临时保存备份管理。
保护层:
利用D2D、D2D2T、LAN Free及Server Free等技术对在线数字资源进行备份和恢复;
归档层:
对满足永久保存要求的数字资源归档/备份到磁带库, 以达到资源永久保存的目的;
利用光盘库创建资源归档副本, 进行归档保存。
2、存储资源分配概述
结合各类存储资源的特点, 将其按功能划分如下:
资源发布服务区
资源临时存储区:
在线加工生产数据
部分资源的临时缓冲存储资源保存备份区
资源永久保存归档区
如图1所示, 在线存储区域分资源发布区、在线资源快速备份区和资源加工生产区三部分。其中资源发布区主要由FC磁盘阵列构成, 用于存储在线发布的数字资源和数字图书馆的一些在线应用服务, 为用户提供实时在线服务;在线加工生产区主要由SATA磁盘阵列构成, 用于存储加工的数字资源 (如:格式转换、文献数字化加工、数字资源加工等) , 待资源经封装、审核、校定稳定后转入资源发布区、资源备份区或永久保存区;在线资源快速备份区主要由FC磁盘阵列和STAT磁盘阵列构成, 主要为在线发布系统和重要应用系统的数据提供快速备份和恢复。近线、离线存储区主要由资源临时缓冲区、资源综合备份区和永久保存区构成。其中资源临时缓冲区主要由SATA磁盘阵列构成, 主要用于数据迁移、资源完整性核查等工作的临时缓冲存储, 待审核合格后转入在线或永久保存区;资源综合备份区主要由SATA磁盘阵列和磁带库构成, 主要用于重要应用系统的系统和数据备份, 主要依托于备份软件完成基于馆域网络和存储区域网络的备份;永久保存归档区主要由磁带库构成, 主要用于重要资源的永久保存。
通过以上的分析可以看出, 在存储策略上主要采用在线、近线、离线的三级存储方式。
(1) 本地在线存储主要有三个作用, 一个是对于数字资源发布与服务系统的在线存储数据提供发布和备份服务;另一个是对于已经验收的数据, 在数字资源组织与管理系统的控制下, 从数字资源发布与服务系统的临时存储区域传输到存储管理的在线发布区, 并进行磁带和光盘的写操作, 校验合格后, 保留一份在一级在线存储空间, 其余的进入近线与离线存储中。
(2) 本地近线存储的主要作用是把利用率较低的在线服务资源、在线生产资源、一时无法确认是否需要永久保存的数字资源等存放在二级近线存储上。
(3) 离线存储的主要作用是完成对符合长期保存级别的资源进行归档、备份保存。
主要采用磁盘、光盘、磁带三种介质进行保存。
总之, 数字图书馆正日益受到人们的重视和关爱, 其存储系统的合理建设和规划是信息系统和业务系统正常工作的保障。因此, 如何针对数字图书馆的特点, 从存储系统的理论出发, 完成对数字图书馆存储系统的合理使用和规划, 对今后数字图书馆的建设有着重要的意义。
参考文献
[1]徐文伯.建设中国数字图书馆意义重大.光明日报.2000.3.8
[2]徐丽秀, 陈斌.国家图书馆二期工程暨数字图书馆工程初步设计.2005
宁波数字电视存储系统 第2篇
摘要：网络化、数字化是目前广播、电视技术的主要发展方向。实现网络化、数字化有利于提高电视台的工作效率，规范采编制播工作流程，实现集中存储管理和资源共享。本文根据泸县广播电视台的实际情况，从存储网络设备选择、组网方案、建设中实际问题的处理等多方面，提出了适合我台实际的低成本存储网络改造建设方案。
关键词：带基 盘基 网络化 数字化 资源共享 RAID iSCSI IPSAN
引言
随着数字技术、多媒体和计算机技术的发展，新兴的非线性编辑方式以其绝对的优点逐步取代了前期的线性编辑，出现了以视频数据存储为核心的硬盘编辑、存储、播出系统，与传统的制作、播出方式相比，展现除了这种新技术具有的不可比拟的优点，既减少了节目编辑的磁鼓磨损，也没有了节目编辑中的磁带磨损，盘基的存储方式方便了节目的重复调用和编辑使用，给电视节目的制作和播出提供了巨大的方便，节目的保存成本也大幅降低。目前，县级的广播电台、电视台合并为广播电视台，随着广播电视台栏目的增多，节目资源和素材也在不断的膨胀。网络化、数字化是目前广播、电视技术的主要发展方向。打破信息孤岛实现电视台、电台节目资源的共享，有利于提高电视台的工作效率，规范采编制播工作流程，实现集中存储管理和资源共享。为适应广播电视事业的不断发展，根据我台的特点、工作流程和工作机制来设计组建网络。
一、设计思路
目前，我台主要以DVCPRO25和DVCAM的设备为主，播出节目素材也逐步由以前的VCD变化为DVD素材，对存储、传输、播出的要求也进一步
对网络概念上的认识，与以前使用和了解的以太网相同。千兆位以太网支持新的交换机之间或交换机与工作站之间全双工的连接模式，同时也支持半双工连接模式。使用光缆传输数据可以具有更高的带宽和更远的传输距离，但建设成本高，因此采用六类布线的方式建设一个千兆电缆局域网更适合我台的实际。
2、硬盘阵列存储解决方案的选择
硬盘阵列是视频网络系统中非常重要的一个环节，硬盘阵列的容量、速度、稳定性往往决定整个网络的性能。目前的存储解决方案主要为：直连式存储（DAS）、存储区域网络（SAN）、网络接入存储（NAS）。
另外一种融合NAS与SAN的存储解决方案，即所谓的iSCSI或IPSAN，iSCSI协议的应用带来了更高的I/O性能，并可以实现对存储设备的数据块级的共享访问。它和NAS一样通过IP网络来传输数据，但在数据存取方式上，则采用与NAS不同的，而与FC-SAN相同的协议，这样理论上IP-SAN能达到FC-SAN相近的性能。存储采用TCP/IP网络进行数据交换，TCP/IP是IT业界的标准协议，不同厂商的产品（服务器、交换机、NAS存储）只要满足协议标准就能够实现互连互通，无兼容性的要求；利用现有的IP网络搭建极其简单，且无须对管理人员进行深入培训即可掌握存储网络的管理,具有很更高的性价比。
3、RAID的工作模式选择
RAID(独立冗余磁盘阵列)是一种由多块廉价磁盘构成的冗余阵列，在操作系统下是作为一个独立的大型存储设备出现。RAID可以充分发挥出多块硬盘的优势，可以提升硬盘速度，增大容量，提供容错功能够确保数据安全性，易于管理的优点，在某些RAID工作模式下任何一块硬盘出现问题的情况下都可以继续工作，不会受到损坏硬盘的影响。
RAID 0模式将数据分成许多小块，然后并行地将它们写到磁盘阵列中的各个硬盘上，并且磁盘阵列中存储空间没有冗余。虽然提供了最高的性能和最有效的可用容量，但是它降低了数据可靠性。RAID 1模式至少需要
为600G，用作电台的节目库数据盘，并用1块硬盘加入阵列中做热备份盘。（见图一）
database1电视剧、外购栏目等映射到T168为本地盘Windows2000server系统盘database3共享存储区database3虚拟盘电台节目库database2自班节目、本台广告等WS100-R16存储系统节目库图-1联想T168服务器管理服务器将蓝色海域WS100-R16存储系统作RAIA6初始化后，创建一个LUN做iSCSI盘，命名为database3，容量为1T，作为编辑网络和电台资料的共享、中转盘，为电视素材的采集、资料存储保留足够的空间。将剩下的空间创建两个NAS区，命名为database1、database2，其中database1主要用于电视剧、外来栏目等的存储，选择CIFS协议支持。Database2主要用于我台自办节目、广告节目的存储，选择CIFS、FTP协议支持。
为方便使用，将iSCSI盘映射在T168上作为该服务器的本地磁盘并共享使用，在该盘上建立软件工具、刻录资料、重要素材、临时素材等文件夹，共享后三个网络的计算机均可访问本盘实现资料的共享和交换。
电台使用联想T168服务器的500G空间，电台音频资料采用SQL 2000数据库管理，使用默认共享。根据电台音频数据量的大小估算，完全满足电台的空间需求。并可以在该服务器上安装部分管理、应用软件工具。
2、网络结构
网络是整个系统的纽带，它要保证信息采集、节目编排、节目控制、节目播出、节目交换、资源共享等功能。对节目制播网络，其数据的传输主要是文件的交换、编辑和文件打包过程中的素材共享。为确保网络和播出安全，将网络划分为三个子物理网络，将IP地址设置在不同的网段，使用独立的交换机连接，既从物理上将网络隔离开来，保证各个子网的数据安全，也减少子网的计算机数量，提高网络的访问速度，保证素材共享的快捷，也将交换机故障影响范围减至最小。（如图2）
并且采用交换机的MAC地址绑定功能将IP与MAC地址绑定，未经过绑定的IP网卡将不能与交换机通讯，从而杜绝了外来的计算机非法进入网络，有效地防止了病毒的感染和资料的外泄。蓝色海域WS100-R16存储系统为嵌入式UNIX操作系统，联想T168服务器为Windows2000 server操作系统,并将数据库软件SQL SERVER2000、网络管理等软件安装在联想T168服务器。同时，修改所计算机注册表下 Parameters中的键值，将T168服务器注册表键“IsDomainMaster”的值改为“True”。这样，这台电脑就会成为一个主浏览器。将其它的工作站注册表键“MaintainServerList”的值为“No”，代表这台电脑将不会成为浏览提供者，同时Computer Browser服务也将无法启动。
3、编辑制作网络
近年来，由于我台制作专题片的数量越来越多，制作节目采集的的素材也越来越多，加上很多常用的历史素材，使编辑工作站的硬盘空间突显不足，存储系统建成后，编辑网通过映射在T168服务器上的iSCSI盘共享后实现素材的存储，解决素材的存储问题，也将该盘作为三个子网间的资料迁移中介。以前，我台制作人员经常直接通过网络生成节目到播出机，这样既长时间占用网络，也经常出现因网络瞬时故障导致节目生成失败。同时，采用这样的方式也会加大编辑工作站的负担。因此，将Database2(自办节目盘)开通FTP功能，自办节目的成品、广告节目等通过FTP方式上传到指定文件夹。采用FTP工具上载节目方式传后，制作人员只能将节目打包生成后，再通过FTP工具传输到节目库的指定文件夹，由于FTP工具支持断点续传，实践证明，采用这样的方法后，节目从生成到上载至节目库的时间、可靠性都得到了很大的提高。
4、电台录编播网络
音频录编播系统完成电台的稿件调用、录音、编辑、播出。实现音频数字化录制、编辑与合成。该网络采用联想的本地RAID5盘阵作为数据库节目盘，空间为500G，在T168服务器上安装管理、应用软件，采用默认共享，电台制播系统选用杭州联汇的LINK2000制播软件，该软件产品成熟，从节目录制、编辑、编表、播出、审片完全是基于数据库管理的方式。支持定时、不定时、定长、不定长播出方式。自动报时，报时广告由用户设定。由主播站通过R232控制接口对播出切换器进行自动切换控制，实现自动转播中央、省电台的新闻节目。
5、硬盘播出网络
谈数字图书馆存储系统管理策略 第3篇
一、存储系统架构
存储系统架构首先要具有开放性、可共享性、灵活性和可扩展性特点, 其次数据存储方式要有可靠性、安全性, 在数据管理方面要考虑容量、配置、性能及可用性等因素。因此, 数字图书馆要根据实际情况, 设计相应的存储系统架构, 以适应数字图书馆不断增长的存储需求, 在考虑了存储数据查询频度的需求后, 将存储数据按照近、中、远三个阶段进行规划与管理, 将时间近、访问频的数据存储在磁盘阵列中, 提供高速的访问响应, 将访问少、时间远的数据存储在低成本、大容量、容易扩展的设备中, 在确保合理响应速度的前提下, 尽量降低存储系统的成本。
二、数据的存储与管理
1、数据存储
数据的重要性、访问频率等因素决定数据是有生命周期的, 一般生命周期可分为创建、保护、存取、访问、归档、回收等六个阶段, 数据的生命周期确定它的价值级别, 数据价值级别会随着时间的流失而降低。因此, 先对数据进行分类、划分价值级别, 再依照数据价值级别而设定数据的存储级别, 以实现存储资源的最优化分配。分级存储就是按数据的级别进行存储的, 分级存储指根据数据的访问频次、可用性、重要性和存储成本等指标, 把数据分别存放在相应的存储设备上。在分级存储系统中, 存储分为在线、近线、离线三个级别, 且三个级别的存储价格相差较大, 用户访问三种不同状态的数据时, 访问速度也快慢不同。当用户访问在线存储状态的数据时, 数据有随时读取、修改的特点, 数据存、取速度最快, 能很好满足前端应用服务器或数据库对数据访问的速度要求, 但存储价格相对是最高;当用户访问近线存储的数据时, 数据处于离线状态, 数据是存储在磁盘阵列、光盘等上面, 此时访问的时速度较慢, 但这近线存储价格相对较低。一般离线存储主要是对在线存储和离线存储的数据做备份, 往往用于恢复在线和离线数据, 价格相对是最低的, 访问速度也是最慢的。数据采用分级存储的好处是, 数字图书馆由本馆的情况考虑, 在三个级别存储设备的购置上可做到有的放矢。
2、数据管理
一般采用分级存储管理。分级存储管理是将离线存储、近线存储和在线存储融为一体的技术。其原理是利用数据访问具有局部性, 把用户不常访问的数据按一定的策略, 自动迁移到存储层次中较低的层次, 释放出较高成本的存储空间给更频繁访问的数据, 从而加快到整个系统的性能, 提升存储系统总体访问速度。对存储系统实行分级存储管理, 一旦合符某个策略的数据价值级别发生变化, 立刻触发数据的迁移, 数据将自动转移到合适的存储级别的存储设备上。如何更好地辅助数据管理, 数字图书馆要根据实际情况, 制定不同的存储策略对数据存储系统和服务器提出相应的要求, 以实现对访问频度较高的数据存放在性能极高的大型磁盘阵列上。
3、数据的安全性
从数据的安全方面考虑, 在袭击等级保护方面, 推荐使用RAID5, 它是安全性较高的袭击等级, COVENTIVE磁盘阵列的配置信息是可存放在硬盘上的, 如果控制器一旦出现问题, 可更换新的控制器, 而且也不会造成数据丢失, 不会影响硬盘上的数据, 当一块硬盘遭袭击时, 在更换完新的硬盘后, 配置信息会自动复制在新更换的硬盘上, 确保了数据的完整性和安全性, COVENTIVE磁盘阵列还可根据用户的需求, 提供多个全局热备份磁盘如果阵列中的任一块磁盘出问题, 全局热备份磁盘都会马上工作, 从而达到保护数据的目的。
4、对现有存储资源的挖掘
数字图书馆要最大幅度地提高数据的存储率, 可采用数据压缩技术和重复数据删除技术。
对数据进行压缩目的是在现有存储系统条件限制下最大限度地满足工作的要求。数据压缩就是对数据进行挤压, 让它占用更少的磁盘存储空间, 使传输时间更短。由于数字图书馆的图书资料文件间存在大量的相似性关系, 利用压缩技术对文件内和文件间的数据进行比较, 删除文件内、文件间冗余的数据, 达到数据压缩的目的。
消重技术可提高空间利用率。数字图书馆的数据在存储过程中有大量的备份数据, 而有的数据是经过多次备份后产生重复数据, 消重技术可删除在备份过程重复备份的时间数据和空间数据。一般电子书籍产生的数据具有变率较低、完备备份、长期保存、内容可以感知等特点, 适合采用时间数据消重。一般进行定期数据消重, 用开源消重软件进行数据定长块消重。
5、虚拟存储技术的运用
存储虚拟化就是在物理存储的基础上, 建立起抽象的逻辑存储系统, 也就是把多个存储设备, 统一成一个逻辑设备系统, 对数据进行存取、管理, 实现这个方式在逻辑上就叫存储虚拟化。也就是把多个存储介质模块通过一定的手段集中管理起来, 所有的存储模块在一组成个存储池来进行统一的管理。在虚拟存储环境下, 系统的管理人员不必关注后台存储, 只需关注管理存储空间, 所有的存储管理操作 (如系统建立、升级、虚拟磁盘的分配、RAID级别的改变、存储空间的扩充等) 都轻松简单。
三、加大培训管理人员的力度
要实现上述的存储管理, 技术人员是关键因素, 数字图书馆对技术员的培训是必不可少的。因为存储管理员要承担检查存储子系统的状态, 保证系统的稳定运行, 对出现问题的部件要进行更换, 要制定监控脚本与动作脚本, 要管理用户, 要分配存储空间和确保数据的正常备份等。从存储管理员的职责可知, 一支技术过硬的存储管理员队伍, 能切实提高数字图书馆的工作效率, 也能大幅地提高存储系统的管理水平, 这样才能节省数字图书馆的维护费用和人力资本。因些, 加大存储管理员的培训力度是非常必要的。
摘要：数字图书馆是数字资源的存储中心, 存储系统是数字图书馆信息化的主要组成部份, 如何提高数字图书馆存储系统的存储能力, 相对降低数字图书馆的存储成本, 提高数字图书馆运行效率, 可从存储系统架构、数据存储及管理、技术人员培训等因素着手, 并提出相应策略。
关键词：数字图书馆,存储系统,管理,策略
参考文献
[1]邢笠.浙江万里学院学报, 2006年3月.
[2]陈少春, 冯凯平.计算机与现代化, 2013年第3期.
电视节目小型存储系统的设计与开发 第4篇
相比传统磁带存储方式,硬盘存储的优势有:占用空间小,保存时间长,成本低,可以建立数据库方便检索。当然,硬盘存储也有劣势,硬盘自身具有机械结构,使用磁头在高速旋转的磁盘上扫描来读取和纪录数据,使用中有一定几率会出现故障。同时,将所有的素材集中存储在一块硬盘上,一旦出现故障,数据将全部丢失。不过随着科技的发展,硬盘本身的稳定性提高,再加上磁盘阵列技术的使用,多方面提高了硬盘存储的可靠性。
1 系统组成
本文介绍的节目存储系统综合考虑了台实际情况和需求,在降低节目存储成本的同时也兼顾了安全性和易用性.
系统分为两部分,一部分为存储服务器,节目文件、数据库、软件服务器端都在该服务器上,另一部分为客户端,在节目制作机房非编电脑上安装客户端软件,中间通过网络连接。
存储服务器采用标准机架服务器,使用4块4TB容量的SAS热插拔硬盘组成磁盘阵列,本系统采用的阵列方式为RAID 1。RAID 1技术通过磁盘数据镜像实现数据冗余,在成对的独立磁盘上产生互为备份的数据,当一个硬盘失效时,系统可自动切换到镜像硬盘上。同时,由于使用了SAS热插拔硬盘,可在不关机情况下完成硬盘更换,保障数据安全。由于使用了RAID 1镜像方式,系统总容量为8TB,按照本台新闻节目15分钟,MPG格式,码率8Mbps计算,1集节目约1G大小,总共约可以存储8000集节目。
系统软件部分采用C/S客户端与服务器结构,客户端负责提供人机交互的操作显示界面;服务器端则负责接收客户端请求,操作数据库及存储数据。采用这种结构,可以将存储服务器放在目前已有的制作服务器机房里,可以为存储服务器提供不间断电源和24小时恒温恒湿环境,并可以防止工作人员直接操作服务器,最大程度保障数据安全。
2 数据库设计
2.1 开发和运行环境选择
由于节目信息数据量相对不大,仅采用office组件中的access作为数据库。前端采用图形化编程语言lab view开发用户界面,使用lab view中的labSQL组件通过ODBC (开放数据库互连)与数据库连接进行各种数据库操作。客户端与服务器端软件在Windows XP、Win7下均可安装使用。
2.2 数据库需求分析
数据库需要实现的功能有:与存储在服务器端的节目文件一一绑定,纪录节目信息;具备查询功能,能够通过关键字和时间等快速查找到需要的节目。因此,根据本台节目内容,设计了合适的数据表结构。
以新闻为例,每条新闻共分为10条左右小内容,每条内容均有地点人物事件等关键词,所以可在数据表中设置以下项:节目名称;日期;内容1及时长;内容2及时长……
这样每条新闻的内容均在数据库中进行了较为详细的纪录。
3 系统设计
3.1 将节目信息写入到数据库
通过调用ActiveX中的Windows media player控件,可以打开并播放视频文件。在视频播放时记录下新闻标题内容和播放位置,全部记录完毕后将文件导入到存储服务器中,在此过程中节目信息也一并写入到数据库中。
3.2 数据库查询
新闻的六要素分别为时间、地点、人物、事件的起因、经过、结果。数据库的查询也可按照这样来设计,在客户端查询页面提供三个关键字和时间的组合选项,可以选择多种组合查询方式,快速查找到需要的节目文件。在数据库中查找到后,双击节目文件名,在客户端视频播放器中播出视频文件。点击查询结果中的节目信息,可以自动跳转到相应的播放位置,确定是需要的节目文件,选择导出文件到指定位置,整个查询结束。
4 结语
硬盘存储电视节目的技术越来越成熟,而且也有一些行业内厂家推出了功能强大的媒资系统,数字化存储电视节目已经成为行业趋势。本文介绍的存储系统成本低,使用了磁盘阵列技术保障了数据安全,对节目文件信息建立了数据库方便节目的查询。如果需要对节目进行简单的存储与查询,本文所介绍的存储系统不失为一种经济方便的解决方案。
摘要：当前,一些电视台仍然使用传统的磁带存储方式,本文介绍了使用计算机存储电视节目的优缺点,并阐述了数据库技术在电视节目存储中的应用。
宁波电视台大楼门禁系统的设计 第5篇
电视台大楼内房门、人员众多, 人员开门权限复杂特别是演播室大门, 如果靠配钥匙来解决就很复杂并且容易丢失。所以配合台内的一卡通系统, 我台采用了门禁系统解决了权限分配问题, 并且能够记录出入所有门的详细信息, 一举多得方便了日常的管理。
1系统的组成
本门禁系统分为软件部分和硬件部分。软件部分又分为数据库、管理系统和控制系统。
1. 硬件部分
门禁系统常用设备:控制器、读卡器、电控锁、门磁、出门按钮、专用开关电源。
控制器:主要负责接收读卡器传来的信号, 并与所储存信息比较后, 进行开关门动作。
读卡器:负责获取信号, 并将信号传输给控制器。
协议转换器:当使用WG信号格式输出的读卡器时, 通过协议转换器将WG转换成485信号,
电控锁:锁住门体, 除非断电或送电, 否则正常运作情形下不应自动开门。
门磁:负责辨别门开关状态, 并将此状态传输给控制器。
开关电源:将220V市电转门禁设备可用的直流电源。
结构图如下。
2.软件部分
本系统数据库采用SQL2000, 数据库服务器是HP525 (经多年使用验证稳定可靠) 。门禁系统是在windows98/2000平台下开发的, 采用delphi编制而成, 软件界面全windows风格, 操作简单、易学;系统采用485通讯方式, 门禁控制器与读卡器的最远通讯距离可达1200m, 最大容量可管理255*16*4个门。门禁控制器与服务器之间通过232/485通讯转换器连接, 所有读卡器信息通过转换器连接至数据库服务器, 所有的刷卡信息可通过软件实时监控。
管理系统主要完成人员权限管理、门区设置、告警设置、实时监控及历史数据查询能功能。控制系统则是连通硬件系统和软件系统的桥梁负责数据转换。
2系统的功能介绍
1.系统采用多层次模块化结构, 是由分散的智能控制器组成, 采用现场控制器。所有分布式控制器在同一数据总线上自主工作, 当一台控制器发生故障时, 不会殃及整个系统。
系统设计充分体现了集中管理、分布控制的设计思想, 减少了风险, 增加了可靠度。系统基于社区的概念设计, 整个控制系统可容纳255个4路控制器, 完全可以满足门禁点及其它控制点的数量要求。
2.当系统中心和控制器通讯因为故障中断时, 各点的控制器可以独立工作, 只需要保证读卡器与控制器之间通讯正常。控制器内可以存储4000条的记录, 当系统接通后, 信息会以自动或手动方式上传至数据库。但如果系统通讯中断时间过长或短时间内信息量过大, 则可能出现部分信息被覆盖的情况。
3.用户群组分类。按用户权限, 系统将用户归类到不同群组, 不同群组分别对应不同的管制时段, 比如工作日通行, 节假日禁止等。同时不同群组可配置不同的通行方式, 比如刷卡, 密码, 或者刷卡加密码。
4.实时监控功能。管理人员可以通过监控界面实时查看每个门区人员的进出情况、每个门区的状态, 包括门的开关, 各种非正常状态报警等。同时, 也可以在发生突发事件时, 通过对大门的开关调节实现对事件的初步控制。
5.记录存贮功能。所有刷卡信息均存储于数据库, 便于在日后有需求时查询。
6.高度自检功能。系统具有实时自检功能, 系统中的典型故障, 中央工作站均以声音信号和文字告警提示, 便于监控人员及时排除。
3在本台的实际应用
1.系统的可扩展性及合理性
由于大楼楼层众多, 并且还有裙楼、附楼, 因此控制器的位置选择就显得十分重要, 关系到系统的可扩展性以及系统的成本特别是布线的成本。控制器有二门控制器和四门控制器两种, 一般楼层只安装两道门禁都采用2门控制器。而裙楼和附楼因为每个楼层房间众多就采用集中安装控制器的办法, 位置就选择在一间有楼层间通道的房间方便各楼层的线路到达并且节省了线缆。这样如果需要扩展的话只需增加控制器或者将二门控制器更换成四门控制器就可以, 换下的二门控制器则可以作为备份。
2. 结合自身特点的功能
本台的门禁是采用进门刷卡出门用出门按钮的方式, 而有些特别的地方比如单人办公室、会议室则另外增加了断电按钮, 当房间内长时间有人的时候如有人敲门这种情况就不需要房间内人员去开门;另外考虑到应急情况在每个控制器群的供电线路上设置了断电开关, 断电则相应控制器下房门全开。考虑到安全方面这个断电开关放置在24小时值班的监控室内。
宁波数字电视存储系统 第6篇
随着传统电视播出系统被硬盘化、数字化、文件化以及网络化的播出系统取代, 我们为了保证播出质量和播出安全, 通常播出系统会配置二级缓存系统。随着存储技术和以太网技术的发展, 各地电视台在考虑二级缓存系统的存储架构上, 陆续从光纤SAN架构向单网以太NAS架构转变。下文针对二级存储NAS存储架构的设计与规划进行系列探讨与规划。
1 NAS存储主要技术
存储系统是整个IT系统的基石, 是IT技术赖以存在和发挥效能的基础平台。
早先的存储形式是存储设备 (通常是磁盘) 与应用服务器其他硬件直接安装于同一个机箱之内, 并且该存储设备是给本台应用服务器独占使用的。后来一种希望将磁盘从服务器中脱离出来, 集中到一起管理的需求出现了。面对这样的需求, 有厂商提出了SCSI协议, 通过专用的线缆将服务器的总线和存储设备连接起来, 通过专门的SCSI指令来实现数据的存储。后来发展到FC协议。这样, 多个服务器可以通过SCSI线缆或光纤建立与存储系统的连接。这种方式我们称之为直连式存储 (DAS) 。存储设备相互连接且与服务器相连的网络称之为存储区域网络 (SAN) 。为了将各种不同、分布也不同的数据整合在一起集中化管理, 产生了网络连接式存储 (NAS) 以便于提供数据的共享服务。
NAS是一种文件共享服务。拥有自己的文件系统, 通过网络文件系统 (NFS) 或通用因特网文件系统 (CIFS) 对外提供文件访问服务。
NAS包括存储器件 (例如硬盘驱动器阵列、CD或DVD驱动器、磁带驱动器或可移动的存储介质) 和专用服务器。专用服务器上装有专门的操作系统, 通常是简化的Unix/Linux操作系统, 它为文件系统管理和访问做了专门的优化。专用服务器利用NFS或CIFS, 充当远程文件服务器, 对外提供文件级的访问。
NAS的优点如下:
1.NAS可以即插即用, 适用于那些需要通过网络将文件数据传送到多台客户机上的用户;
2.NAS通过TCP/IP网络连接到应用服务器, 因此可以基于已有的企业网络方便连接;
3.NAS设备易于部署, 可以使NAS主机、客户机和其他设备广泛分布在企业网络环境, NAS可以提供可靠的文件级数据整合;
4.专用的操作系统支持不同的文件系统, 提供不同操作系统的文件共享;
5.经过优化的文件系统提高了文件的访问效率, 也支持相应的网络协议。即使应用服务器不再工作了, 仍然可以读出数据。
2硬盘播出二级存储系统技术需求
如今, 电视台大多已采用硬盘播出系统, 播出安全性的保障是每个播出系统在设计时最需要解决的关键问题。基于硬盘的播出系统, 硬盘存储作为最关键、使用最为频繁的播出节目源, 首先要充分考虑播出服务器的播出安全、上载节目的正确、节目素材的存储安全、素材迁移的安全等等;其次视音频系统的安全与备份也要充分考虑;最后还要求软件系统具备完善的安全机制与报警措施。
二级存储的作用及优势主要体现在以下几个方面:
1.作为大容量的磁盘阵列, 二级存储可以根据需要设计存储时间长达几个月, 满足大容量素材的存储、再利用, 省掉了相同素材重播时反复上载的工作量;
2.素材在二级存储和播出服务器之间的迁移速度要远远大于1:1的上载速度, 满足应急播出和临时更换节目的需要;
3.指定迁移策略, 使素材的迁移过程在系统空闲时执行, 不会占用播出系统的网络资源, 保证网络的稳定安全性;
4.真正做到素材向主备播出服务器的同时传输, 摒弃了服务器上载时由主到备的拷贝过程;
5.为其他业务网络开通了一个文件化传输的平台, 实现素材的交换和共享, 同时也将播出服务器和其他网络分离开来, 不会对硬盘播出有任何威胁;
6.网络连接对设备的物理位置没有任何要求, 可以在任何地方进行素材的上载传输;
7.相对服务器的本地存储有较低的成本。
本章主要分析NAS二级存储的技术需求。
2.1统一的存储设备硬件架构
播出二级存储需要极高的安全性、稳定性, 因此NAS存储的架构必须模块化设计、高集成度, 建议是一体化存储。
播出二级NAS存储设备的文件系统、操作系统均需集成于控制器内, 实现真正的一体化NAS, 无单点故障。所有NAS设备均采用统一的存储操作系统, 简单、稳定。而其他有些NAS存储需通过硬件组合方式实现, 即盘阵加NAS网关架构, 存在多个操作系统, 增加了系统的复杂度, 降低了系统的可靠性及性能。
集群式NAS存储是通过X86架构的盘箱, 通过元数据服务器来提供文件系统服务, 增加了系统的复杂度, 降低了系统的可靠性及性能。
2.2断电保护
播出二级一体化NAS存储, 其文件系统任何时刻均需处于一致性的状态, 即使遇到非正常断电或不正常关机后, 也不需执行硬盘检查, 即可在复电后2分钟内迅速提供服务。
而PC架构集群NAS存储只支持DRAM内存, 没有对缓存进行带电保护, 一旦发生异常断电时, 对于正在写入的数据, 会出现脏数据 (Dirty) , 严重时可能会导致整个文件系统崩溃数据丢失。
2.3易操作性和维护性
播出二级NAS存储处理系统日常工作中会流通大量数据, 为确保维护人员及时快速的处理故障, 存储必须具备极高的易操作性和维护性。其存储系统的所有操作 (划分卷、配置RAID、添加硬盘等) 、管理、维护 (生成日志、分析故障等) 都必须通过唯一的图形化操作界面进行设置;平台搭建简单, 只需将控制器与盘箱、交换机连接即可, 无需配置额外的服务器, 只需几分钟即可配置完毕。
2.4负载均衡和故障切换保护
播出二级NAS存储, 其系统控制器需同时实现负载均衡和故障切换保护, 并且每个控制器没有有效容量的限制, 可以完全支持后端磁盘能提供的最大有效空间。两个控制器可以远距离配置, 同时保持两个控制器之间的负载均衡和故障切换的功能, 在传统双控制器配置的基础上进一步提升了系统的可靠性和可访问性。
2.5双校验技术
播出系统是电视台安全级别最高的系统, 需要更高的数据安全性。传统的单一奇偶校验RAID技术, 只能为单个故障磁盘驱动器提供保护。需要注意的是, 在重建故障磁盘时必须确保不能发生其他磁盘故障, 而且不能在读操作过程中出现不可修复的误码。在引入双校验技术后, 保证了同一RAID中有2块校验盘可以同时发生故障, 大大提升了安全性。
2.6能在线增长、缩小的文件系统
播出二级存储系统随着业务的改变需要对原有的文件系统进行扩容或者其他调整, 不需其它软件的协助, 就可直接实时动态线上扩增文件系统容量且立刻能使用新增加的容量。每次可只增加一块硬盘或多块硬盘的方式来扩增, 完全不需要停机, 也不需要等待时间。另外也可在不扩增容量的前提下, 动态线上提高文件数量的上限, 完全不需要停机, 也不需要等待时间, 也不影响系统运作效率。
3播出二级存储系统架构设计
播出二级存储系统因其对安全性要求的特殊性, 在设计时需要充分考虑高可用性, 除了NAS存储本身配置双控制器同时提供服务外, 还要考虑整个设备故障时的可用性, 因此在存储系统设计时通常采用双套存储来提升系统的安全性。通常根据不同的应用场景或者要求, 或选择2台一模一样的存储设备, 做双存储镜像模式;或选择2台高低配置的存储设备, 做主备存储使用。
3.1双存储全镜像模式
图1为播出双存储镜像模式示意图。
如图1所示, 两套二级存储均采用同一品牌、同一型号的NAS存储, 两套存储完全相同, 当其中一套存储发生故障时, 另一套存储可以完全接管所有业务, 业务不中断, 无单馈点。接入、维护方便, 合理利用资源, 安全级别高。
1.正常工作模式
正常工作时, 二级存储A承担部分业务系统的上载、迁移、审核等工作 (按照频道来区分业务) , 二级存储B承担另一部分业务工作。两套二级存储通过存储间同步功能进行数据同步, 保证内容的一致性, 两套存储互为对方的备份, 同时进行了资源分流。
2.存储故障工作模式
当其中一套存储发生故障后, 修改应用配置, 将所有存储设置指向另一存储路径, 无缝接管所有业务, 正在执行的业务不会发生中断, 保证业务的连续性不受影响。
3.故障恢复工作模式
当存储故障修复后, 将原有存储配置恢复, 并将正使用存储上的数据同步到原来的存储上去。因为两套存储配置完全一致, 互为镜像, 无需再进行切换, 应用无需二次中断。
3.2主备存储高低配置模式
主备二级存储均采用同一品牌但不同型号的高、低两种类型的NAS存储。其中配置较高的存储体突出带宽性能, 在满足日常工作需求的基础上保持一定的冗余性能;配置较低的存储体作为备份, 突出存储容量扩充的余量, 无单馈点, 接入方便, 系统稳定高效的同时, 性价比高。
1.正常工作模式
正常工作时, 高配置的主存储承担所有业务系统的上载、迁移、审核等工作, 低配置的备存储承作为备份使用。主备存储通过存储间同步功能进行数据同步, 保证主备存储上内容的一致性。
2.主存储故障工作模式
当主存储发生故障后, 修改应用配置, 将所有存储设置指向备存储路径, 无缝接管所有业务, 正在执行的业务不会发生中断。此时带宽较主存储应用时低一些, 传输效率略受影响, 但保证了总体业务的连续性。
3.故障恢复工作模式
当主存储故障修复后, 将原有存储配置恢复, 并将正使用备存储上的数据同步到主存储上去, 再由主存储接管所有工作, 业务无中断。
4 NAS二级存储应用介绍
为保证播出系统的安全稳定, 某电视台采用双存储全镜像模式的二级存储, 两套Net App FAS3240, 在高安全性的同时, 提供极强的性能, 其具体架构采用全镜像模式如图2所示。
两套Net App FAS3240, 同样的配置 (48块SATA磁盘) , 通过万兆网链路与整个系统的以太网络相连, 提供600MB/s以上的稳定带宽, 完全能够满足整个系统的业务需求。
二级存储业务流程如图3所示。
流程说明:
二级存储作为播出网中核心存储, 其对应业务流程如图4所示分为五部分, 正常情况下由主二级存储承担所有的业务, 备二级存储内素材内容与主存储完全镜像:
1.通过上载服务器上载节目后, 将素材传输写入二级存储;
2.在台内媒资/制作系统备播完成的节目, 将素材传输写入二级存储;
3.已存在二级存储中的节目, 将素材传输写入播出服务器;
4.通过自动技审服务器, 对二级存储中已备播完成素材做技术审核;
5.通过编单工作站, 对二级存储中已备播完成素材做文件审片。
如图3所示, 当主二级存储出现故障时, 修改传输策略中存储空间的描述, 将其指向备二级存储即可, 由于两套存储完全镜像, 操作非常简单, 业务连续无中断。
5总结
以上介绍的内容包括NAS存储基本架构、硬盘播出二级缓存存储系统等, 以及播出二级缓存NAS存储架构上的安全技术特性和二级缓存存储架构设计。最后介绍业务具体应用模式。
电视播出是一个数字文件庞大并且对播出安全要求非常高的行业, 在硬盘播出系统二级存储的设计规划中应充分考虑安全因素, 避免出现存储宕机或者丢失数据的情况, 要充分保证系统安全性、稳定性、管理性、经济性等各方面要求。
参考文献
[1]付长东.网络存储体系结构的发展与研究[J].小型微型计算机系统, 2004 (4) .
[2]田军.网络存储技术浅析[J].IT技术应用, 2004 (9) .
宁波数字电视存储系统 第7篇
在网络环境日益复杂化的今天,数字图书馆在采用新技术高效利用大规模信息仓储方面提供了典范。数字图书馆拥有数字化资源、网络化存取、分布式管理三个基本要素。存储基础设施是数字图书馆的重要组成部分,而存储技术和存储设备是构造存储基础设施的重要组成部分。数字图书馆存储系统的特点是:实现了与网络及各种通讯系统的完美联结,存储具有数据安全性、响应速度及扩充性,并满足了数据的可访问性需求。
1 存储需求原则
(1)建成的系统应是模块化、开放式的系统
模块化的系统结构方便用户的升级管理,开放式的系统有利于和其它系统的互联实现资源的有效共享。
(2)采用标准化的技术和产品
在方案设计中,所有硬件、软件和网络产品必须坚持标准化原则,遵从国际化组织所制定的各种国际标准及各种工业标准,从而使系统实现具有如下特点:
①可移植性:系统中所开发的各种应用软件具有良好的可移植性;
②可扩展性:主机、存储设备、网络、数据库和应用系统均要有良好的扩展能力;
③互联性:构建网络灵活,支持各种网络结构以及多种通信媒体(光纤、UTP线、PSTN、DDN等),实现跨平台、跨应用的各种设备和网络的互联。
(3)建成的系统是容易管理和稳定可靠的系统
任何一个网络的建设都需要考虑到方便用户的管理,另外所建成的网络系统应该是一个稳定性好、可靠性高的系统。
2 数字图书馆系统中的存储技术
根据其出现时间的先后,大致可将数据存储技术的发展分为4个阶段:直接附属存储(DAS)、网络附属存储(NAS)、存储区域网(SAN)、IP真存储(IPS)。
2.1 DAS
20世纪90年代以前.存储产品大多作为服务器的附属设备,通过电缆直接连接到各种服务器,这种形式即是DAS。DAS完全以服务器为中心,不带有任何存储操作系统。DAS方式是长期以来大多数服务器采取的方式。主机通过专用接口与存储设备相连接,透过RAID技术将这些单个硬盘,按RAD LEVEL组合成更大的硬盘。当主机需要访问存储设备时,主机发出指令给存储设备,存储设备根据指令进行相应操作,将数据返回给主机,或者将主机传输过来的数据写入到磁盘。DAS中存储设备可以是磁盘驱动器,也可以是RAID子系统,或是其它存储设备。
DAS技术的数据安全性差,难以备份/恢复;性能一般,可扩充性差.容量有限;数据被存放在多台不同的服务器上.难于访问,不支持不同操作系统访问。DAS技术成本低廉,易于安装,但需停止用户现有系统,且难以维护,存储利用率低。
2.2 NAS
20世纪90年代出现了NAS技术,NAS包括存储部件和集成在一起的简易服务器管理软件。NAS是一种将分布、独立的数据整合为大型、集中化管理的数据中心。NAS通常在一个LAN上占有自己的节点。在这种配置中,一台NAS服务器处理网络上的所有数据,将负载从应用或企业服务器上卸载下来。集成在NAS设备中的定制服务器系统可以将有关存储的功能与应用服务器执行的其它功能分隔开。NAS设备的物理位置灵活,通过物理链路与网络连接。NAS无需应用服务器的干预,允许用户在网络上存取数据。
其特点是:易于备份/恢复;性能高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同的存储器上,易于访问,支持不同操作系统访问。NAS技术成本低廉,易于安装和维护,存储利用率较高。
2.3 SAN
SAN是允许在存储设备和处理器(服务器)之间建立直接的高速网络连接,通过这种连接实现只受光纤线路长度限制的集中式存储。SAN可以被看作是存储总路线概念的一个扩展,它使用局域网和广域网中类似的单元,实现存储设备和服务器之间的互联。SAN具有高传输速度、远传输距离和支持数量众多的设备等优点。采用了专用的拓朴结构,不能直接使用通用的IP网络连接各个SAN存储网络。目前,多数供应商的SAN解决方案大多采用光纤通道技术,即FC—SAN。
SAN技术的特点是:易于备份/恢复;性能极高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同或不同的存储器上,提供统一的用户访问视图,易于访问,但不支持不同操作系统访问。SAN技术成本昂贵,需要长时间的设计和安装,且难以维护,存储利用率很高。
2.4 IP存储
IP存储技术就是以高速以太网连接为基础,通过IP协议进行数据交换的存储技术,它将SCSI协议映射到TCP/IP协议上,使得SCSI的命令、数据和状态可以在传统的IP网上传输,其支持数据块形式的I/0访问和共享存储。它采用iFCP和iSCSI协议,由于光纤通道已经包含了SCSI协议,这种方法无需重大技术改造,就能满足SCSI协议的要求。
IP技术的特点是:易于备份/恢复;性能高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同或不同的存储器上,提供统一的用户访问视图,易于访问,支持不同操作系统访问。IP技术成本低廉,易于安装和维护,存储利用率最高。
3 基于IP的高校数字图书馆网络存储建设
在网络存储中,FC—SAN在某些方面具有无可比拟的优势,如性能极高,可扩充性强等,使其能够满足数字图书馆大规模数据存储的需要。但光纤通道存在着成本昂贵和互操作性问题,这是一般高校图书馆所不能承受的。而NAS技术虽然成本低廉,但却受到带宽消耗的限制,无法完成大容量存储的应用,而且系统难以满足开放性的要求。针对以上技术的缺陷和不足,根据国际上基于IP的存储设备已逐步上市和日渐成熟的情况,提出了一种既有ANS和SAN技术的优点,又能克服两者缺点的存储网方案,即基于IP的SAN。它由两部分构成,第一部分是利用IP互连设备构成存储区域网SAN,第二部分是通过SAN中的交换机多路接入LAN回路,形成一种广义的附网存储NAS,存储设备都是商用的NAS设备以及iSCSI设备,或通过转换桥将SCSI和FC设备转换为IP接口,接入基于IP协议SAN中。它采用最广泛的TCP/IP作为网络协议,既具有NAS易于访问的特点,又有专用的存储网络架构。因此,基于IP的存储网络可以利用以太网技术和设备来构建专用的存储网络,由于使用了以太网设备,其成本大大低于使用光纤交换机的SAN网络,而且保持了SAN的传输速率高且稳定的优点。用户在这一技术中,面对的是非常熟悉的技术内容,即IP协议和以太网,而且各种IP通用设备保证了用户可以具有非常广泛的选择空间。事实上,由于IP存储技术的设计目标,就是充分利用现有设备,使传统的SCSI存储设备和光纤存储设备都可以在IP—SAN中利用起来。随着带有IP标准接口的存储设备的出现,我们可以单纯使用本地IP存储技术,来扩展已有的存储网络,或构建新的存储网络。以千兆甚至万兆以太网为骨干的网络连接,保证了本地IP存储网络。由于采用的是IP协议,与LAN和Intemet的连接是无缝的,远程备份十分方便,效率工作很高。基于IP的SAN在性能及功能上都具有突出的优势,是目前高校数字图书馆建设中存储区域方案的首选设计。
4 结束语
充分考虑了未来的扩展,存储主机与存储设备间采用了光纤连接,对于目前应用来说,直接在前端服务器上配置一块光纤通道适配卡就可以与存储相连。但考虑到未来应用系统的发展,以后可以灵活地加入服务器,扩展为SAN存储区域网,提高存储效率。
参考文献
[1]郭建峰．数字图书馆信息存储系统架构的探析[J]．现代情报，2005，(6)．
[2]李培．数字图书馆馆原理与应用[M]．北京：高教出版社，2004．
[3]李村合．谈网络环境下的信息存储技术[J]．情报学报，2002，(1)．
[2]张伟．网络存储技术的发展现状与应用[J]．福建电脑，2003，(1)．
[3]Phillips B.Have Storage Area Networks Come Of Age [J].Computer,1998,31 (7):10--12.
宁波数字电视存储系统 第8篇
在数字视频监控系统中, 实时音视频采集和存储管理是最基本也是最重要的工作。数字视频监控系统发展到今天, 随着视频监控点的增多、图像清晰度的提高、画面尺寸的增加, 视频文件数据量会呈几何式增长, 而且后续还要和报警联动中心、应急指挥中心等其他业务的数据进行整合。存储系统在安全、先进、实用的原则下, 必须考虑系统的后续扩展能力问题, 实现音视频数据的集中存储已成为数字视频监控系统的必备功能。
传统的音视频数据都以文件方式存储到硬盘, 容易形成磁盘碎片, 引起系统性能下降, 严重的还会缩短硬盘寿命。另外, 过多的磁盘碎片还有可能导致存储文件的丢失, 影响到监控系统的可靠运行。SQL Server 2005的发布为我们实现音视频数据直接存储到数据库提供了可能, 利用数据库安全、快速、易维护的特性可靠地实现了音视频数据的集中存储管理。
1 基于数据库的音视频数据存取方法
在数据库中存储海量的音视频数据必须用到MS SQL2005提供的大值数据类型varchar (max) , 该类型可存储超过8KB (最高2GB) 可变长度的二进制数据, 这么大的空间可存储超过一小时D1格式的音视频复合流数据。实际应用中为了保证数据的安全性和快速检索回放, 字段存储数据长度一般控制在500M以内, 也就是10到20分钟一条记录。
在SQL2005中构建一个库, 在库中创建FILEINFO表 (实时数据流保存在[FileData]字段中, 该字段初始值为0x00) , 关键代码如下:
CREATE TABLE[dbo].[FILEINFO] (
[ID] [bigint] IDENTITY (1, 1) NOT NULL,
……
[FileData] [varbinary] (max) NULL
) ON [PRIMARY]
SQL早期版本 (SQL2005以前) 对长二进制字段地读写, 一般通过ADO提供的GETCHUNK () 和APPENDCHUNK () 函数来实现, 由于重复调用APPENDCHUNK () 函数会覆盖字段, 而调用GETCHUNK () 函数要先读取字段中原有数据, 并不能满足实时音视频数据存取实时性和高效性的要求。
多通道实时音视频数据的数据库存取, 要求同时进行几百、上千条纪录的读写操作, 每一记录都会连续多次对同一长二进制字段[FileData]进行读写。使用多线程技术可以实现对该字段的多次互不干扰分段写入和读取功能, 关键代码如下所示:
过程1:写数据库
CREATE PROCEDURE [dbo].[RecordFileData]
@Data2Write VarBinary (MAX) ,
@idVar INT,
@Len INT=0
AS
BEGIN
Update FileInfo Set FileData .Write (@Data2Write, NULL, @Len) where ID=@idVar
END
过程2:读数据库
CREATE PROCEDURE [dbo].[ReadFileData]
@startIndex INT,
@length INT,
@idVar INT
AS
BEGIN
Select substring (FileData, @startIndex, @length) as data from
FileInfo where ID=@idVar
END
2 音视频数据集中存储的实现
通过音视频数据集中存储管理, 有效地解决了数字监控系统中数字录像机音视频数据的存储安全问题。音视频数据集中存储就是对分散在各地网点的数字录像机数据, 在录像机本地存储的同时, 通过网络将数据实时传输到中心存储阵列中, 实现录像数据的在线实时存储备份。
数字监控系统中音视频数据集中存储有以下要求:①满足高速度、大流量、大容量存储:随着视频监控点增多和视频画质要求的提高, 视频数据流量成倍增长, 通常cif格式的视频数据流每通道在150kbps到300kbps之间, 而D1格式的视频数据流是cif格式的4倍, 高清摄像机的数据流每通道可以达到4到8mbps。在网络条件满足的情况下实现数据集中存储, 就必须保证存储系统高效性和实时性。同时, 由于数据集中存储要求同时存储上百通道音视频数据, 存储时间超过3个月, 就要求中心数据存储系统具备大容量的存储矩阵 (20TB以上) ;②满足数据完整保存:数字监控系统中的音视频数据主要用于事件回放, 案情调查以及后期的数据分析, 如果数据不完整就会造成整个监控系统的可靠性失去保障, 因此数据集中存储的数据安全尤为重要。
为满足以上要求, 本系统采用C/S、双服务器架构, 系统架构如图1所示:
2.1 数据存储的实时性保证
为满足数据存储实时性要求, 我们设计系统硬件采用INTEL架构服务器, 双核或四核CPU, 单台服务器可以同时处理64路以上D1实时图像数据, 通过集群技术, 可以采用多服务器组成大型存储系统。软件环境采用微软平台, 操作系统采用WINDOWS2003/SERVER、数据库采用SQL2005/Server。
传统方式以文件方式存储实时音视频数据, 长时间运行后, 系统进行自动删除覆盖会形成越来越多的磁盘碎片, 严重影响磁盘访问速度, 使得大规模数据的实时存储得不到保障。而是用数据库进行存储, 一方面, 实时数据都以记录的方式存放在数据库中, 应用程序只需对数据记录进行存取、删除等操作, 避免了磁盘碎片的产生;另一方面, 在硬件条件满足的情况下通过有效的数据库设计完全能够实现数据记录的高速实时读写。
2.2 数据访问的高效性实现
以文件方式存储实时音视频数据, 当文件个数到一定量 (超过10万) 以后检索访问速度会大幅度减慢, 文件越多定位查找就越费时间;同时由于自动删除覆盖形成的文件碎片也会影响磁盘访问速度。而使用SQL2005数据库直接存储实时音视频数据, 数据的删除、覆盖和整理完全由数据库自身完成, 不会产生磁盘碎片, 影响访问速度。另外, SQL2005 高性能的全文检索功能可以比SQL2000查询速度提高30%到50%, 经测试100万条记录检索时长不超过10S, 完全能够满足用户高速查询、访问数据的要求。
2.3 数据存取的安全性实施
为了支持大容量的数据存储安全, 系统采用RAID (磁盘冗余阵列) 作为存储体, 磁盘阵列的运用, 除了性能上大幅度提高数据的吞吐能力外, 还提供良好的容错能力, 在任何一块硬盘出现问题的情况下都可以继续工作, 不会受到损坏硬盘的影响。 为了, 另外, 系统还使用双服务器, 双机热备功能, 进一步提高系统性能和数据安全。
使用磁盘文件方式备份音视频数据, 必须通过应用程序实现, 增加了系统开发的难度。而SQL2005为用户提供的数据复制功能是将数据或数据库对象从一个数据库复制和分发到另外一个数据库, 并进行数据同步, 从而使源数据库和目标数据库保持一致。这一功能的有效使用, 可靠的实现了数字视频监控系统中音视频数据的自动备份, 进一步提高了系统为数据安全性。
3 结束语
数字视频监控系统中通过数据库进行视频数据集中存储管理, 有效地实现了数据保存的安全性、高可靠性。基于数据库的数据存储管理易于查询检索, 为后期数据动态检索、影像分析提供了可靠的保证。
参考文献
[1][美]布启敏, 舒利文.SQLServer 2005开发者指南[M].何玉洁, 顾小波, 译.北京:清华大学出版社2007.
[2]周奇.SQL Server 2005数据库基础及应用技术教程与实训[M].北京:北京大学出版社, 2007.
[3]解璞, 苏群星, 郭利.利用ADO技术实现对数据库的操纵[J].计算机工程与设计, 2003 (3) .