SAN存储分析研究

SAN存储分析研究（精选7篇）

SAN存储分析研究 第1篇

关键词：存储区域网络,FC SAN,IP SAN

一、引言

大量数据资料应用的持续、快速增长,如仿真、建模、Internet浏览、多媒体、交互进程、电子商务、资料仓库和数据采集等,导致了对更大的存储设备容量的需求,同时,网络带宽的需求也在持续增加。然而,随着网络技术的不断发展和建设,巨大的网络客户使传统的文件服务器成为网络服务的瓶颈,尤其在数据存储方面,不仅数据存储容量成指数增长,而且对存储设备的性能、可扩展性、安全性及可管理性等诸多方面有进一步的要求。在庞大的存储市场需求的推动下,存储技术也从传统的以主机为中心的存储结构向网络存储系统发展。在网络存储技术中,由网络存储设备提供网络信息系统的信息存取和共享服务,其主要特征体现在超大存储容量、大数据传输率以及高的系统可用性、远程备份等方面。

二、存储技术的发展概述

存储技术经过大规模的发展,已经完全超越了硬盘层面的底层硬件技术,已上升成为与计算、网络、通讯并立的IT四大支柱之一。根据主机与存储系统的连接方式,现在网络存储技术主要有三种:DAS (Direct Attached Storage直接附加存储)、NAS(Network Attached Storage网络附加存储)和SAN (Storage Area Network存储区域网络)。

1、DAS

DAS存储架构是比较早的存储形式,服务器直接连接存储设备,如磁盘、磁带、磁盘阵列、带库等。依赖服务器主机操作系统进行数据的I/O读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU、系统I/O等),数据量越大,备份和恢复的时间就越长,对服务器硬件的依赖性和影响就越大。

2、NAS

NAS采用网络(TCP/IP、ATM、FDDI)技术,通过网络交换机连接存储系统和服务器主机,建立专用于数据存储的存储私网。拥有自己的文件系统,通过NFS或CIFS对外提供文件访问服务,是基于“文件级”的存储方式,数据是以文件作为操作对象。存储的介质可以是磁盘、磁盘阵列、光盘、磁带。光盘和磁盘作为主存储介质时,通常会有磁盘作为数据的缓冲,以改善存取性能。

3、SAN

SAN是将存储设备通过网络技术互相连接形成单独的存储网络。数据的存储和管理都是集中在SAN网络中进行,不占用服务器运算处理的网络带宽,是基于“数据块级”的存储方式,数据是以数据块的形式访问。SAN提供了对数据设备的高性能连接,提高了数据存储速度,同时增加了对存储系统的冗余连接,提高了系统的高可靠性。

三、主流的SAN技术

SAN存储根据采用的协议不同分为FC SAN和IP SAN两种技术。

1、FC SAN技术

使用光纤通道技术组建的SAN称为FC SAN,FC SAN存储构架将存储设备集中在独立的光纤通道网络中,可以对数据进行集中管理,降低了管理的复杂性;SAN具有优良的扩展性,可以在不关闭服务器的情况下,将存储设备接入SAN交换机进行扩容;先进的光纤通道技术可以提供最高4Gb的速度,保证了存储系统的高性能。

FC SAN存储技术是一种高性能的存储方案,但也存在着一些不足,如必须使用专用的光纤通道产品,价格昂贵;光纤通道传输距离有限,无法搭建更加灵活的远程存储系统。

2、1P SAN技术

使用ISCSI技术组建的SAN称为IP SAN,IP SAN同样具有FC SAN集中管理、易扩展、高性能等优点,其原理是将SCSI命令封装在IP数据包中,形成可以在IP网中运行的SCSI指令集。相比较于FC SAN而言,ISCSI技术支持TCP/IP协议,可以使用传统的以太网交换机搭建SAN,成本低;通过IP网络进行传输,传播距离没有限制;采用身份认证、密钥等技术实现安全机制确保了存储安全;可在已有的平台和软件中嵌套、重新设计新的管理模块,提供了丰富的管理方式。

但IP SAN也有一定的缺陷,比如目前的千兆以太网速度与FC主流的2Gb速度还有差距;所有存储分配和备份以及其他各项功能都依靠软件来实现,软件的可靠性、复杂性等都是直接影响IP SAN存储的因素;IP网络由于传输距离远,相应的故障点较FCSAN的近距离光纤要多一些。随着IP网络的不断优化,传输线路和网络设备的完善,稳定性会大大提高。可以说基于ISCSI技术的IP SAN是一种更经济的存储解决方案。

四、IPSAN存储方案

IP SAN存储方案把存储设备、服务器与应用通过普通的互联网协议结合在一起,同时还享受到NAS和SAN拓扑结构的优势,可提供经济合理和便于管理的存储设备直接访问的能力。

1、结构说明

IP SAN存储方案采用ISCSI存储技术,以磁盘阵列、虚拟存储交换机为存储平台。普通服务器或PC机只需要具备网卡即可以共享、使用大容量的存储空间。与传统的分散直接存储方式不同,采用集中的存储方式,极大提高了存储空间的利用率,方便用户的维护管理。方案利用无所不在的IP网络,一定程度上保护了现有投资。由于IP存储超越了地理距离的限制,IP能延伸到多远,存储就能延伸到多远,这几乎是一个划时代的革命,十分适合于对现存关键数据的远程备份。同时IP网络技术成熟,IP存储减少了配置、维护、管理的复杂度。

2、方案特点

(1)系统的高可扩展性

采用IP存储方案,只要联入局域网的计算机都可以使用存储系统里的存储空间,使得整个存储系统具有高扩展性。

(2)系统的高性价比、低成本

采用ISCSI标准,只要计算机有网卡,就可以使用存储系统中的存储空间,以实现低成本的IP SAN。

(3)系统的高可靠性

采用互为热备的存储设备。光纤磁盘阵列采用双控制器,而且两台磁盘阵列互为备份;两台存储交换机进行群集,提供双机热备负载均衡,从而保证整个系统的高可靠性。部分重要应用的服务器进行双机工作,从而保证关键业务不被中断,提供系统的可靠性和稳定性。

(4)系统的高性能

光纤磁盘阵列和存储交换机采用主流2G的光纤存储通道,保证高速数据传输能力。同时采用高性能3Com千兆以太网交换机来保证系统的高性能。

(5)存储空间整合及统一管理

采用了虚拟存储交换机。可以对磁盘阵列(Raid)、JBOD等不同的物理磁盘空间进行统一管理,同时支持Raid0、Raid1、Raid10、Raid0+1等方式。支持FC 1Gbps、FC 2Gbps、Ultra 2SCSI、Ultra 3 SCSI等接口的磁盘阵列系统,可以对不同类型的磁盘阵列系统进行存储空间的整合。这一切对于服务器来说是完全透明的,简化服务器对存储空间的管理。

(6)设备集中管理

方案中的所有设备(磁盘阵列、存储交换机、网络交换机等)都支持SNMP协议可以通过相应的图形化网管软件对设备进行管理。

(7)远程备份及容灾

ISCSI是基于IP协议的,它能容纳所有IP协议网中的部件,通过ISCSI,用户可以穿越标准的以太网线缆在任何地方创建实际的SAN网络,而不再必须要求专门的光纤通道网络在服务器和存储设备之间传送数据。ISCSI可以实现异地间的数据交换,让远程镜像和备份成为可能,因为没有了光纤通道的距离限制,使用标准的TCP/IP协议,数据可以在以太网上进行传输。

3、应用范围

IP SAN存储方案有广泛的行业应用适用性。采用ISCSI技术组成的IPSAN可以提供和传统FC SAN相媲美的杰出的解决方案,如备份和恢复、高可用性、业务连续性、服务器和存储设备整合等方面。这些优秀的解决方案可面向中小企业、教育、政府、专业设计公司、音/视频处理、新闻出版、ISPICP、及科研院所、信息中心等信息量较大的行业,作为新闻排版数据存储、音视频信息存档、网络教育资源共享管理等应用。

五、结束语

信息技术的发展推动了存储技术的不断更新,基于IP的网络存储技术也飞速发展起来,并体现出各方面的优越性,为客户提供高性价比的网络存储解决方案。总体来说,随着条件的愈加成熟,尤其是以太网技术的快速发展,基于IP协议的综合存储将会迎来蓬勃的发展。

参考文献

[1]姜宁康,时成阁.网络存储导论[M].北京:清华大学出版社, 2007.

[2]赵文辉.网络存储技术[M].北京:清华大学出版社.2005.

SAN存储分析研究 第2篇

随着计算机技术和存储技术的飞速发展,军事、气象、石油等高性能运算领域技术得以迅速发展,其数据量也呈几何级数增长,计算机的存储能力,必须适应大规模数据存储和高速数据传输的严峻挑战。对于传统的DAS(Direct Attached Storage) 直连方式存储和SCSI(Small Computer System Interface)存储已经无法满足海量数据的需要,新一代存储设备,SAN(存储域网络)[1,2]架构光纤存储系统,开始越来越多应用于高性能运算领域。但是,对一个数据处理中心而言,不同类型、不同厂家、不同时期的SAN存储系统,各自技术差异较大,难以实现存储资源共享和负载均衡[3,4]。目前的高端SAN存储系统,具有高性能、高可靠性、高可用性、高稳定性、集中统一管理等特点。应用这些技术特点,把多套SAN存储系统进行整合,是一项技术难题,国内外同行业用户都在积极地探索和研究中。

目前,本文例举的处理中心配置了HP XP24000,HDS AMS1000,HP EVA6100,SUN STK-FLX280,IBM FAStT700等7套SAN架构异种光纤存储系统,磁盘存储总容量560TB。这些存储系统分别于不同时期购进,存储技术、I/O带宽、数据读写速度差异较大,而且分布在不同PC集群计算机上,相互分立,无法实现存储资源共享和负载均衡,很大程度影响存储系统的性能。

通过对高端SAN存储系统虚拟整合技术研究[5],利用HP XP24000高端SAN存储系统的外部存储功能[6],使用存储网络整合、Zoning整合、逻辑卷映射整合、外挂存储整合等技术,将不同类型的中低端存储设备实现虚拟化集中管理,对异构的存储环境进行整合,构建大规模SAN存储中心,使其形成统一完整的存储池,最大限度地发挥存储资源的利用率,提高存储系统的整体运行性能,整个存储环境对业务完全透明,实现对存储资源统一管理、按需分配、灵活访问,保证有限的存储资源得到合理和高效的利用。

本文着重阐述了高端SAN存储系统虚拟整合其它存储设备的技术原理和实施方案。

1 HP XP24000高端SAN存储系统技术优势[7]

HP XP24000是HP公司高端SAN存储系统的代表产品。它提供了业界最优的I/O吞吐率(350万IOPS,Cache命中率达100%)。内部采用交叉交换结构(Crossbar Switch),内部连接带宽106.4GB/s。同时数据连接和内部控制连接完全分开,保证了数据信息和控制信息的传输不互相干扰。其最重要的结构创新是采用纵横交换设备代替了传统的总线连接。其技术优势从高可用、可靠性,可扩展性,易管理性,系统安全性等方面全面考虑。

1.1 高可用性和高可靠性

高可用性和高可靠性是整个存储系统设计的基本出发点。HP XP24000系列存储系统可以确保99.999%的高可用性和高可靠性,也就是年平均非计划性宕机时间不超过5分钟。在其整体结构设计中,充分考虑了系统的自身特性,采用100%的冗余体系结构,消除系统中所有的单点故障,充分保证用户数据的高可用性和高可靠性。

1.2 可扩展性

存储系统的高可扩展性对于业务快速增长的行业是十分重要的,主要体现在I/O、系统容量等方面的扩展能力。用户数据可能随时增加,系统必须能够满足用户对存储空间的各种要求。良好的扩展能力为今后系统的平滑升级和能力提升预留了广泛的空间;同时也最大限度地保护用户的现有投资。而且由于整个存储系统网络是按照开放的存储局域网的架构设计,通过光纤交换机连接所有设备(包括服务器节点和存储节点)。所以从理论上来说,系统可以像网络一样自由在线扩展,充分满足存储容量迅速增长的需要。

1.3 易管理性

HP XP24000存储系统主要采用Web界面管理软件Remote Web Console,提供图形化的存储管理界面,方便用户的操作,系统管理员可以方便,直观地监控所有设备的状态,快速及时地隔离出问题的设备,并采取相应步骤进行诊断。同时Remote Web Console可以显示监控存储系统所有部件状态,磁盘空间使用情况,并可将系统信息自动传输到网络管理平台OpenView中,可以使用户统一管理存储网络设备和XP存储设备。

1.4 系统安全性

关键数据的安全性对于最终用户来讲是至关重要的。如何防止操作员误操作而引起的数据损坏,黑客恶意攻击,未授权用户访问,都是在制订存储数据安全策略时所需要考虑的重要方面,用户在SAN环境下应使用一个绝对可靠的安全管理器,以防止数据的非法访问,达到光纤通道或存储区域网(SAN)环境中最大的数据安全性和完整性。HP Security Manager软件可以对用户的数据提供可靠的保障,它可以和光纤交换机的分区(Zoning)功能相结合,控制不同主机对不同LUN的访问,可以在阵列内设置LUN许可,以保护敏感的数据,使用户可以方便地控制服务器主机对LUN的访问,只允许经授权的服务器对某些磁盘区域进行操作,而屏蔽其他主机对这些磁盘单元的读写访问。这样可以有效地保护系统各个用户和应用的安全性及相对独立性。

2 高端SAN存储系统虚拟整合技术

处理中心拥有IBM 512、HP 512、IBM 128等3套PC集群计算机用于地震资料处理,CPU总数2526个,总核数达6432个,双精度浮点运算速度共达到58.2万亿次/秒。各套集群系统分别独立地配置了HP XP24000(2套)、HDS AMS1000(2套)、HP EVA6100、SUN STK-FLX280、IBM FAStT700等7套SAN架构光纤存储系统,总容量为560TB。

2.1 高端SAN存储网络整合技术

在3套PC集群计算机的各个I/O节点上,分别配置2块HBA光纤通道接口卡,与7套SAN存储系统所有主控制器接口,分别连接到2台64端口HP SW4900光纤交换机、4台32端口HP SW4100光纤交换机、2台32端口Brocade SW4100光纤交换机,构建成为一套全4Gb带宽、完全冗余、多通道的大规模SAN光纤存储区域网[8]。SAN存储系统网络整合拓扑如图1所示。技术方案如下。

(1)采用2台64端口的HP SW4900高端光纤交换机作为SAN存储区域网的核心交换设备,与4台32端口HP SW4100光纤交换机和2台32端口Brocade SW4100光纤交换机级联,构建一个大规模SAN存储网络。

(2)2台64端口HP SW4900高端光纤交换机分别连接HP XP24000(200TB)的主控制器接口和24台I/O节点的HBA光纤通道接口。

(3)2台32端口HP SW4100光纤交换机分别连接HP XP24000(100TB)的主控制器接口、8台I/O节点的HBA光纤通道接口。

(4)2台32端口Brocade SW4100光纤交换机分别连接HDS AMS1000(215TB)的主控制器接口和20台I/O节点的HBA光纤通道接口[9]。

(5)2台32端口HP SW4100光纤交换机分别连接HP XP24000(200TB)的连接外挂存储主控制器接口、HP EVA6100的控制器接口、SUN STK-FLX280的控制器接口、IBM FAStT700的控制器接口和10台I/O节点的HBA光纤通道接口。

(6)HP EVA6100、SUN STK-FLX280、IBM FAStT700等3套SAN存储系统与HP XP24000(200TB)的外挂存储控制器接口连在一起,成为HP XP24000的外挂存储设备。

2.2 高端SAN存储Zoning整合技术[10,11]

Zoning整合技术是在光纤交换机上实现的功能。通过在SAN存储网络光纤交换机上进行Zone配置,可以将连接在SAN网络中的设备,逻辑上划分为不同的区域,使各区域的设备相互间不能访问,网络中的主机和设备间相互隔离。Zoning分区是SAN存储网络的一种分区方式,通过Zoning分区,可以进行资源的负载平衡分配,同时也可以帮助计算机系统管理员对访问服务器数据的用户进行权限分配。

根据处理中心SAN存储系统虚拟整合的需求,在2台互相冗余的64端口的HP SW4900高端光纤交换机开发统一的Zone程序文件,并且在SAN存储网络的其它光纤交换机上使能该程序文件,使SAN存储网络中的Zone程序文件统一,从而实现处理中心机房的任何一台I/O节点都能管理任何SAN存储设备中的文件系统。统一的Zone程序文件应包括以下5部分Zone分区。

(1)IBM 512 节点PC集群I/O节点与2套HP XP24000存储系统划分的Zone。

(2)HP 512 节点PC集群I/O节点与2套HDS AMS1000存储系统划分的Zone。

(3)IBM 512节点PC集群I/O节点识别2套HDS AMS1000存储系统和IBM FAStT700、SUN STK-FLX280、HP EVA6100等3套外挂存储系统划分的Zone。

(4)HP 512节点PC集群I/O节点识别2套HP XP24000存储系统和3套外挂存储系统划分的Zone。

(5)IBM 128节点PC集群I/O节点识别2套HP XP24000存储系统和2套HDS AMS1000存储系统划分的Zone。

2.3 高端SAN存储逻辑卷映射整合技术[12]

在SAN存储系统中,逻辑卷映射技术要与光纤交换机上的Zoning功能结合使用,目的是通过系统配置和程序开发,使不同的I/O节点能访问到不同的逻辑卷。逻辑卷映射是存储系统的逻辑卷与I/O节点的HBA光纤通道接口(主机接口)进行绑定,服务器连接不同的主机接口所能访问的逻辑卷也不同。当一个存储系统同时为多个应用系统提供数据存储服务,且不同应用系统的I/O节点分别处于不同的物理地址时,需要将不同的逻辑卷与不同的主机接口绑定,不同的主机接口与不同的光纤交换机或者不同的Zoning分区连接,从而实现不同的I/O节点能够访问不同的存储系统。在处理中心7套SAN存储系统的整合中,通过对每套PC集群存储管理软件逻辑卷映射技术的开发,使所有I/O节点不仅能识别本存储系统的逻辑卷,还要识别其它存储系统的逻辑卷,实现全部I/O节点能够映射识别到SAN存储网络的全部逻辑卷设备,从而实现7套SAN存储系统区域网整合。

2.4 高端SAN存储外挂管理整合技术[13,14,15]

本文利用HP XP24000高端SAN存储系统的外部存储功能,对IBM FAStT700、SUN STK-FLX280、HP EVA6100等不同类型的中、低端存储设备实现虚拟化管理,成为高端存储的外挂设备,虚拟化的外挂设备相当于HP XP24000高端存储系统的一个内部逻辑磁盘设备,由HP XP24000存储系统进行统一管理,最大限度地发挥原有中、低端存储资源的再利用能力。同时,虚拟整合后的存储系统能够较大地提高原有存储的整体运行性能,对用户使用完全透明,并且能够根据不同应用业务的特点和需求,进行灵活分配存储系统、存储容量等各种资源,确保关键业务的高效运行。

为了使处理中心7套存储系统形成统一的存储池,在经过以上硬件架构整合的基础上,在HP XP24000高端存储系统的管理软件上进行技术开发,实现存储资源的统一调度和管理,保证所有存储系统的性能提高。主要技术步骤如下。

(1)登录至HP XP2400存储系统管理操作界面,选择“外部存储管理”,进入编程模式。

(2)选择“端口扫描”, 定义连接外挂存储的端口,进行外挂存储的搜索,包括HP EVA6100、SUN STK-FLX280和IBM FAStT700等3套外挂存储。

(3)选中搜索出来的设备,再逐一对应选中其外挂的端口,将所有的HBA光纤通道接口的WWN(World Wide Name,全球唯一名字)加入到外挂配置中。

(4)检查每个外挂逻辑卷是否都有完全的端口来访问,并将这些外挂的逻辑卷,映射到HP XP24000的控制端口上。

(5)选择“分区定义”菜单,依次在HP XP24000存储系统的控制器缓存(128GB)创建三个缓存分区,并调整缓存分区大小分别为两个4GB和一个8GB。

(6)把创建的三个缓存分区分别增加到3套外挂存储原有的缓存分区中, HP EVA6100 的控制器缓存大小由4GB调整为12GB,SUN STK-FLX280和IBM FAStT700 控制器缓存大小由2GB调整为6GB。

(7)更新并保存控制器中的配置程序文件,确保修改生效。

通过以上存储系统配置和程序开发,IBM FAStT700,SUN STK-FLX280,HP EVA6100等3套SAN存储系统通过HP XP24000高端存储实现统一虚拟化管理,共享HP XP24000存储系统的控制器缓存资源,可以大幅度提高3套外挂存储系统的数据读写速度,用户可以在HP XP24000存储系统和3套外挂存储系统之间灵活访问。

至此,处理中心的7套SAN存储系统之间实现互联、整合,3套PC集群访问SAN存储系统上的地震数据,既可以通过TCP/IP网络实现,也可以通过SAN存储网络实现,不仅缓解了服务器网络和存储网络的数据传输压力,还能够提高地震数据读写速度,提高7套SAN存储系统的整体性能和使用效率。

3 SAN存储系统虚拟整合前后性能对比测试

本文对虚拟整合后的3套中低端SAN存储系统进行性能对比测试,分别在I/O节点和计算节点的操作系统下执行以下测试命令:

dd if=/dev/zero of=/fsname/`hostname` bs=10k count=1024000

SAN存储系统虚拟整合前后性能对比结果如表1所示。通过测试案例可看出,虚拟整合后的中低端SAN存储系统性能有较大提高。

4 结束语

通过高端SAN存储系统虚拟整合技术的研究,把IBM FAStT700、SUN STK-FLX280、HP EVA6100、HDS AMS1000等多套相互分立的存储系统整合成为一个多通道、双链路、双冗余、负载均衡和统一共享的超大规模存储系统,取得的主要成果包括:

(1)中、低端外部存储设备可以共享HP XP24000高端存储设备的性能,提高了中、低端设备的可靠性和数据读写、传输速率。

(2)通过提高原有中、低端存储设备性能,降低总体建设成本,保护原有存储设备的投资。

(3)利用高端存储设备的高级数据管理功能, 实现HP XP24000存储系统内部和外部存储间数据透明地拷贝和迁移,大大简化数据存储管理的复杂性,降低管理成本。

(4)支持分层存储,根据业务需求配置不同性能的存储设备,从而降低总的系统成本。

(5)通过与HP XP24000磁盘阵列的分区功能相结合,可以将整合的外部存储系统划分到特定的分区中,便于管理,并且可以根据应用的需要灵活地将外部存储整合进(或拆分出)HP XP24000存储系统。

目前,该项技术在国内石油勘探行业属首创,技术先进,实用性强,可以在各个地震资料处理等高性能运算领域进行推广和应用,具有一定的指导和借鉴作用。

摘要：随着计算机存储技术的飞速发展,高端SAN存储系统越来越多应用于高性能运算领域。通过存储网络整合、zoning整合、逻辑卷映射整合、外挂存储整合等技术,基于高端SAN存储系统,整合中低端系统,使其共享I/O通道带宽和缓存资源,实现多套SAN存储资源共享,提高存储系统整体性能。对保护设备投资,最大限度地发挥存储效率有着重要作用。

SAN存储分析研究 第3篇

关键词：云计算,虚拟化,数据大集中,SAN存储大集中,集成

本文著录格式:[1]李晓坤, 邵娜.云计算虚拟化与SAN存储大集中集成研究[J].软件, 2014, 35 (1) :112-114

0 引言

近年来, 云计算是最热门的概念话题之一, 虚拟化数据大集中技术是IT产业界的一场伟大的技术革命, 存储大集中是目前主流核心应用的不二之选。云计算理念得到了前所未有的普及, 通过虚拟化可以为应用提供高性能、高可靠的服务, 它将虚拟机、刀片服务器、小型机集成在一个高密度的空间里, 降低能耗, 提高CPU使用率。存储大集中在大型的数据中心为虚拟化数据大集中提供了海量的存储空间, 虚拟化为存储大集中提供了澎湃动力。二者集成应用可提供高可靠、高密度、低能耗的核心业务应用, 是未来云计算数据中心的发展趋势。

1 云计算、虚拟化数据大集中技术

1.1 云计算

1.1.1 云计算的定义和特点

IBM公司于2007年底宣布了云计算计划。[1]云计算是分布式处理和IBM网格计算 (Grid Computing) 的延续和发展, 或者说是这些IT概念的商业实现。它不同于传统意义上的计算, 而是集虚拟化及大数据于一身, 将主机、Network、App以及Database等各种资源通过网络为用户提供综合服务的一种概念。[2]

1.1.2 云计算服务类型

云计算的管理平台能够动态地将计算平台定位到所需要的物理节点上。[3]云计算提供三种不同的云服务类型:Iaa S、Paa S、Saa S, 根据所提供服务的类型划分层次的, 其层次是分开的, 可以独自完成用户的请求。

1.1.3 云计算核心技术

云计算的关键技术主要包括:虚拟化技术, 大数据技术, 数据大集中技术, 存储大集中技术, 大数据管理技术和云平台管理技术等。

1.2 虚拟化数据大集中技术

1.2.1 虚拟化技术概述

云计算中的核心技术就是虚拟化和大数据, 可以说虚拟化是云计算区别于传统计算的特点。目前主要的主机虚拟化软件有IBM Power VM、VMware Esxi、思杰的Xen Server, IBM Power VM基于IBM VIO Server和System Director, Power VM可实现UNIX主机的虚拟化, 可以实现0.01CPU的细粒度, 是目前小机虚拟化的成功商用的标志;VMware Esxi是业界占有率最高的X86虚拟化技术, 成功商用多年, 通过VCenter可实现简单易用的图型界面, 思杰的Xen Server开放源代码, 适合我们研究者使用。

1.2.2 虚拟化数据大集中技术在云计算应用

通过IBM、DELL、HP、华为等主流的刀片服务器可以实现虚拟化数据大集中, 现可实现一刀箱8台4物理CPU (每物理CPU10核心) 的高密度应用, 可达到每刀箱10U高度320核心, 每机柜1280核心的高性能;10U刀箱可集成10G、40G的以太网端口;16G FC SAN光纤接口。云计算难以解决的主要问题是高能耗, 承重, 空间, 主机、服务器利用率;通过虚拟化数据大集中可以全部解决上述问题, 这也是虚拟化数据大集中将来会得到广泛应用的原因

2 存储大集中

2.1 存储大集中概念

存储大集中指通过存储区域网把主机和存储连接, 基于FC的独有网络, 不依赖于传统以太网技术, 提供更高的带宽和性能。在现有的SAN虚拟化解决方案中, 根据其实现方式的不同, 主要可以分为三个层次:基于主机的虚拟化;基于存储设备的虚拟化;基于网络的虚拟化。其中基于网络的虚拟化又有对称式及非对称式两种[4]。

2.2 应用存储大集中的优势

把数据存储从以太网存储或是主机存储中分离出来, 可以提高存储带宽, 吞吐量可以达到400G/s。SAN存储区域网带宽可以代到FC 16G, 现以成功商用, 通过高性能的SAN Switch可以提供大量的FC存储接口, 通过HBA卡和主机、服务器通信。降低以太网的负荷, 并可实现基于存储的备份、容灾, 实现二地三中心的核心应用。据估计, 随着存储系统规模的不断扩大, 存储系统的管理费用最多可达到存储设备本身费用的11倍[5]。

2.3 存储大集中的应用

存储大集中成功商用多年, 中国工商银行多年就实现全国数据大集中, 中国移动多年前就实现省级数据大集中, 存储大集中的旗舰EMC VMAX, 可提供8个引擎16个控制器, 64个物理CPU, 128个LC前端主机接口, 2T Cache, 400G/S的吞吐量, VMAX通过Brocade DCX8510 (单台384 16G FC光纤接口) 可实现数以万计的主机连接。IBM DS8870, Hitachi VSP, Fujitsu S2, 华为HVS 88T都是存储大集中的高可靠产品, 华为HVS HVS 88T是国人的骄傲, 提供8个引擎16个控制器, 64个物理CPU, 192个LC前端主机接口, 3T Cache, 硬件性能已高于EMC VMAX, 但软件研发还有待提高, 相信在不久的将来, 我们的民族品牌进入行业前三。

3 基于虚拟化的的数据大集中与存储大集中在云计算环境中的集成应用

任何技术从萌芽到成型, 再到成熟, 都需要经历一个过程。应用基于虚拟化数据大集中技术与存储大集中技术在云计算环境中的应用作为一项有着广泛应用前景的新兴前沿技术, 处在正式商用的过程中, 也面临着一些问题。[5]首先是成本问题, 虚拟化软件, 小机, 刀片服务器, SAN Switch交换机, HBA卡, 高性能存储均价格不菲, 对网络管理员的技术也是一种挑战。基于虚拟化的数据大集中与存储大集中集成应用会用到SAN BOOT技术, SAN BOOT也就是Boot from San, 小机或服务器中无需安装物理磁盘, 也不必安装SD卡, U盘等起动介质, 操作系统安装在存储大集中的高端存储的LUN中, LUN就是一个逻辑磁盘空间;LUN的高可靠由高端存储保证, 与主机和操作系统无关, 物理主机或服务器通过FC HBA卡与DCX8510等SAN交换机连接, DCX8510再与高端存储连接, 全部连接均为多路径环路, 以解决单点故障。

主机如果为小型机, 安装IBM Power VM, VIO Server, System Director再安装AIX操作系统, 实现基于小机的裸金属架构的虚拟化。如果使用X86服务器, 可安装VMware Esxi在物理PC SERVER上, 安装ESXI后, 建立虚拟机, VCenter安装在虚拟机上, 以实现VCenter的Vmotion。虚拟机的文件系统全部存在高端存储的LUN中, 并实现多路径, 因存储大集中可实现容灾, 双活等高可靠应用, 以达到虚拟化数据大集中与存储大集中集成应用的高可靠, 高性能。[7]

4 结束语

云计算作为互联网应用必然趋势, 尽管, 目前应用虚拟化、存储大集中的集成应用还处在探索测试的阶段, 但相信随着云计算的发展以及应用虚拟化的日趋成熟, 该技术必会给云计算的发展带来伟大的变革。本文围绕云计算环境下应用虚拟化数据大集中与存储大集中集成应用总结了应用虚拟化的原理、优势, 应用, 为构建虚拟化数据大集中与存储大集中集成应用提供了实践经验支持。虚拟化数据大集中与存储大集中的集成应用会为高性能云计算提供澎湃动力。

参考文献

[1]西姆斯.IBM介绍准备使用云计算的协作服务获得客户开始与云计算[OL].200 7http://www-03.ibm.com/press/us/en/pressrelease/22613.wss SIMS K.IBM introduces ready-to-use cloud computing collaboration services get clients started with cloud computing.2007.http://www-03.ibm.com/press/us/en/pressrelease/22613.wss

[2]徐力.智能控制与智能系统[M].北京:机械工业出版社, 2007.XU L.Intelligent control and intelligent system[M].Beijing:mechanical industry publishing house, 2007.

[3]克拉克, 弗雷泽, 汉森詹等虚拟机的动态迁移和网络系统设计和实现[L]。伯克利:美国协会.2005.273-286.CLARK C, FRASER K, HANSEN JG, Jul E, Pratt I, Warfield A.Live migration of virtual machines.In:Proc.of the 2nd Symp.on Networked Systems Design and Implementation.Berkeley:USENIX Association, 2005.273-286.

[4]谢长生, 金伟.SAN网络级存储虚拟化实现方式的研究与设计.[J].计算机应用研究, 2004, 21 (4) :191-193.XIE C S, JIN W.SAN network level of realization of storage virtualization research and design, 2004, 21 (4) :191-193.

[5]任建奇, 蔡皖东, 刘卫平.一种虚拟存储系统的设计与实现[J].微电子学与计算机, 2005, 23 (5) :152-154.REN J Q, CAI W D, LIU W P.The design and implementation of a virtual storage system[J].Journal of microelectronics and computers, 2005, 23 (5) :152-154.

[6]龚强.网格计算商业演化的云计算与应用展望[J]信息技术, 2011 (10) :21-25.GONG J.Commercial evolution of cloud computing and grid computing application prospect[J]information technology, 2011 (10) :21 to 25.

[7]林凌.物联网技术及其在我院后勤信息化建设中的应用[J].软件, 2012, 33 (10) :121-123

SAN存储网络的深入发展 第4篇

1 SAN存储网络的概念

SAN——存储区域网络, 即通过特定的互连方式连接的若干台存储服务器组成一个单独的数据网络, 提供企业级的数据存储服务。SAN存储网络模式不仅可以提供大容量的存储数据, 而且地域上可以分散, 局域网不受传输数据的影响, 同时还可以与任何服务器连接, 进行存储数据, 是一种一种特殊的高速网络。

2 SAN存储网络的特点

SAN同NAS都是存储网络发展的新模式, 但是与与NAS相比, SAN具有下面几个特点:一是, SAN具有无限的扩展能力, 因其采用的网络结构不同, 服务器可以访问存储网络上的任何一个存储设备, 对于磁盘阵列、带库和服务器等设备, 用户可以自由安排, 给用户带来极大的方便, 同时SAN的整个系统的存储空间和处理能力的不断扩大迎合了很多客户的需求。二是, SAN具有更高的连接速度和处理能力。SAN能快速连接网络主要通过采用光纤通道技术, 这也是在SAN解决方案中, 除存储设备外, 其网络连接的关键部件, 为大规模数据传输而专门设计的, 虽然目前SAN有100Mbps的传输速度, 但输速度为200Mbps和400Mbps的光纤通道交换机也将很快开发出来。SAN就是这种能够支持的端口数多, 具有99.999%的高可用性, 能够保证在线数据的连续性的高端存储网络模式, 也是其现阶段深受社会认可的主要原因。

3 SAN存储网络模式的未来发展展望

随着存储市场的火爆及SAN市场的增长, SAN的未来发展趋势将是不可限量的, 其中一些存储网络的设计公司也同社会经济的发展异军突起, 如博科、Mc DATA, 他们在储存模式上的革新设计, 不仅让他们成为新时代的宠儿, 而且其发展步伐也在加快, 在国内成立办事处, 进一步提供技术、服务方面的支持, 在网络存储技术方面, 虽然目前光纤通道技术仍会在3-5年内是主流技术, 但是, 随着i SCSI、Storage over IP、Infiniband等技术的研发, SAN的接连速度将会更快, 同时, SAN的无电缆装置也可呈现, 甚至还会出现无盘, 对于SAN的发展趋势, 只会改变的更快, 有更多的磁盘容量, 每GB成本/更便宜, 更易于管理且更加环保。虽然SAN在未来短时间内架构可能不会彻底改变, 但SAN基础设施的基本组成部分会发生变化:网络和协议;交换机;存储阵列;磁盘和控制器;以及SAN管理。不论采取何种形式, 未来的SAN将更加趋于统一、虚拟化、自动化和环保。

4 结语

综上所述SAN的适用方向多, 范围广, 可以深入到企业级数据存储、服务器集群、远程灾难恢复、Internet数据服务等多个领域。而具有安装管理方便、价格平民化等优点的NAS, 也是对于部门服务器合并项目、独立的工作组级的客户的优选方案。所以, 未来的SAN、NAS最终将逐渐走向统一, 伴随着i SCSI、IP、Infiniband等技术的不断出现, 它们将适用于各个层面的应用需求, 同时也将会是存储网络市场上的佼佼者。

参考文献

[1]陈雪峰, 陈颖行.大型企业san数据存储方案设计.微机发展.2011.[1]陈雪峰, 陈颖行.大型企业san数据存储方案设计.微机发展.2011.

[2]周可, 黄永峰.张江陵网络存储技术研究[J].电子计算机与外部设备.2010.24 (2) .[2]周可, 黄永峰.张江陵网络存储技术研究[J].电子计算机与外部设备.2010.24 (2) .

[3]范涛.网络存储技术的研究与应用[J].福建电脑, 2009.[3]范涛.网络存储技术的研究与应用[J].福建电脑, 2009.

[4]舒继武.存储区域网精华—深入理解san[J].电子工业出版社, 2011 (7) .[4]舒继武.存储区域网精华—深入理解san[J].电子工业出版社, 2011 (7) .

一种SAN存储网络安全保护方案 第5篇

针对这些问题, 本文提出了一种针对San存储的保护方案——DSSP (Distributed San Security Project, 分布式存储网络安全方案) 。结合密钥分配管理策略和集中控制等技术, 既可以控制SAN网络中服务器对磁盘阵列的访问权限, 又可以在集中管理设备的控制下, 通过服务器代理来实现对SAN中数据的加解密, 一方面能对数据进行保护, 一方面将加解密工作分摊至每个服务器, 降低数据传输速率的损耗。此外, 管理控制和数据信息使用不同的物理通道, 具有管理独立性, 能够避免单点失效的出现。

1 SAN整体安全方案设计

为了实现SAN数据在访问、传输、存储过程中的安全保护, 本文提出了DSSP (Distributed San Security Project, 分布式存储网络安全方案) 安全保护方案。在方案中, 访问San中磁盘数据的服务器一端以光纤HBA卡与光纤交换机连接, 一端通过以太网交换机与实现集中控制功能的终端控制器相连。在每台服务器上部署代理agent (后面统称agent) , agent通过TCP/IP协议接受终端控制器的所有功能控制, 包括对服务器的接入认证、访问权限控制和数据加解密设置等。管理员拥有对终端控制器的严格功能使用权, 可以对agent端 (也就是服务器端) 的各种功能权限进行设置。

根据对现存的各种SAN安全方案的分析与比较, 本方案具有较为突出的优点:提供认证、访问控制、加解密和交换信息的多层保护, 能保证San数据从访问、传输和静态存储的多方位的安全防护, 并且部署简单。

2 SAN安全方案中的关键技术实现

2.1 DSSP中的认证与会话密钥协议

基于LUN保护方案中, 虽然可以用隔离策略限定服务器的可见磁盘视图, 但对于非法接入或伪装的服务器没有鉴别与限定能力。在DSSP中, 由终端控制器TC使用服务器S的UniqueID对S的合法性进行严格的认证, 认证过程依靠一个认证与会话密钥协议过程来实现, 该过程一方面能够认证S是否为合法用户, 一方面依靠双向认证来抵御认证过程中伪装服务器的攻击。而一旦服务器通过认证, 则最终产生一个会话密钥Keyd, 用于后续S与TC之间的会话消息的加解密。

设TC为终端控制器, S为服务器, UniqueIDTC为TC的认证码, UniqueIDS为S在认证时产生的认证码, P是一个大素数, α为ZP*的生成元。这里用PX (Y) 表示用密钥X对Y进行加密, 而公钥算法采用RSA, Hash算法使用SHA1。

首先我们确定TC存有所有正常服务器的公钥 (KeyS) 集合, 而且S知道TC的公钥Keytc。S的私钥为keys_p, TC的私钥为keytc_p。则认证与会话密钥协议过程的步骤为:

(1) S->TC:发送认证信息M1

(2) TC->S:比对验证服务器, 并反馈认证信息M2

公式中的f (RN1) 为对RN1的整数函数操作。

(3) 二次S->TC:验证是否通过后并发送秘密信息M3

(4) 计算会话密钥KeyD.TC接收到M3并解密得到αy, 双方分别计算KeyD= (αy) x= (αx) y, 得到通信会话密钥KeyD, KeyD用作后面TC与S之间后面所有通信信息的加密与解密, 比如S与TC之间传输的对San数据进行加解密的密钥Keydata。该协议过程的双向认证过程一方面能够防止非法服务器的非法接入和伪装攻击, 实现了方案中接入认证层的功能, 一方面最终生成的会话密钥KeyD用于服务器S与终端控制器TC之间通信信息的加密, 实现了方案中的交换信息保护层功能。

2.2 DSSP中的数据加密方案设计

当前SAN网络中存储的数据大多数都是明文, 对于非授权的强制访问及在不稳定环境中的磁盘阵列的安全问题, 都不能提供有效的防御, 所以本方案提供了分布式管理的方式来实现对SAN中传输和存储的数据进行加密。

当服务器身份验证通过, 与终端控制器之间建立了安全的通信通道后, 才能获取访问权限和加密数据密钥。终端控制器通过管理服务器上的代理软件来实现对服务器的集中控制。终端控制器是DSSP集中控制管理中心, Agent是安装在每个服务器上面的代理软件, File-Drive是文件过滤驱动程序, 其功能如下。

Agent为用户态功能程序, 一方面与终端控制器交互认证和访问控制等信息, 另一方面与File-Drive交互控制与密钥等数据。其主要功能有三点: (1) 搜集服务器的唯一标识符, 用来与终端控制器进行相互认证; (2) 控制File-Drive文件过滤驱动程序对存储设备映射到服务器上的磁盘阵列使用AES对称加密, 避免了非对称密码在密钥分发时损失过多的时间和效率, 在I/O数据通过文件系统驱动转入HBA卡功能驱动前, 给通过服务器的数据加密, 这样, 数据是加密后通过HBA卡包装成FC协议包, 发往光纤交换机; (3) 接收终端控制器发送过来的命令, 将SAN服务器状态及存储阵列的加解密状态反馈给终端服务器。

File-Drive为操作系统内核态驱动程序, 以阻断方式挂接到操作系统的文件系统中, 根据Agent的指令和下发的密钥对文件系统的数据流进行分析、加解密、下行转发、放行与否等操作。FD可识别服务器本地磁盘与SAN网络磁盘, 拥有对出入本服务器的SAN数据的绝对控制权。

3 仿真结果及分析

我们搭建了SAN存储网络, 并引入DSSP方案, 测试了各种算法在加解密过程对数据在SAN中传输速度的影响。本方案对数据块长度对传输速度的影响进行了测试, 分别测试了写入的数据块大小为4K, 8K, 16K, 32K, 64K, 128K, 256K, 1024K和2048K下情况, 发现在SAN网络里面安装代理程序来进行加解密, 对网络传输有一定的影响, 但是采用的加密算法的不同, 所消耗的网络速率也不同。在数据不加密或简单取反的情况下, 随着传输的数据块大小的增加, 其传输速度总体是上升的。采用加密算法后, 数据写入速度会产生变化, 原因有两点:首先, 不同的加密算法有不同的算法复杂度, 例如加密算法中多轮的移位、置换以及迭代次数不同;其次, 不同加密算法对加密分组大小及密钥长度的要求不同, 造成在加密过程中不同的系统消耗。当以数据块大小为128K写入的时候, 数据加密存入磁盘阵列的消耗是最小的, 且综合算法安全性等因素, 最后本方案选择AES算法来实现数据加密。

4 结语

在商用网络化存储的应用中, 高速网络化存储带来的信息安全问题还没有得到足够的重视, 国内对高速存储网络的研究较少, 本文提供了一种针对SAN的安全保护方案, 实现了对SAN网络的多层保护。该方案总体部署简单, 管理方便, 认证严密, 可以保证SAN内的数据安全及通信安全。保护企业及个人在SAN中传输, 交换, 存储的敏感数据。

参考文献

[1]Casimer　DeCusatis.企业网络安全及相反加密模型的研究[C].IEEE信息安全和保护会议论文, 2005.

[2]Decru企业数据安全公司.数据要塞应用白皮书.http://www.netapp.com/us/library/white-papers/.

基于SAN存储的容灾备份系统 第6篇

关键词：容灾,数据备份,数据复制,Oracle RAC集群,InfiniBand

随着时代的发展, 信息化的进程也越来越快, 企业的运作需要大量的计算机系统, 大量的数据随之产生。数据影响着企业的生存和发展, 是企业宝贵的无形资产。各行业对数据的依赖日益强烈, 如果数据一旦因为应用服务器受到入侵, 数据被篡改, 或是存储服务器因为断电或者自然灾害导致系统不正常关机或发生宕机引起数据的丢失, 都会给企业和用户带来巨大的损失。如何能保证系统7×24平稳可靠的运行, 使得服务器存储的信息能够有效保存和被利用, 并能预防各种突发性事件, 已成为各行各业关注的话题。容灾技术逐渐成为人们关注的焦点, 如何建立一套高可用的容灾备份系统是企业实现数据容灾的首要问题。

1 容灾的关键技术

容灾是一个广泛的概念, 就是在灾难发生的时候, 保证计算机系统的数据尽量少丢失, 从而保持系统业务不间断地运行。它是一个系统工程, 需要利用技术手段、管理方法和相关资源确保生产数据在发生灾难后可以恢复并能继续运行。从广义上看, 所有提高系统高可信的努力都可称之为容灾。从狭义上讲, 容灾是通过建立和维护一个备份存储系统, 利用物理上的分离来保证系统和数据对灾难的抵御能力[1]。

一般来说, 一个容灾系统中实现数据容灾和应用容灾可以采用不同的技术。所谓数据容灾, 就是建立一个数据备份系统, 在灾难发生后确保原有的数据不丢失或者遭到破坏。应用容灾系统建立在数据容灾系统之上, 建立一套完整的与生产系统相当的应用系统, 尽可能减少灾难带来的损失, 让用户感觉不到灾难发生。

数据容灾不是简单的数据备份或者数据复制, 但数据备份是容灾的基础, 数据复制是容灾的一种技术。数据备份的目的是在灾难发生时能够快速地恢复数据, 并能全面及时地恢复整个系统。在建立容灾备份系统时会涉及到多种技术, 如数据备份技术、数据复制技术、远程镜像技术、快照技术等。其中数据复制技术又分为。同步数据复制、异步数据复制。应用容灾包括集群技术、灾难检测技术、系统迁移技术和系统恢复技术等。

2 数据容灾

所谓数据备份技术, 就是让数据能以某种特定的格式加以保留, 以便在系统遭受灾害时能重新加以利用的一个过程。其目的就是为了使数据能重新利用, 换句话说, 数据备份的核心是能使数据恢复, 一个无法恢复的数据备份是毫无意义的, 也不能达到容灾的要求。数据备份有4种策略:完全备份、增量备份、差异备份和即时备份。为了确保备份的数据具有完整性, 数据备份又分为冷备份和热备份。冷备份又称为离线备份, 当执行备份操作时, 服务器将不能接受来自用户和应用对数据的更新。热备份也称在线备份, 即同步数据备份。它是在用户和应用正在更新数据时, 系统也可以进行备份[2]。

和数据备份相比, 数据复制技术则是通过将生产数据复制到另一个存储备份系统中, 这个存储备份系统可以是本地的, 也可以是异地的, 从而保证在灾难发生时, 生产数据不丢失或丢失量最少。数据复制可以分成同步数据复制和异步数据复制。同步数据复制就是将本地生产系统的数据以同步的方式复制到备份系统中。由于发生在生产系统的每一次I/O操作都需要等待远程复制完成才能返回, 这种复制方式虽然可以做到数据的零丢失, 但是对系统的性能有很大的影响。异步数据复制则是将本地生产系统中的数据在后台异步地复制到备份系统中。这种复制方式会有少量的数据丢失, 但是对生产系统的性能影响较小。

3 应用容灾

应用容灾是建立在数据容灾的基础上的, 是在备份端建立一套与生产系统完全一致的备份应用系统, 建立这样一个系统相对复杂, 不仅需要一份可用的数据备份, 还要有包括网络、主机、应用等资源。数据容灾是应用容灾的基础, 应用容灾是数据容灾的目标。集群系统是一套冗余的高可用性系统, 运行用来检测集群系统运行状态的高可靠性软件。当集群中的某台服务器发生故障, 该软件会自动将设定的服务转到另一台服务器上, 当这台服务器恢复正常后, 软件还会将原来的服务分配给改服务器运行, 让使用用户感觉不到服务器的切换, 认为对外提供的服务始终是由一台服务器来完成的。

4 容灾方案设计

辽河油田静态数据库存放的是辽河油田开发建设40多年来积累的静态资料, 这些资料种类繁多且电子化耗时耗力, 十分珍贵。辽河油田静态数据库提供浏览、查询等功能, 可以通过浏览器查询到各类静态资料和科研成果资料。静态数据也是地质研究工作和油藏评价工作的基础, 科研人员在使用静态资料进行科研生产研究也会产生一些珍贵的成果资料, 这些资料都存储在静态数据库中。因此, 辽河油田静态数据库的平稳运行, 关系到整个油田的井位部署和新老区调驱上产等工作的顺利开展, 显得尤为重要。

由于辽河油田静态数据库底层数据库是基于Oracle的数据库, 因此我们采用了Oracle的RAC数据库系统 (Real Application Clusters, 实时应用集群) 。Oracle RAC能使多台服务器同时访问同一个Oracle数据库, 这样可以避免由于一台服务器的宕机时导致数据库不能访问, 具有高可用性, 同时也可以进行并行运算和负载均衡, 保证前端应用系统正常运行。Oracle RAC具有很好的可伸缩性, 可以根据需要添加或减少节点[3]。

Oracle RAC集群实质是让多个节点同时访问同一个Oracle数据库, 每个节点运行一个实例, 数据库存储在共享磁盘上。共享存储设备的存储机制可以使用裸设备、Oracle集群文件系统 (OCFS) 、自动存储管理 (ASM) 或网络区域存储 (NAS) 、SAN存储。我们使用Oracle的Clusterware集群软件, 部署了4台基于Infini Band交换机互联的T4服务器作为Oracle的服务器来使用 (参见图1) 。Infini Band是集合了业界的努力而开发出来的, 能够替代PCI总线的新标准, 它是由Intel、Microsoft、IBM、HP等7家公司牵头, 共同研发的高速先进的I/O标准。Infini Band交换机广泛应用于高性能服务器领域, 该互联网络具有高带宽, 低延时等优点, 是目前全球带宽最高的高速网络互联技术。使用Infini Band交换机, 可以很好地保证4节点的Oracle RAC集群高可用性。

对于数据存储系统, 我们采用HDS VSP存储 (参见图2) 它是HDS的一款高性能、高可靠性的高端存储系统, 适用于所有的数据类型, 并能具有3D可扩展性。通过在每个节点上安装HDS提供的Dynamic Link Manager软件 (多路径管理软件) , 可以识别存储共享的磁盘。HDLM提供主机到存储系统的I/O通道负载平衡和故障切换功能。HDLM对数据通道进行实时监控, 检测每个通道的状态;当有任何一个通道发生故障时自动将I/O切换到其他健康的通道上, 保证了业务7×24不间断地运行, 增强了主机系统的数据可用性。当故障通道修复或替换完毕后, 可在线激活, 重新开始工作。True Copy同步数据容灾解决方案是HDS结合智能存储系统的特点推出的数据远程容灾解决方案 (参见图3) 。它是基于磁盘存储系统运行的软件包, 不依赖任何的主机操作系统和其他第三方厂商软件, 为用户提供了最安全、最开放、最经济、最实用的容灾解决方案。True Copy采用独立于主机与应用的基于逻辑单元级的实时数据备份, 可靠地在另一地点对用户重要数据进行镜像并进行持续的在线更新。在灾难发生时, True Copy会对数据实施无缝保护, 免除了一系列烦琐的手工磁盘恢复的过程。True Copy相比于传统的手工恢复步骤, 将灾难恢复的时间大大减小。

两台HDS VSP之间通说光纤线直连, 通过在存储网络中布置一台控制主机 (CCI主机) , 控制两台存储之间的同步关系, CCI主机只需发给主存储一次命令, 即可执行实时在线同步。

5 总结

本文介绍了容灾系统的关键技术, 并结合生产实际, 搭建了一套适合本业务的容灾备份系统。容灾备份系统的建立, 提供了一套可靠的数据运行环境, 降低了灾难发生时对企业带来的损失, 提高了系统的可靠性, 保证了生产的顺利进行。

参考文献

[1]陈汶滨, 吕曼曼, 刘义军.容灾备份系统研究[J].计算机安全, 2009 (7) .

[2]刘艳.SAN环境下数据备份系统的设计与实现[D].重庆:重庆大学, 2008.

SAN存储分析研究 第7篇

随着城市建设的不断发展,高清视频监控系统已作为一种重要的安防手段广泛应用于人们的工作和生活。单机的存储容量已经不可能满足大量视频数据的需求,而越来越多的视频数据如何组织进行存储则成为一个必须谨慎研究的问题。存储局域网(Storage Area Network,SAN)是类似于普通局域网的一种高速存储网络,它可以在存储单元和服务器或客户机之间建立直接连接[1]。笔者在这个基础之上,针对视频数据本身的特性,对现有文件存储方案进行改进设计,使得视频内容能够更好地被存储、索引以及引用。

1 传统视频存储文件系统的缺陷

基于磁盘阵列的并行存储体系结构可以从以下参数衡量其性能:启动延迟、缓冲需求、吞吐量、磁盘利用率、可支持的并发视频流数量等[2]。传统的视频存储方案主要分为两种:一种是在SAN的基础上,使用已有的文件系统格式,如NTFS,ext3等,提供文件访问;另外一种则是基于NAS文件共享协议,如SMB,NFS等,提供文件访问。两种方式均是将视频转换成独立的文件存放于文件系统之上,并采用自定义文件名格式进行视频索引。这样,为了迁就已有的文件系统方案,视频文件放弃了自己本身的特性,带来了以下问题:

1)视频文件查找引用效率低下。文件系统中(例如ext2)多级指针的存储模式导致磁盘读写效率的降低[3]。传统存储方案查找视频的流程是:存储时将视频文件进行命名,存放在数据库管理,引用时先通过已定义模式根据时间信息等产生文件名称,查找到文件后通过文件系统取得数据,最后通过文件内部索引再取得精确的数据位置。这样在程序上就进行了多次转换,而且也增加了磁盘I/O次数。

2)大规模数据的长期循环覆盖造成文件碎片,使得访问效率下降。由于视频是以文件形式存在于磁盘上,并且视频文件大小本身是可变的,具有不确定性,所以编码过后的文件大小也不会完全相同。监控视频在存储空间有限的情况下,需要进行视频循环存储,用新的视频覆盖旧的视频。另外,由于文件系统层由操作系统控制,上层对文件在磁盘上的存放位置无法控制。在这种增加和删除的操作当中必然造成一些文件分离,产生文件碎片,使得访问效率下降[4]。

3)传统文件系统设计的首要目标是尽可能充分地利用磁盘空间。而对磁盘I/O带宽的充分利用则处于次要目标,而实时多媒体的要求与之恰好相反。

2 快速多媒体存储文件系统结构

快速多媒体文件系统(Fast Multimedia File System,FMS)是专门为视频监控系统设计的。系统将前端摄像机、存储服务器以及存储阵列组成的一个完整系统看作一个“虚拟条带”,然后系统基于RAID控制将“虚拟条带”中与前端摄像机相对应的存储阵列集合模拟成整体的“虚拟磁盘”,通过此文件系统格式定义对“虚拟磁盘”进行读写管理,这样在保证数据冗余安全性的前提下又能够尽量从底层提高数据读写性能。同时该系统在这种文件系统之上开放接口协议——快速多媒体接口协议(Fast Multimedia Interface Protocol,FMIP),服务器端通过相应的API,例如文件系统访问接口(Fast Multimedia Access,FMA),对存储端的文件系统进行符合协议的读写访问,如图1所示。

2.1 文件系统寻址方式

文件系统所提供的服务具有以下特征:1)视频数据量大,需要支持高达数太字节(Tbyte)的RAID磁盘阵列大小;2)文件系统需要保证数据相关性与物理位置相关性相匹配,即在时间上相邻的数据在物理位置上也要相邻;3)文件系统尽可能使用线性的寻址方式,避免繁琐的地址转换带来额外的开销。

所以考虑到上述因素,文件系统采用了ATA-6规范的48 bit LBA(Logical Block Addressing)寻址模式。另外,由硬盘或RAID控制器内置地址翻译器将LBA地址转换为硬盘的CHS(柱面、磁头和扇区)地址模式,无需程序进行转换。这样,数据内容仅在柱面和磁头切换的物理位置是不连续的,可以满足应用要求。

2.2 文件系统(FMFS)结构

FMFS是系统中进行存储设备进行空间管理的基本框架,它的设计充分考虑到了对大容量存储系统的快速读写需求,大大简化了传统文件系统的多种索引结构和文件存储方式,使其适应于多点高清监控系统的素材存储需要。

FMFS中以层次结构的形式定义了读写操作单元,其中共分为3个层次:块(Block),域(Extent)和卷(Volume)。

1)Block是FMFS中的存储读写的最小单元,对单个磁盘来说通常最小为512 byte。但由于大容量磁盘的不断改进和发展,现在也有一些公司推出最小访问单元为4 kbyte的磁盘。对于RAID控制器来说,其大小与RAID控制器的相关设置对应,Block大小应该为所使用磁盘中Block大小最大磁盘的整数倍。在具体使用时,可以由用户根据目标存储数据的单元大小来确定,以达到最好的磁盘访问性能。

2)Extent是FMFS中特有的一种操作单元,一个Extent由若干个Block组成,里面存放的内容属于同一个实体。以视频监控系统为例,里面存放的视频内容应该是同一个摄像头的视频数据。用户根据需求在格式化磁盘时设定此大小,设定以后在重新格式化之前不可修改。设定时应当考虑卷的整体大小,使得所设定的值不至于太大而无法容纳所需要的多个实体并存,也不至于太小而过于零碎,增大索引数据的大小使得磁盘空间利用率下降。

3)Volume是FMFS中最大的单元,通常对应于由一个RAID控制器所管理的一组磁盘阵列。

在以上这些读写操作单元的基础上,FMFS进一步将整个“虚拟磁盘”,即一个Volume分成多个分区(Partition),主要包括索引分区、数据分区及备份分区,这些分区分别由若干个Extent组成,如图2所示。

索引分区主要用来储存该卷中所储存的所有多媒体图像素材的定位信息,其核心是以图像存储时间为键(Key),存储地址为值(Value)所生成的Hash映射表。另外,索引分区还会储存包括Block Size,Extent Size以及若干下一可写地址(Next Writeable Address,NWA)等信息。索引分区一般由若干个Extent所组成,具体由整体“虚拟磁盘”的空间所决定。索引分区存储了卷与实体的各种参数,另外还为每个实体存储了一张索引表,索引表包括若干的索引项,它的内容是帧数据与帧地址的对应关系,它按时间间隔均匀地储存。在存储卷的末尾,划分了一个索引备份分区,是前面索引分区的定期镜像,这是为了数据安全的需要,降低数据无法读取的概率。备份分区是FMFS中用来对重要数据进行备份的空间,它的大小与索引分区相同,保存的数据也和索引分区的内容完全一致。

索引分区如图3所示。

其中,ICB(Information Control Block)为信息控制块,包含了索引分区的所有描述信息,NWA为下一可写地址,标记磁盘的使用情况。

数据分区是FMFS中用于存储多媒体素材内容的主要空间,由若干个Extent组成,在每个Extent的尾部还会增加对相同图像序列的下一个Extent的指针,方便索引。数据分区存储的是所有实体所有帧的数据,它以域和块为基本的单元。每个实体的数据存储在若干不连续(也可能连续)的域内,而每一个域内可以存储若干帧的数据,同时还包括该域的索引表、下一个可写地址块与前后关联域的地址。这样既可以满足运行时增加实体的需求,又能同时维持视频快速查找的特性。数据分区结构如图4所示。

其中,Ea,Eb,Ec为3个不同的实体,数字标号表示同一个实体分割成的不同Extent。

2.3 文件系统访问接口(FMA)

从图1的系统流程来看,FMS的工作机制与SAN相类似,应用层通过FMA所提供的API接口进行读写调用,系统将通过FMIP协议的网络传输,将读写调用传入FMFS,文件系统将根据自己所维护的存储设备调用相应的SCSI操作指令(对于IPSAN存储设备则使用ISCSI指令),并且对需要反复读取的磁盘数据(如索引表、NWA等)引入缓存机制,尽量降低实际的磁盘读写操作。FMA所提供的操作接口主要包括格式化、增加/删除实体、获取一帧或多帧连续的视频数据、帧定位、写入一帧或多帧连续的视频数据等。

1)格式化

格式化过程主要是分配索引分区与数据的大小,同时初始化与卷相关的各种参数。

2)添加实体

添加实体的过程主要是根据实体的信息在索引分区中分配索引表的位置与大小。

3)存储一帧数据

首先需要根据实体的记录信息找到下一个可写的域地址,再读取该域的控制信息得到该域下一个可写的块地址。然后将一帧的图像数据打包,添加时间戳和长度值,存储在分配的空间内。存储之后,需要同时在索引分区与该域的索引表中添加相应的索引项。

如果某一个域的数据空间不够用,则需要申请一个新的域,这个域的地址会记录在索引分区的卷信息中。

如果某一实体损坏,或者输入的图像数据有误,索引分区的索引表仍然需要记录该索引帧,并将该帧标记为已经损坏。这样做的好外是保证索引表中的相隔项之间的时间间隔是恒定的,这样便于根据输入的时间快速计算得到目的帧地址。但是对于每一个域中的索引表则不需要记录损坏帧的索引,只存储所有有效帧的索引即可。

4)索引某一帧

一帧图像的索引过程如图5所示。

由于索引分区中的索引表是按帧均匀建立的,因此根据输入时间与索引表中第一项对应的时间通过计算就可以快速定位到索引项读取数据地址。最大的好处在于减少了查表的操作,但是增加了存储的空间要求。

另外,每一个域中存储有各自的索引表,这个索引表是非均匀索引,是一个以时间为键值,地址为数据的哈希表,因此通过查表定位索引项。

5)从某一起始时间连续播放

(1)根据输入参数查找到对应的帧。

(2)播放这一帧,这一帧结束的下一个块应该是下一帧的开始,因此易于获得下一帧的数据。

(3)如果该帧播放完毕,可以根据所存储的下一个域的地址查找到下一个域。

(4)如果需要倒退,可以读取上一个域的地址。

以视频监控应用为例,对于多个摄像头所对应的一组存储阵列,应用服务器在收到素材流之后便可持续调用FMA将图像数据通过FMFS写入存储系统。FMFS会根据查询所得的NWA将帧数据写入到相应的逻辑地址上,再由RAID控制器映射到物理地址上,并进行数据冗余保护。由于NWA数据量较小,所以FMFS会采用缓存及定时同步的机制进行快速查询,这样就能够最大限度地减少FMFS对存储系统的实际读写操作。

在FMFS中,会根据每一路摄像头发出的视频流进行分块存储的方式找到相应的Extent,以保证图像数据的局部连续性,这样在回放时能够更大程度上减少存储I/O次数。同时,由于在每个Extent的最后都保存有下一个相关Extent的指针,能够加快连续读取的索引速度。

由于FMFS对数据保存是流式写入处理,NWA必然为线性增长,当视频数据的保存超过一定天数以后,存储设备的可用空间接近耗尽,此时可以将数据流循环存储,从头覆盖以前位置上的数据,这样视频数据流形成一个环状结构,自动实现循环利用存储的需求,同时又能够在适当的时候调取所需要的素材进行迁移。具体的视频数据存储时长取决于存储空间的大小以及用户设置。计算方式为

式中:T为存储时长,C为磁盘容量,N为实体个数,R为实体平均码率。

2.4 数据安全控制

虽然RAID-5的磁盘冗余机制已经保证了当一个磁盘发生损坏时,可以由其他磁盘校验进行数据恢复,但是为了避免来自用户本身所造成的磁盘数据损坏,如用户使用不当的方式用其他应用程序对数据磁盘进行了误写入,对重要数据进行差错校验和备份的机制仍然是必要的。以下就是FMFS对抗数据损坏引入的安全机制:

1)如果索引分区的索引表损坏,可以访问索引备份分区的索引表,而如果两者都损坏,则可以根据每一个域中各自记录的索引表来恢复索引分区的索引表。即使数据分区的索引表有所损坏,也可以达到部分恢复的目的。

2)添加对索引数据的校验位,可以根据校验位来判断索引数据的有效性。

3)为了不丢失错误的数据流,可以在检查到错误的时候为每一个实体再分配一个错误实体,该错误实体存储的是这个实体产生的所有错误数据。由于错误实体的数据并不是按时间连续的,因此不能建立均匀索引表。这样做的好处是分隔了正确的数据流与错误流,同时还可以根据错误信息恢复原始的正确信息。

3 系统性能对比

文件系统访问性能通常使用数据吞吐量和I/O时间来进行量化衡量。在此,笔者使用自写程序,分别对NT-FS文件系统和FMFS进行测试,测试步骤为:

1)每一帧数据的大小平均为200 kbyte,用以模拟视频数据。

2)测试NTFS和FMFS在磁盘上顺序写入10万帧数据所用时间。其中,NTFS每帧为一个文件,用文件名区分,NTFS簇大小为64 kbyte,FMFS每帧占用一个帧索引,最大帧大小固定为256 kbyte。

3)分别在两种文件系统上保存30万帧数据后,测试顺序和随机访问10万次数据所用时间。为保证两种文件系统读取数据量一致,每次访问读取的数据量均为128 kbyte。

测试结果如表1所示。

测试结果显示:

1)FMFS在顺序访问的情况下,由于不必再每次进行帧位置查询,I/O次数减少,性能得到了很大的提高。

2)在完全随机访问的情况下,FMFS的耗时相对普通文件系统并无太大优势。用IOMeter测试磁盘在128 kbyte文件块大小完全随机读取时,极限性能为9.76 Mbyte/s,所以此项性能主要受限于磁盘随机访问性能。

4 小结

在大规模视频存储的应用背景下,视频查询访问等待时间成为一个性能瓶颈,笔者通过对旧有查询方式进行改进,充分利用视频数据的时间线特征,减少查询跳转次数,提出了一种新型的视频专用存储文件系统,从而使得视频数据寻找起来更加快捷,相对于传统文件系统,在顺序访问时的性能得到了很大的提高。如果在将来能够对随机访问时的查询I/O次数进行进一步的精简,FMFS的性能优势会进一步得到体现。

摘要：提出了一种新型的视频存储文件系统。讨论了在视频监控的需求背景下,基于SAN的视频存储文件系统所应该考虑到的一些条件,包括视频监控流的特性、磁盘特性。设计出了一个充分利用这些特性的视频存储解决方案,克服了一般文件系统存储视频的弊端,满足了大容量实时数据流快速存储回放的要求,并结合实际情况描述了方案的实现细节。最后介绍了该文件系统相对于其他方案的优势。

关键词：视频监控,文件系统,SAN,时间线,哈希索引

参考文献

[1]马文渊,周聪.适用于数字视频的存储应用网络——SAN[J].电视技术,2001,25(5):78-80.

[2]何元清,孙世新,黄天云.基于并行磁盘阵列的视频数据布局[J].计算机应用研究,2004,21(4):63-65.

[3]蔡明,任绮年,易剑光.视频监控系统中的视频存储系统的设计与实现[J].江南大学学报:自然科学版,2003,2(2):115-118.