监控系统是业务应用的前沿,而先进、稳定的数字化存储系统是整个业务应用的基础支持平台,有了可靠、先进的存储管理系统,整个监控业务数据才能够被良好保存,并可进行方便的查询与利用。因此,在数字监控录像的基础上,建立先进的监控数据海量存储系统是当前监控系统数字化、网络化发展的必然趋势。
用户需求分析
本工程需进行存储的摄像机数量为450只左右,每路每小时的数据量约为200M/H/路,每天平均按8小时计算,一天产生的存储数据量约为450×200M×8=720000M,即约为703G(720000M÷1024M/G≈703G),每个月按22个工作日计算,一个月产生的数据量约为22×703G=15466G≈15.1T(15466G÷1024G/T≈15.1T),按照安全管理和业务需求,资料需保存的时间为一年,一年的存储容量约为181.2T(15.1T/月×12月=181.2T)左右。
于是拟定本工程存储方案如下:
视频数据的在线存储采用SAN存储架构,通过光纤区域网将数据实时写入到磁盘阵列中,磁盘阵列至少要求具有16TB(15.1TB)的数据存储空间,可保存整个系统大约1个月的视频数据(450路每天录像工作8小时,每小时200M计)。
针对190TB(181.2TB)的年存储量,考虑选用190TB的离线磁带备份存储。即每月做一次全备份,周一至周五增量备份,月末灾难备份,无人干涉的备份时间设为一个月,一共保存12个月的数据。
数据保存采用多级存储的方式,所有数据在线缓存1个月,近线存储1年。
根据上述要求,每天产生的监控数据量为730GB(703GB)左右,所有数据保存一年共有约190TB(181.2TB)的数据,这种数据规模我们采用在线、近线相结合的两级存储结构就可以满足存储要求。其中在线缓存1月的数据量为16TB(15.1TB),然后使用高密度数据流带库能满足所有数据近线保存1年181.2TB(约190TB)的要求。
由于本系统要存储的数据量十分庞大,在线光纤磁盘阵列除了要具备数据缓存1个月的能力外,还需要具备近线数据的检索回迁用空间,这部分空间设计预留1TB。
综上,我们认为,监控数据存储系统将由以下四部分构成:监控录像传送子系统、监控录像多级存储及管理检索子系统、服务器子系统、光纤存储网及以太网络子系统等,各部分之间紧密联系、相互配合,共同构成有机的统一整体。
系统总体结构设计
系统物理结构
监控数据存储系统的整体物理结构参见图1。由图可见,整个监控数据存储系统采用LAN以太网(100/1000Mbps)和SAN光纤(FC)存储网并存的结构。这种双网结构是目前应用最多、最适合、最为成熟的海量视频存储管理系统的拓扑结构,对大量的监控录像存储来说,这种结构也最为合理。
系统中光纤(FC)通道是大量监控录像在多级存储设备之间进行归档、恢复的传输通道;以太网(LAN)是前端硬盘录像机与中心存储系统的连接通道,同时负责传输检索信息、管理信息、以及网络控制信息等业务数据。
系统数据流程与功能综述
工程需要建设的监控数据存储系统是一个结构复杂、数据量庞大的精密系统,几百路数字监控录像每天采集生成的数据量非常大,这些数据除了在硬盘录像机要保存一段时间外,还要被及时传送到多级存储中心,以进行更长时间的存储、调度,并为日后的历史资料检索、回放等提供服务。用户可以通过系统提供的软件检索界面,对某路或某个时间段的历史监控录像进行检索、回放。本方案设计的系统整体数据流程参见图2。
在以上的数据流程中,存储中心的服务器通过千兆以太网将硬盘录像机每天采集生成的视频数据及时接收到在线磁盘阵列(同时硬盘录像机本地也进行短时期的保存,作为备用),系统采用三台下载服务器,并发地工作来完成这一任务,所有数据在盘阵中缓存1个月。数据每天被下载到存储中心的盘阵后,再采用存储管理软件——M2ars将数据由在线盘阵归档到近线磁带库,系统设计对所有录像资料在磁带库中保存1年。
用户可以在任何时刻对已经保存到存储中心的监控录像进行检索、回放,所检索的资料,如果缓存在磁盘阵列中,可以立即进行回放;如果在近线磁带库中,软件则自动完成数据从磁带到盘阵的回迁、恢复。经计算,1GB数据从近线磁带库到在线盘阵的恢复时间约为2分钟左右,用户稍等片刻,在磁带数据回迁完成后,检索用户即可看到磁带库中的录像资料,,可立即进行录像回放。
当然,在软件的管理界面中,除了资料检索查询外,用户还能够方便地完成监控镜头的设置、存储策略设置、设备管理、用户管理等日常管理与操作。
以上为本方案设计的监控存储系统总体数据流程的描述。
本方案对系统日后的升级扩容也进行了充分的考虑,从软件到硬件设备及网络等完全支持今后的升级扩容。
本系统的网络结构是完全开放的,服务器、硬件设备、软件等可以无缝的添加、扩展,不会影响现有系统的运行。
系统设计与功能
整体的监控数据存储系统将由监控录像传送子系统、监控录像多级存储及管理检索子系统、服务器子系统、以及贯穿各部分的网络子系统构成,以下将对各个子系统的结构及其具体运行机制作详细设计。
监控录像传送子系统
监控数据存储系统需要保存的海量数据直接来源于前端的视频监控硬盘录像机。因此,本系统需要和硬盘录像机进行合理的衔接,将每天产生的监控录像及时保存到中心磁盘阵列,再进行数据的多级存储。
监控录像传送子系统采用纯以太网结构,为每台下载工作站配置的网络带宽为千兆。相比在硬盘录像机中插入光纤HBA卡,通过SAN向盘阵保存数据的方式,以太网结构节约了HBA卡的费用,节省了投资,降低了技术难度,保证了硬盘录像机的稳定、正常运行。
针对异常情况可能导致的监控录像传送失败,软件的传送机制支持数据的断点续传,以充分保证系统运行的连续性和可靠性。
监控录像多级存储及管理、检索子系统
对于监控录像存储来说,由于数据量庞大,数据处理能力也要求极高,因此,必须建立一个以SAN为核心的多级存储体系,才能满足要求。在此之上,系统应用层可以对所有录像资料进行方便的管理及检索、回放等等。
在这种多级存储体系中,系统需要使用在线、近线、离线等存储设备。本项目所涉及的各项存储设备规划如下:
存储设备资源规划
一、在线存储规划
根据本项目的情况,数据的在线存储需要使用性能可靠、先进的光纤磁盘阵列。根据计算,在线存储需要保存的数据量参见表2。对在线存储设计如下:
在线存储设备,选择机架式CLARiiON系列的CX500全光纤通道磁盘阵列。
CX500是CLARiiON系列全2Gb结构产品的延伸,是一款性能优越的高端产品,它具有4个光纤通道,每个带宽达到2Gbps,支持120块146GB光纤硬盘,总容量可达到17.5TB。
根据EMC2 CX500磁盘阵列的特点,可以良好的满足录像资料在线存储与资料检索回放等业务需求。并且,本期建设的SAN网络结构也能够满足以后系统扩容升级的需要。
二、近线存储规划
近线存储要满足几百路监控录像保存1年,以及数据库等系统数据备份的存储要求;并且要提供足够的传输带宽和存储扩容能力来保证系统的高效、持续运行。
近线保存1年的数据量为190TB(181.2TB), 按照近线存储需求,本项目中我们选择了SPECTRA T950磁带库。
SPECTRA T950是一款高性能、高密度、高扩展能力的自动磁带库,集成了先进的SAN存储网络控制器,特别适用于数据高速增长的企业应用环境。单库体可达到950个磁带槽位,190TB的数据存储能力。
由于 Spectra T950独特的模块化设计,用户可以采用无障碍扩展方式从一个基本库体逐步升级到5个级联柜120台LTO-2驱动器,磁带库初期配置的单柜体具有950个磁带槽位,今后根据需要可以扩展,最大可超过6000个磁带槽位,使本工程能以非常低廉的成本扩充磁带库的容量和性能。
在其它性能指标方面,Spectra T950满足本工程的下列各项要求:
1、接口类型为FC,每个通道带宽=2Gb/s,可同时支持FC、SCSI等接口
2、1000盘磁带的装卸时间 <= 30分钟
3、平均无故障时间MTBF>=250,000,(××××××××)MCBF>=2,000,000
4、任何电源无单一故障点,任何驱动器、控制器、电源和风扇都可以热插拔;具备数据和控制端口的自动冗余性,机械臂控制也具备冗余性。
综上,SPECTRA T950磁带库良好的性能和容量完全可以满足本次工程监控录像近线存储以及以后扩展的要求。
根据上述的近线存储具体需求,SPECTRA T950磁带库需要做如下配置:一个基本库体,配备6个LTO-2磁带驱动器,初期开通700个可用磁带槽位;磁带槽位可以根据实际情况,逐步进行认可(License) 激活,由于IT设备有逐渐降价的趋势,这样做可以节约成本。同时配备700盘LTO-2数据流磁带。
当然,所有磁带都可以分期分批购买,以节省投资。另外,根据以后系统扩容的需要,SPECTRA T950磁带库的配置还可以及时的扩展升级。
4.2.2<4>多级存储及管理检索软件
对于核心的存储管理软件,我们选择专门为海量监控存储开发的软件——M2ars DVR。
M2ars DVR是专门针对海量监控录像存储及应用,因此在功能特点上,与本项目的实际需求非常吻合。
M2ars DVR的功能涵盖两个层面:(1)、底层的数据多级存储;(2)、应用层的监控录像管理检索。可见,M2ars DVR能够从各方面对重点库的海量监控录像进行多级存储及管理检索,是一个整体的监控数据存储系统软件解决方案。
M2ars DVR由A、B二个模块组组成,每个模块组又有多个功能软件模块,见下所列:
一、多级存储调度
·存储任务管理
·数据归档与恢复
·带库机械手控制
·磁带管理
·系统管理
·系统维护
·磁带冗余纠错
二、监控录像管理与检索
合理、科学的监控录像多级存储是监控数据存储系统的基础平台,方便、高效的录像资料管理与检索是系统中最重要的实际应用。存储平台需要为实际应用服务,是录像管理与检索的可靠保障;而方便、快捷的监控录像管理与检索则是存储平台高可靠性的实际体现,两者相辅相成、互为一体。
应用层的录像管理与检索将遵循简捷、稳定、快速、易于维护管理的原则,使存储策略设计灵活、资料检索定位准确、回迁回放迅速,最大程度地减轻用户的工作量。
M2ars DVR的“监控录像管理与检索”模块正是基于上述原则而开发的应用层软件,能够完全满足工程实际应用中对录像资料进行管理、检索、回放的需要。
本模块采用标准的B/S结构,是一套全Web界面的应用层软件,它集成了监控数据存储系统绝大多数的管理与检索功能,这样,所有底层软件模块在后台自动运行,管理/操作员只需要通过与管理及检索服务器连接的电脑终端,使用IE浏览器即可完成所有日常工作。
这套全Web界面的M2ars DVR应用层软件具有如下功能:
一、监控摄像机管理
二、监控录像存储策略管理
三、存储对象管理
四、监控录像检索回放
1、按工位图检索回放:软件支持特有的按工程实际的监控工位图查询。通过内嵌到Web界面中的摄像机工位图,检索用户可以直接点击要查询的摄像机工位,软件自动将其与时间条件相关联,通过选择具体的监控时间段,检索界面能直接返回符合条件的所有监控录像信息,包括相关录像的详细存储位置、相关状态信息等等。
2、普通检索回放:通过Web检索界面,支持按监控摄像机名称、监控位置、存储对象等,配合时间段来查询具体的监控录像,软件自动返回详细的检索结果。同时,检索界面中还可以按摄像机名称浏览盘阵、带库、甚至带架上的相应监控文件。检索出的录像资料如果在盘阵上,可以直接在Web界面中进行播放;如果在磁带中,需要进行数据恢复,点击 “恢复”按钮后,可以进行数据恢复、回迁、播放。
五、系统管理
指与应用层监控录像管理与检索密切相关的管理功能,它能大大加强软件应用的方便性与可管理性。
六、工作任务监控
七、磁带设备管理等
当然,根据本项目的具体要求,M2ars DVR的监控录像管理检索应用软件还可以按客户的要求定制开发,来更好地满足本工程的实际需要。
通过M2ars DVR,可以为本工程构建一个完整、稳定、实用的监控数据存储系统,从真正意义上实现了海量监控录像下载、整理、存储、管理、检索、分析和利用的一体化。
服务器子系统
服务器子系统是整个监控数据存储系统的计算机运行平台,其可靠性与高速处理能力是必须的。
本方案设计的监控数据存储系统,配备5台高性能机架式PC服务器,具体型号为:HP ProLiant DL380 G3,其中4台配备双FC卡,连接光纤网络。
结语
该项目引入了先进、新颖的设计理念,提高了安全防范工程的科技含量、加强了安全规范化管理,将培养具有现代科技知识的安全保卫队伍、构建适应现代安全理念的技术管理平台,切实提高安全防范水平。