【IT168 厂商动态】随着计算机硬件技术的迅速发展，信息存储的成本迅速降低，使得更大的数据可以更加方便地存储;随着互联网带宽的快速提升，数据传输的数据越来越快，可以传输越来越多的数据;随着智能手机的迅速普及，移动互联网应用得以迅速发展;社交网络发展迅速，越来越多的人通过互联网进行交流和信息交互;云计算应用的落地，使得更多的应用程序，可以通过互联网来进行应用。在这种背景下，“大数据”(Big Data)开始受到广泛关注。研究机构Gartner给“大数据”的定义是这样的：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。数据的规模越来越大，从GB到TB，再到PB，甚至达到EB级。数据越大，数据的备份、移动、迁移就是一个极其突出的问题。

　　浪擎科技是国内最大的备份容灾软件厂商，始终致力于各种数据实时备份、数据库实时复制技术研发的厂商，具备完整的技术架构和多系列的产品。既有高端的基于应用层的、备端在线的镜像系统，以及基于私有云架构的大型灾备中心方案，又有基于逻辑卷层的实时数据复制产品，还有容错CDP级的产品线。

　　下面就浪擎科技的各种核心技术在大数据方面的应用来展开说明。

　　一、 浪擎现有的、核心的数据复制、传输技术

　　浪擎科技基于已有的结构化数据和非结构化数据的复制传输技术来探讨大数据传输的实现按。浪擎现有的核心关键技术：

　　1)分布式并行传输，后续“静态的非结构化数据的复制、移动”说明。

　　并行传输的工作原理其实是先分后合的数据处理方式。分解：把海量数据分割成了若干部分，分给多台处理器并行传输;合并：把各台处理器传输后的结果进行汇总操作以得到最终结果。

　　2)重复数据删除，后续“静态的非结构化数据的复制、移动”说明)。

　　浪擎科技的基于文件块的增量传输技术可以在源端删除90% 的冗余备份和归档数据，这种方式将目标端存储中的重复数据删除，将网络中发送的数据量锐减90%，藉此显著加快将大量备份或归档数据迁移的速度。

　　3)结构化数据的实时感知与捕捉，后续“动态的结构化数据的实时复制、移动”章节说明。

　　4)活动的、结构化数据的追逐式复制，后续“动态的结构化数据的实时复制、移动”章节说明。

　　通过使用分布式并行传输控制、镜像复制技术、重复数据删除等技术，可以显著缩短了迁移大量数据所需的时间。以下章节详细说明非结构化数据和结构化数据复制、移动。

　　二、 静态的非结构化数据的复制、移动

　　非结构化数据一般指文件类型数据，如音视频文件、office文件、网页文件、CAD制图文件、科研数据等等，以及现在互联网各种应用产生的数据大多以文件形态来存储。

　　浪擎科技的文件传输通信协议(OFTP)，是浪擎科技为满足大规模的数据传输历经四年自主研发的一种高效传输协议，简称OFTP，可应用在长距离、低可靠性的窄带网络上进行数据传输复制。

　　1. 浪擎的文件传输通信协议(OFTBP)

　　协议具备以下技术特性：

　　√ 并行优化增量传输

　　√ 数据压缩

　　√ 传输一致性校验

　　√ 网络断开自动重连

　　√ 数据包丢失自动重排重发等

　　目前，一般的数据传输协议，如传统的 FTP协议或RCP协议，在进行网络传输的过程中存在着很多弊端。如传输的数据量、性能、准确性等都不能达到TB设置PB级要求。与这些传统的传输协议相比较，在安全性、可靠性、承载能力、扩展性上具有明显的优势。

　　OFTBP协议包含消息头和消息主体两个部分。消息头对消息主体进行描述，包括文件名称、大小、文件属性集合、传输算法等字段;消息主体存放需要传输的数据包。为减少不必要的传输量，在编码时可对数据包进行压缩;为确保在传输过程中的一致性和准确性，必需对数据包进行传输一致性校验。校验码是根据传输数据按特定摘要算法生成，附在数据包后。镜像服务器收到数据包再按照摘要算法生成一个校验码，与传送来的校验码进行比较，从而确定数据的一致性和准确性。如果不匹配，则要求重传。

　　OFTBP协议与算法必需满足这样的需求：

　　√ 网络传输缓冲区自适应管理能力，根据文件大小自动调节网络传输窗口大小。

　　√ 多连接并行传输，可支持多个连接传输。

　　√ 增量传输，两端相同的文件不需要传输，仅传输不同文件块。

　　√ 网络连接重连技术，当网络连接失败时重新连接。

　　√ 智能分块技术，使得传输流量均分到每个连接上。

　　√ 文件分块传输(部分文件传输)，可支持并行传输和断点续传。

　　√ 文件滑动摘要计算技术，使计算负荷和文件I/O符合降到最低。

　　√ 文件完整性校验，保证传输完成后两端文件一致。

　　2. 并行优化增量传输技术(POIT)

　　文件传输采用复杂的并行优化增量传输算法实现大规模的文件系统复制。该算法对传输任务智能分解成更小的任务，然后并行控制传输，最大限度的利用可利用的网络带宽;其次，对于已经镜像过的文件在以后镜像时，将采用优化增量传输，仅复制不同的数据块，尽量降低网络流量，极大的提升传输速度。

　　增量传输算法采用基于文件块的比较，即在滑动窗口控制下对文件分块和对块作摘要运算，然后逐块比较摘要，只传输不同文件块。

▲增量传输示意图

　　增量传输算法主要的过程如下：

　　分块checksum

　　将目标端的数据按照定量分块，比如512字节一块。并且对每一块分别进行checksum。然后将所有checksum传回到源端。

　　哈希checksum查找比对

　　源端将目标端传输过来的checksum放入哈希 Table。并且同样开始进行分块checksum，在每一块checksum结果产生后在哈希Table中查找。如果找到对应记录，那么表明这一块数据两边完全一致，无需传输。反之表明这一块数据中有不相同的数据，需要传输。

　　3. 文件变化实时感知检测(FRP)

　　镜像代理内嵌各种操作系统的虚拟文件系统驱动程序。在Winows操作系统上根据WDM驱动程序模型实现文件系统过滤驱动程序;在Linux、AIX、Solaris等操作系统上通过内核模块实现虚拟文件系统过滤驱动程序。在运行时，镜像代理向操作系统注册并请求加载该驱动程序。在载入操作系统后，该驱动程序实时捕获文件系统的操作动作，从而使得文件镜像可以实时感知文件的变化，而无需极耗资源的轮询文件系统来获取变化。

　　4. 支持功能

　　并行传输

　　对于文件或目录均可实现传输任务智能分解，然后并行控制传输。

　　增量传输

　　采用基于文件块的优化增量传输技术，仅传输和目标文件不同的文件块，尽量减少在网络上的传输流量。

　　重复数据删除

　　在数据传输之前或之后对数据进行分析，将传输或存储一份相同的数据。减少数据传输量以及数据存储占用量。

　　断点续传

　　支持断点续传功能，当传输某文件失败，下一次重新传输时，在优化增量传输控制下，将从上一次的传输点开始传输后续的文件块。

　　文件变化实时感知检测

　　镜像代理内嵌各种文件系统的驱动程序。在运行时，该驱动程序实时捕获文件系统的操作动作，从而使得文件备份可以实时感知文件的变化，而无需极耗资源的轮询文件系统来获取变化。

　　可选定文件或目录来复制或移动

　　系统支持仅备份指定的文件或目录;也可采用修改时间、大小、文件或目录名组成正则表达式进行过滤。并可过滤指定的文件动作，例如过滤删除动作，不删除目标文件或目录。

　　支持各种文件格式

　　支持Office文档格式、HTML、TXT、PDF;

　　支持音视频文件格式;

　　支持其他二进制文件格式;

　　支持大文件备份

　　系统采用64位表达文件长度尺寸，支持超过2GB的大文件传输备份，例如500GB大小的文件。

　　支持异构操作系统平台之间的传输备份

　　系统支持在不同操作系统之间的传输备份和存储。例如，将Windows的Office文档传输备份至AIX;或将Solaris的二进制数据文件传输备份至AIX。

　　数据传输一致性和准确性校验

　　确保文件在传输后与源端的文件一致相同。

　　5. 应用场合

　　√ 拥有TB级别以上数据的医疗系统(如PACS)

　　√ 档案文档中心

　　√ 互联网的非结构化数据(NOSQL)移动

　　三、 动态的结构化数据(数据库)的实时复制、移动

　　动态变化的数据通常指在线业务系统的存储数据，例如，证券交易的数据、社交网络的聊天数据、电信的计费数据、医疗的HIS数据、电子商务的交易数据等等。这些业务系统都非常关键，支撑国民经济的正常运行，因此要保障其自身的安全与稳定。但是，这些业务系统的要求非常苛刻，必需要有适合这些用户群体的技术才能满足其需求。

　　浪擎科技的双活数据复制技术正是满足这样的需求。一般而言，这些关键业务系统都把数据放到后台的关系数据库中，因此可以称这些数据为结构化数据。浪擎科技的双活数据复制技术其实质就是动态的、实时的从一个关系数据库复制或迁移到另外一个关系数据库。当然，目标关系数据库可以放置到异地。

　　关系数据库的数据复制、移动必需满足这样的要求：

　　√ 适应业务系统7×24小时不间断运行的特点;

　　√ 必须保证源端数据库与目标端数据库的一致性和完整性;

　　√ 无需停止业务、无需申请停机时间;

　　√ 数据的丢失控制在60秒以内;

　　√ 必须支持两端硬件环境的异构，目标端的服务器选型、磁盘阵列选型不受现有源端的限制;

　　√ 可实现分布复制，即多对一的复制、移动;

　　数据库复制采用ACA(应用捕获与分析)引擎，实时捕获源端生产系统的生产数据，然后解析成数据库记录，然后再通过目标端存储进程保存到目标数据库中，且保持目标数据库实例的可用性。

　　6. 浪擎科技的核心技术——ACA引擎工作原理

　　1)复制引擎架构

　　数据库复制引擎包括代理、复制服务器软件两大部件。代理包含操作系统驱动程序、事务日志实时捕获器、事务日志分析器、传输控制器和任务队列等;复制服务器包含接收队列、SQL应用机构等。

　　2)复制流程

　　事务日志实时捕获器通过操作系统内核驱动驱动程序实时监控源数据库事务日志文件和捕获其变化数据;事务日志分析器通过数据字典将日志数据解析还原成数据库记录，并过滤不需要复制的表或其他数据库对象;传输控制器从任务队列中取出记录数据传输至复制服务器。复制服务器接收队列将记录数据保存至事务队列和Snapshot文件中;SQL应用机构扫描事务队列，将提交事务应用到目标实例。如下图所示。

▲数据库复制原理示意图

　　3)传输控制

　　传输控制器记录当前传输成功的事务序列号。当连接中断等因素导致传输失败，传输控制则停止传输工作，尝试连接直到连接成功，然后从上一次传输成功点接着传输。

　　4)全量复制

　　全量同步采用全量复制技术(参见后续说明)实现，将源数据库备份出来，还原至目标数据库，实现源和目标数据库基准一致。

　　5)目标数据库状态

　　目标数据库处于运行状态，可读可查询，运行的目标系统保证了系统的一致性。

　　7. 浪擎科技的核心技术——追逐式全量复制

　　在实时增量复制之前，需要保障主、备数据库之间的数据同步，才能进行后续实时增量复制。

　　追逐式复制定义：

　　追逐式复制：在完全无需停止业务数据库的条件下，极快的将源数据库全量复制或迁移到目标容灾服务器。追逐式复制技术把源数据库所有事务，包括缓存数据全部复制到目标端，并且对全量复制过程中新增的数据做增量复制，以达到源与目标服务器数据完全一致的容灾要求。

　　数据库追逐式复制有以下技术特性：

　　1)复制速度快 追逐式复制相当于两个数据库之间直接传输数据，经测试追逐式复制速度比使用DTS导入/导出或快照发布的复制技术至少快20倍，可有效的提高复制效率，节省系统资源。

　　2)源数据库无需停顿，在线式直接复制 比传统的数据库复制技术更据优势，传统的数据库复制方式都需要先停止数据库再进行复制操作，当进行全量复制操作时，业务系统要停止工作，可能会对用户使用造成很大麻烦，而追逐式复制就避免了这种情况，它在做全量复制时数据库无需停止，有效保证业务系统持续运行，不会对用户造成损失。

　　3)保证源服务器数据与目标服务器数据完全一致 全量复制技术结合增量复制技术可实现在做全量复制的同时也可把新增的数据内容复制到目标端，确保源服务器和目标服务器数据完全一致。

　　追逐式复制技术原理：

　　1) 在源数据库端全量备份数据库

　　2)将全量备份数据传输至目标服务器

　　3)还原全量备份至目标数据库

　　4)找出全量备份中的最大日志序列号

　　5)以该日志序列号开始后续增量复制

　　8. 技术特性

▲

　　9. 主要实现功能

　　实时单向数据复制，单向复制以主服务器系统作为复制的数据源，复制到备用数据库用于查询。

　　定时全量复制计划，系统还提供便捷的定时全量复制计划。复制计划作业可配置信息字段：开始时间、结束时间和日期以及在这段时间之内的复制频率、需要复制数据库。

　　数据一致性校验，系统提供对复制的表进行数据一致性校验，并修改目标表的数据。这种补偿性能力解决当复制系统停止时，源和目标产生的不一致性。

　　10.应用场合

　　对业务系统能够容忍的停机时间极少的单位(比如金融、电信、医疗、电子商务、交通)

　　要求很小的数据同步延时时间

　　四、 其他应用领域

　　数据汇集：

　　在多业务系统环境中，将不同的业务系统复制到目标系统中，为这些业务系统均保存一个冗余;在分布式的应用环境中，将多个分部或地区的数据汇总复制到总部，实现汇总统计功能。

　　数据分发

　　将源数据复制快速分发到多个服务器上，实现源和目标数据一致。一份数据存在着多个副本。

　　以上两类的应用方式，通过分布式并行传输即可实现这些应用。

　　并行传输的工作原理其实是先分后合的数据处理方式。分解：把海量数据分割成了若干部分，分给多台处理器并行传输;合并：把各台处理器传输后的结果进行汇总操作以得到最终结果。

　　分布式海量数据并行传输系统采用基于缓冲池的数据同步传输和日志传输技术，若干台传输处理机以并行分工方式处理传输任务，可以实现局域网/城域网/广域网等各种不同规模的网络系统间的数据传输，解决海量数据传输处理上的瓶颈。

　　浪擎科技创造性的融合上述两类数据传输技术的优点，研发出基于大数据的数据传输复制和容灾备份产品，在金融、电信、医疗、交通等行业已有大量的应用，为之做出了杰出的贡献，并正在开拓性的研发分布式海量数据并行传输系统，采用基于缓冲池的数据同步传输和日志传输技术，若干台传输处理机以并行分工方式处理传输任务，以期实现局域网/城域网/广域网等各种不同规模的网络系统间的数据传输，解决海量数据传输处理上的瓶颈。

　　浪擎科技：www.wavetop.com.cn