【IT168 案例】上海银行近年来通过推进专业化经营和精细化管理,着力在中小企业、财富管理和养老金融、金融市场、跨境金融、在线金融等领域培育和塑造经营特色, 不断增强可持续发展能力。目前在上海、北京、深圳、天津、成都、宁波、南京、 杭州、苏州、无锡、绍兴、南通、常州、盐城等城市设立分支机构,形成长三角、 环渤海、珠三角和中西部重点城市的布局框架,并与全球 120 多个国家和地区近 1500 多家境内外银行及其分支机构建立了代理行关系。

　　一、项目背景

　　OpenStack 在金融领域的实践一直是被广大用户所关注的话题，在国内，根据《银监会十三五信息科技指导意见》 ,金融行业将加大云计算建设力度，鼓励金融行业云的共同创新与合作，许多银行也将 OpenStack 作为未来银行行业云的核心引擎选项之一，在 OpenStack 基础上打造适合银行的金融行业云。

　　然而， OpenStack 作为一个通用的开源云计算框架，它在设计之初并没有过多地考虑到各个行业的需求，因此在针对行业性客户落地的时候，往往会存在一定的差距。而银行业又是一个比较具备行业特色的领域，需要受到金融监管的制约，保证一个稳定合规的 IT 框架同时，又需要在具备金融科技 FinTech 趋势下对市场做出快速反应，兼顾风险规避和机会博取。因此从过去几年 OpenStack 在金融云领域的实践来看，已经进入了几大“深水区”，比如网络架构转型问题。

　　于是， 客户与九州云联合中国银联及其他合作伙伴， 组成联合研究团队， 就金融云与 SDN 技术研究等达成合作，以下一代金融云数据中心为蓝图，开展基于 SDN的下一代金融云网络架构技术研究。

　　二、项目目标

　　由于网络技术变革难度高与应用影响性广等因素，当前在全球范围内金融机构云网络架构落地实践整体上还处于初级阶段，无标准化统一的架构实践参考。为此联合研究团队经过近两年多的努力，提出了在当前金融数据中心网络架构下，应用SDN 的云网参考模型，并予以落地实践验证，其中主要完成工作包括：

　　1) 金融云数据中心需求梳理与新架构网络设计原则规划。结合当前金融行业网络架构现状分析，梳理了未来金融数据中心网络高敏捷、高弹性、高可管理、高可用以及高性能的“五高”要求，归纳总结了未来金融数据中心网络架构“面向服务理念、管理统一编排、资源池标准化、成熟技术集成再造创新”的四大设计原则。

　　2) 定义基于 SDN 的下一代金融机构网络的标准化参考架构。 联合研究团队提出了“多数据中心间虚拟专网互联，数据中心内核心交换总线互通，传统分区、云网分区并存”的云网络架构模型，模型给出了网络管理平面与数据平面的标准实现架构，服务能力涵盖二/三层网络连通性能力以及负载均衡/防火墙 L4-L7 服务能力。

　　3) 验证标准化参考架构的核心关键技术。研究团队已基于开源技术通过自主研发的区域互联( Region Interconnect) SDN 控制器实现了对核心交换网络(国际创新)与各分区的 SDN 控制器的协调控制，从而实现数据中心内网络资源池化以及网络资源弹性调度服务。

　　三、建设效果

　　上述云网架构模型的应用可实现新一代符合金融行业云要求的网络架构，其效果主要包括：

　　1) 平滑兼容传统架构。 可有效支持双模 IT，可在保持传统网络架构稳定运行的前提下，支持 SDN 等新技术的前瞻性应用。

　　2) 兼容异构网络技术。 通过自主创新的区域互联( RI) SDN 控制技术，实现对厂商设备异构解耦，屏蔽不同厂商在 SDN 技术实现中的技术差异性。

　　3) 网络多租户能力扩展性强。 网络租户能力不局限于单一网络设备区域，可有效扩展至异构设备区域以及跨数据中心区域。

　　4) 安全合规等级不降低。 新模型设计之初即基于现有网络安全与合规性的要求考虑，新技术的应用严格遵守现有金融规范。

　　四、金融数据中心网络面临的挑战

　　(一)面临的挑战

　　当前，“业务应用变革式创新发展”、“以云计算为代表的新技术应用”以及“金融 IT 成本与效率优化新要求”是金融数据中心网络发展面临的三大挑战。

　　首先业务应用发展对网络服务提出新的挑战，面向互联网方式的金融创新应用快速发展对网络服务提出更敏捷的服务要求，网络资源的开通与变更希望是从原本的周为单位提升到分钟级别，从而支撑应用快速投产。

　　其次，云计算等新技术在数据中心内越发应用广泛，其对网络连接也提出新的要求。为适应虚拟化技术，资源的漂移迁移能力，网络服务需要从物理机识别提升到虚拟主机识别，云的多租户特性要求在共享的物理网络设备下提供可独立解耦的网络地址路由空间，云弹性伸缩则要求网络有更高地弹性扩展能力，巨大的云平台规模，也要求云网络服务也必须具备足够的网络容量与健壮性。

　　再则，新常态下金融机构的运营压力要求 IT 架构可实现更高效与低成本，从纯商业“ 产品” 解决方案向“ 自主” 网络方案演进，金融数据中心网络技术应用更趋于开放，要求网络运维人员从单纯的人工维护解放出来，进入高效的自动化方式。

　　(二)未来金融数据中心网络应用需求

　　因此，结合上述发展的挑战与趋势，我们认为未来金融数据中心网络应用需求可总结为高敏捷、高弹性、高可管理、高可用以及高性能的“五高”要求：

　　高敏捷，实现业务快速上线，面对应用的变化达到资源的按需变更，通过新技术应用打破因重安全而舍效率的困局，在云计算新环境下安全与高效并重;

　　高弹性，一是内部弹性强化，打破竖井式架构中网络区域成为限制资源共享的壁垒，实现网络资源池整合与灵活共享与隔离，二是外部弹性兼容，支持新老架构并存，从而使原有网络可以平滑过渡到新架构;

　　高可管理，一是实现管理的体系的简化，支持多品牌的融合管理，二是实现管理自动化与智能化，使日常运维从大量人工维护的高工作量解放出来;

　　高可用，网络架构持续稳定影响金融数据中心全局服务能力，网络架构需要基于稳定可靠的技术构建，使网络服务具备 7*24 小时业务连续性服务的能力;

　　高性能，面对秒杀等新业务场景等的极限服务能力，实现时延和带宽等关键指标的跨越式提升，同时注重资源的高效利用，用尽可能少的资源实现最大的性能服务。

　　五、基于 SDN 的下一代金融机构网络设计与构想

　　(一)网络设计原则

　　SDN 技术的应用对金融数据中心的架构是革命性的变化,因此下一代金融数据中心网络需进行针对性设计，我们总结未来金融数据中心网络需遵循以下四大设计原则：

　　面向服务理念，网络功能以服务、标准 API 接口的形式对外提供，网络系统内部以服务的形式进行自组织，从而提升对外服务能力，简化外部调用网络能力的复杂性;

　　管理统一编排，数据中心内网络二/三层连通、四/七层功能的管理界面统一视图，不同网络资源池的管理采用二级管理编排方式，即底层适配不同网络资源池管理操作、上层异构协调编排;

　　资源池标准化，打破传统网络竖井式架构，利用新一代的大二层技术构建资源池，在不扩大广播域、不增加二层环路风险的前提下提升计算、存储资源调动灵活性。

　　成熟技术集成再造创新，基于网络技术平滑兼容的要求，对基础可扩展网络技术与协议进行继承，组合现有技术进行集成创新，创新而不失稳定，保证网络架构的全局稳定。

　　(二)金融云网架构模型设计与构想

　　( 1)管理控制平面模型

　　传统网络中各功能组件，如交换机、防火墙、负载均衡，通常采用不同的设备供应商解决方案，各产品管理接口存在差异( CLI、 UI 接口各不相同)、普遍不支持 API 接口。设备参数设置、配置调整大量依赖人工，且对于维护人员的专业技能要求较高。在此背景下，网络的服务化、自动化实现难度巨大，难以实现单一的工具或平台对全网设备进行统一管理和服务发布。

　　随着产业技术的发展，网络产品制造商也逐渐改变产品发展方向，由原先的封闭式设备向接口开放的方向发展。现阶段，业内越来越多的产品开始支持 Restful API 接口，管理模式不再局限于传统的 CLI 及 UI 接口。

　　数据中心新架构中，为了实现网络服务化、自动化、统一编排调度等目标，除了要求网络各组件支持 API 接口、可编程等功能特性外，我们认为在管理控制平面，还需对各品牌网络的 API 接口做进一步抽象，通过云网控制平台建立标准网络服务模型，并与各网络组件对接。一方面 ，实现网络服务接口的标准化，统一网络对外接口，屏蔽不同品牌设备接口的差异性，简化上层云管理平台的开发难度。另一方面，将复杂的网络参数隐藏，网络各组件的技术实现、参数设置仍由专业网络工程师完成，上层构建云管理平台专注于服务流程、业务编排、工作流调度、网络标准服务调用等。

　　图 1 云计算管理平台下的网络平台控制架构

　　云网控制平台又可分为两个层次，分别为服务抽象层和驱动控制层。

　　服务抽象层负责将网络资源抽象成标准的网络服务和模型，例如提供创建网络、创建路由器服务，同时对上层平台提供标准的网络服务 API 接口。

　　控制驱动层负责将标准的网络服务在具体的产品上实现，并将上层的 API 接口翻译成网络组件可识别的接口，实现对网络组件的参数调整。

　　( 2)交换网模型

　　传统交换网络稳定有余但灵活、高效不足。各网络分区之间计算、存储、网络、机房物理环境等资源均为独享模式，不同分区之间计算宿主机无法共享资源，虚拟机不允许在不同分区宿主机间漂移，计算资源利用率下降。中小型金融机构交换网及各功能组件以普遍采用万兆级设备，设备性能强劲，但出于安全性、可靠性及合规性的考量，金融机构数据中心网络分区数量无法减少，在客户群规模、交易量不大的情况下，网络资源利用率普遍较低。在机房空间利用率上，各类设备的摆放需综合考虑布线、 TOR 交换机部署、电力、制冷等诸多因素，难以实现灵活部署。若采用传统技术，例如大二层，试图解决上述问题，又会造成广播域的放大、二层环路风险增加，对于后续运维造成巨大压力，得不偿失。

　　因此，我们认为新的交换网架构需在不增加运维风险的前提下提升计算、存储、机房空间资源的利用率。同时引入租户的概念，对一个交换网络进行隔离划分，对于单个金融机构可用于实现部分传统网络分区的合并部署，也可用于多金融租户的合并部署。

　　金融数据中心新交换网架构仍采用总线型架构，保留传统分区、传统应用接入，新增多个云网分区用于新应用上线或存量应用迁移。在风险可控的前提下，对部分功能相同的网络区域进行合并部署，例如多个业务区合并为一个云网分区，多个隔离区合并为另一个云网分区。

　　图 2 云网模型架构

　　一个云网分区内由同一品牌的 SDN 设备组成，内部采用 Vxlan 分离Underlay、 Overlay 网络，实现网络物理架构与逻辑架构的解耦。采用 Spine+Leaf的物理结构，其中计算 Leaf 接入提供虚拟机的计算服务器资源，网络功能 Leaf 接入负载均衡、防火墙等网元服务设备资源， Border Leaf 负责与数据中心核心交换设备互联， 云网分区内由 Spine 设备负责各 Leaf 之间的流量互通，每个云网分区由其自有的控制器进行管理控制。

　　( 3)分区之间互联模型

　　数据中心核心交换网络则是由独立交换设备组网，不同云网分区可能使用不同的 SDN 解决方案、协议与技术，云网分区内部的 Vxlan 标签在数据包出区域后被剥离，因此云网分区之间在 Overlay 层面无法实现互通。

　　上述数据中心内的组网模型与功能设计的挑战主要在于如何将存在于不同云网分区的租户流量进行识别，从而保证通过核心交换网络后，云网分区可以正确将IP 地址重用的多租户流量转发至正确的租户资源。经过评估，我们认为传统技术中的 VRF(虚拟路由转发表)或 MPLS-VPN(基于多协议标签交换的虚拟网络)技术能很好的解决多个云网分区之间租户信息传递的问题，可将一个 VRF 或 VPN 网络抽象成一个区域互联路由器，用于连接同一租户不同逻辑区域。

　　同时，我们提出了一种区域互联 SDN 控制技术，实现对核心交换网络与各云网分区的 SDN 控制器的协调控制，实现多租户信息标识的传递的隧道能力。

　　图 3 介绍了在数据转发平面的设计思想，每个租户在出各自云网分区时，送入不同的虚拟路由表 VRF(或 VPN)进行转发， VRF 是交换机内部隔离不同路由转发的虚拟化技术，实现了虚拟机的一虚多能力。

　　图 3 RI 数据平面转发设计图

　　在相应控制平面，我们设计了一个 RI 控制器实现对核心交换网络的自动化配置能力，其包括 2 大功能，一是根据租户变动情况动态创建配置 VRF 及其相关配置，二是实现在不同 SDN 云网分区资源动态变化情况下，路由地址动态发布，以便保持动态变换的网络资源的连通性。

　　图 4 给出了 RI 控制器的架构设计，其通过 netconf 协议管理核心交换网络的设备，同时也通过适配不同 SDN 控制器的 API 接口定时或触发读取相应云网分区的动态资源信息。在跨异构 SDN 新租户创建过程中，则会自动根据前述数据转发平面的设计创建相应 VRF 通道，在有新网段资源创建时，触发 RI 控制器通过 SDN 控制API 查询新增网段信息，并通过 OSPF 动态路由注入的方式更新核心交换网络中的VRF 路由表信息，同时我们设计的 RI 控制器定时任务， 定时查询 SDN 的网络资源信息，对比出已删除的网络资源信息，进行路由表清理工作。

　　图 4 RI 控制器控制平面设计图

　　在具体研发过程中，我们考虑到了核心网络设备支持的不同操作管理协议，以及未来不同合作伙伴今后提出新的隧道协议应用方式，因此在代码架构上我们支持了不同设备控制方式和隧道协议的扩展能力，以便未来完善优化。

　　( 4)防火墙与负载均衡模型

　　防火墙及负载均衡用于提供四到七层网络服务，实现逻辑区域之间的安全隔离、服务器流量分摊。金融云网架构模型中，可将防火墙及负载均衡等硬件资源进行池化部署，并按需进行调度。通过云控制平台实现防火墙、负载均衡资源池的统一管理。随着 VNF技术的日益成熟，在未来，负载均衡和防火墙将作为 VNF 接入到不同业务逻辑区域当中，实现流量的合理编排和调度。

　　(三)两地三中心模型构想

　　在金融行业普遍采用“两地三中心”的高可用场景下，金融行业云平台的网络服务也必须支持跨数据中心的网络多租户能力。

　　图 5 两地三中心模型

　　在设计中可沿用现有骨干网的设计思路，并引入 MPLS VPN 技术，将同一租户的流量引入一个 VPN 网络中，实现单一租户可调用的资源范围覆盖所有数据中心，并支持分支机构的接入。同时利用 MP-BGP 丰富的选路能力以及 QoS 技术，实现租户信息跨数据中心传递，租户之间、应用流量之间相互隔离。

　　六、原型实践情况

　　基于以上设计构想，研究小组就单中心模型进行原型验证，详细情况如下：

　　(一)物理架构概述

　　图 6 展示了的原型平台物理架构图，交换核心区域由华为三层交换机组成，下联 2 个不同品牌的云网分区，云网分区 1 为华为设备，云网分区 2 为思科 ACI 设备，根据不同云网分区 IT 服务商的合作沟通，负载均衡和防火墙的物理接入位置稍有不同，华为云网分区内负载均衡和防火墙接入网关组，思科云网分区内负载均衡和防火墙接入专用功能 Leaf，但逻辑网络架构保持一致。

　　图 6 原型平台物理架构图

　　在客户研究的数据中心实验环境搭建了原型平台，平台由华为、思科两套异构SDN 云网分区构成，同时也配备了相应的负载均衡和防火墙资源，平台设备列表如表 1：

　　表 1：原型平台设备列表

       平台基于 OpenStack、 OVS、 Centos 等开源软件进行研发，相应软件版本情况如表 2：

　　表 2：软件版本情况表

　　(二)管理控制平台概述

　　使用 OpenStack 作为云控制平台，起到了承上启下的作用,向上暴露标准化的API 给到多租户业务调度。另外一方面它通过底层 SDN 控制器、防火墙驱动、负载均衡驱动和 RI 模块，实现对下层物理网络资源的抽象、隔离和调度。

　　(三)云网分区和云控制平台集成

　　云网分区架构下，需要管理的四种资源：二层网络(思科 APIC 和华为 AC)、三层网关、防火墙和负载均衡。云网分区和云管理平台集成的一般有以下两种模式：

　　图 7 OpenStack 集成 SDN 云网分区技术模式

　　A 模式通过 SDN 控制器驱动二层和三层，四层以上设备通过 OpenStackNeutron 直接管理， B 模式通过 SDN 控制器驱动所有设备。 我们现有的防火墙和负载均衡分别是思科的 ASA 防火墙、华为的 USG 防火墙以及 F5 负载均衡设备， 下表是两种设备通过 A 模式和 B 模式下具备的驱动具备现状：

　　表 3 设备和 OpenStack 集成驱动现状

　　我们选择了 A 模式和 B 模式混合的方式进行组网：

　　● 思科 ASA 防火墙我们重新开发了 OpenStack FWaaS 驱动进行管理( A 模式)

　　● 华为 USG 防火墙通过华为 SDN 控制器进行管理( B 模式)

　　● F5 负载均衡通过 F5 官方提供的 OpenStack 驱动进行管理( A 模式)

　　在以上集成的基础上，我们开发实现了网间互联的 RI 模块，用来完成对核心交换机的策略下发，最终软件驱动的架构如下：

　　图 8 原型集成驱动实现方式

　　(四)效果展示

　　原型平台基于多租户能力，创建了两个金融机构租户，两个租户的网络地址完全隔离复用，每个租户横跨华为与思科的两个云网分区资源，且共同复用所有硬件资源，通过核心交换网络进行数据互通。如下图在极端情况下，两个机构租户的虚拟机资源的部署与地址规划与开通完全一致 。

　　图 9 多租户网络地址完全隔离复用

　　图 10 展示了原型平台金融机构租户管理员的管理服务界面，原型平台实现了云数据中心虚拟路由、负载均衡、防火墙网络资源以及相关网络安全配置的自动化开通能力与统一视图展示。

　　图 10 租户管理服务界面展示的跨区组网视图

　　七、总结与展望

　　经过上述研究与实践， 联合团队认为 SDN 技术的应用将是未来金融数据中心网络的发展趋势，当前技术积累，即未来基于 SDN 的下一代金融云网络架构设计可以推动未来的生产逐步应用。同时我们也认为金融云建设是一项技术集成创新、产业协同创新的重大、复杂性高的系统工程工作，金融机构技术研发应立足于金融科技核心，聚焦于 SDN 等技术应用之金融机构的特色技术解决方案，注重产业合作创新。 未来，我们还将联合更多的金融行业客户和 IT 产业各方， 进一步推动金融云关键技术的突破与应用，提高金融云科技技术的普适性与标准化。