登录 / 注册
IT168网络通信频道
IT168首页 > 网络通信 > 网络通信案例 > 正文

中国移动数据中心呼哈私有云资源池部署案例

2017-12-14 10:36    it168网站 原创  作者: 厂商投稿 编辑: 李雪薇

  【IT168 案例】SDN作为网络体系架构变革的核心技术,开启软件定义网络新时代,SDN架构为网络能力开放、网络资源利用率的提升带来了巨大的增益。中国移动一直致力于新型网络的积极探索和实践,2015年中国移动提出下一代革新网络方案NovoNet,并向业界发布《NovoNet 2020愿景》,构建软件化、虚拟化可编程的网络架构和灵活高效的网络运营体系。NovoNet的目标之一就是引入SDN技术,实现移动网络、IP承载网络、传输网络、数据中心等异构网络的革新,进一步开放网络能力,使得网络能够灵活支撑业务,满足低成本、高效率的运营需求,为通信4.0演进作好准备。SDN众多场景中,SDN数据中心作为最主要的场景之一,技术成熟度较高、产品支持情况较好,试点和商用部署一直一路领先。中国移动SDN数据中心于2014年开展业界首次大规模测试,2015年开展SDN数据中心试点,2016年开展呼哈资源池项目建设,目前呼哈资源池已经投入现网运行。

  呼哈资源池包括呼和浩特资源池和哈尔滨资源池两大资源池节点,采用SDN技术,通过中国移动自研云管理平台、商用控制器和SDN转发设备的引入,实现数据中心网络资源池化,满足业务快速开通、灵活部署、质量保证的需求,进一步提升网络资源利用率和虚拟化能力。目前在统一的云管理平台上,实现租户网络自开通、自配置和自管理,租户网络之间相互隔离,网络功能包括路由器、网络、子网以及外部公网按需定义、防火墙和负载均衡等增值网络服务按需提供,以及结合中国移动业务需求实现的安全域划分和安全域互访服务等。

  1. 部署现状

  中国移动呼和浩特和哈尔滨数据中心资源池建设由中国移动通信集团公司计划建设部牵头,中国移动研究院和中国移动苏州研发中心共同提供技术和开发支撑,中国移动设计院负责工程设计,中国移动通信集团公司网络部负责管理维护,采购共享中心负责设备招标采购。呼和浩特和哈尔滨资源池服务于中国移动核心自有业务,包括集中化经分系统、网状网系统等。目前,呼哈资源池已经完成一期建设,包括呼和浩特和哈尔滨两大资源池节点,一期规模共计6000台服务器,已经投入商用;二期正在进行扩容建设,二期规模共计4万台服务器;其中服务器包括虚拟化服务器和裸金属服务器。呼哈资源池节点是中国移动目前建设规模最大的SDN数据中心,建设规模也处于行业领先地位。呼哈资源池主营中国移动核心自有业务,包括为全网服务的业务支撑系统、网管支撑系统、管理信息系统。

  哈尔滨资源池一期服务器形态均为裸金属服务器,呼和浩特资源池一期服务器形态为混合资源形态,包括虚拟化服务器和裸金属服务器,实现虚拟机和裸金属服务器作为计算资源的灵活调用。中国移动呼哈资源池是虚拟化服务器和裸金属服务器混合资源受SDN统一纳管的经典商用案例,于业界首次实现虚拟机和裸金属服务器的统一调用;中国移动呼哈资源池也是OpenFlow协议商用的经典案例,呼和浩特资源池控制面采用OpenFlow协议,实现控制器和虚拟交换机以及硬件交换机的控制面流表下发;呼哈资源池分别采用不同国产厂商的SDN数据中心解决方案,也体现了国内SDN数据中心产业成熟度。

  中国移动呼哈资源池基于SDN技术进行建设,引入SDN控制器实现数据中心网络智能化。相比较于传统数据中心在网络规划、设计、配置和维护均采取手动和静态方式实现,SDN数据中心可以实现网络智能化,具体表现在网络配置自动化,网络资源的自动编排和配置很大程度上提高了配置管理和下发的效率;网络和业务的协同,将网络配置和业务具体关联,结合业务需求按需进行网络自动配置,有利于业务快速上线,目前业务上线时间从传统的周级别缩短到分钟级;网络智能化运营运维,由中国移动云管理平台对接数据中心控制器实现网络部署和监控、网络运行质量分析等功能,满足实际运维需求。

中国移动数据中心呼哈私有云资源池部署案例

  ▲呼和浩特数据中心

中国移动数据中心呼哈私有云资源池部署案例

  ▲哈尔滨数据中心

  2. 解决方案:

  (1)数据中心SDN工作机制

  呼哈资源池采用SDN经典架构,具体分为四层架构,包括应用层、协同层、控制层和转发层。应用层和协同层为中国移动云管理平台,应用层实现如租户逻辑网络隔离与管理、业务创建和编排、提高网络使用率和网络质量等功能,协同层基于OpenStack K版本,用于联动计算、存储、网络资源。控制层包括数据中心控制器,控制器接受上层业务请求并转发为转发层的流表,配置到转发层网元,针对网络增值设备控制器进行导流,使得相应流量经过网络增值设备。转发层包括SDN转发设备接受控制器下发的流表,实现租户隔离、二三层业务转发、业务链导流等功能。其中云管理平台和控制器以及网络增值网元(防火墙和负载均衡器)采用Plugin对接,中国移动根据实际业务需求,定义云管理平台和控制器的RESTFUL接口。控制器和转发设备之间采用厂家内部实现,主要协议包括OpenFlow、Ovsdb、Netconf等协议。

中国移动数据中心呼哈私有云资源池部署案例

  ▲ SDN数据中心整体架构

  (2)SDN网络抽象模型

  SDN数据中心网络抽象模型如图5所示,适用于租户或业务系统。租户或业务系统通过WEB界面等形式配置该模型,生成虚拟网络。模型采用标准北向接口与协同层和控制器互通。

中国移动数据中心呼哈私有云资源池部署案例

  ▲ 数据中心抽象模型

  ● 路由器:连接多个子网以及互联网,对应物理的VRF。

  ● 子网:对应一个二层广播域VLAN或VxLAN,有一组Ipv4或者Ipv6地址组成的地址池,包含DHCP、主机路由、DNS、配置状态等信息

  ● 端口:虚拟机或主机起和SDN网络的连接点,用户不感知,业务模型自动绑定

  ● 虚拟机/主机:由用户创建的计算单元

  ● 安全组策略:虚拟机或者主机级别的安全访问策略

  ● LB服务:提供负载均衡服务,包括负载均衡算法、健康检查等内容

  ● FW服务:提供防火墙服务,包括网段级别的防火墙策略。业务系统之间有互通时,能够通过内层防火墙的安全策略过滤后通信

  ● 弹性CMNet IP:虚拟机绑定的CMNet IP地址,可以实现1:1 NAT

  ● 弹性承载网IP:虚拟机绑定的承载网 IP地址,可以实现1:1NAT

  ● 外部CMNet IP:路由器绑定的公网IP,可以实现N:1 NAT

  ● 外部承载网IP:路由器绑定的承载网IP地址,可以实现N:1 NAT

  (3)租户隔离

  SDN方案实现了网络资源池化,每个租户或者业务系统都可以自助申请虚拟的L2/L3网络,并在其中添加防火墙、负载均衡等增值网络服务,构成完整的数据中心网络服务。不同租户之间L2/L3网络和各项增值服务的转发表项(流表)或以网元的形式完全隔离,保证安全性。

  SDN转发设备采用转发表(流表)方式隔离,主机之间存在互通流表则通,否则不通。VxLAN ID以及VRF ID作为区分隔离流量的重要参数。租户的每个二层子网分别对应数据中心内全局唯一的一个VxLAN ID;不同租户的三层网络采用VRF或vRouter进行区分。租户申请的增值服务采用LB/FW硬件设备上的虚拟化功能实现,或者采用NFV形式的虚拟机实现。

  (4)SDN网络和整体网络关系

  SDN网络包括应用层管理平台和协同层OpenStack,控制器以及SDN转发设备。其中管理平台和OpenStack以及控制器部署在管理网,SDN转发设备部署在业务网络中。云管平台、OpenStack以及控制器通过管理网络和转发层设备连通,实现对转发网元的控制管理。

  根据业务网络采用虚拟化服务器还是裸金属服务器分为三种场景,分别为纯虚拟化服务器场景,裸金属服务器场景以及混合场景。

  一、虚拟化服务器场景采用KVM虚拟化平台,采用软件SDN解决方案,即VSW属于VTEP(VXLAN Tunneling End Point, VxLAN隧道接入点)。此场景下,网络分为底层(Underlay)网络和SDN重叠网(Overlay)网络。Underlay网络不属于SDN集中控制范围,它包括非SDN接入交换机和核心交换机,将服务器、SDN网关、增值业务网元IP连通。Overlay网络是SDN集中控制范围,包括虚拟交换机、SDN网关、NAT、增值业务网元(如图中粉色框中设备),为不同租户提供隔离的VPC网络服务。

  SDN Overlay接入设备对报文进行VxLAN隧道封装,并通过Underlay网络,将东西向流量发送到目的服务器,将南北向流量发送到SDN网关。SDN网关处理完Overlay网络隧道报文后,将流量直接发送给传统网络或经过增值业务网元后再发送给传统网络。

  Overlay网络采用VxLAN作为虚拟网络区分的标识,VxLAN ID全局唯一。每个租户或业务系统的每个子网对应一个VxLAN。IP地址由租户自行定义,租户之间的IP地址可以重复。

中国移动数据中心呼哈私有云资源池部署案例

  ▲纯虚拟化场景下,SDN数据中心业务网络组网示意图

  二、裸金属服务器场景全部采用纯物理服务器。哈尔滨资源池归属于此场景下,采用SDN硬件方案,即硬件接入交换机(SDN ToR)作为VTEP(VXLAN Tunneling End Point, VXLAN隧道接入点),如图7所示。SDN网络包括硬件接入交换机、SDN网关、NAT、增值业务网元。

  SDN硬件接入设备对物理端口标记VLAN信息,并映射为VxLAN隧道封装,并将东西向流量发送到目的服务器,将南北向流量发送到SDN网关。SDN网关处理完后,将流量直接发送给传统网络或经过增值业务网元后再发送给传统网络。

中国移动数据中心呼哈私有云资源池部署案例

  ▲ 哈尔滨资源池组网示意图

  三、混合场景包括虚拟化服务器和裸金属服务器,呼和浩特资源池归属于此场景下,其中虚拟化部分采用虚拟接入交换机作为SDN接入,裸金属部分采用硬件接入交换机作为SDN接入。

中国移动数据中心呼哈私有云资源池部署案例

  ▲ 呼和浩特资源池组网示意图

  (5)网络架构

  整个数据中心网络在架构设计上采用层次化、模块化的设计方式,根据部署位置分为网络出口层、网络核心层和网络接入层。根据流量属性又区分为管理网络和业务网络。

  网络出口层作为数据中心和外部网络互联互通的纽带,负责与外部网络的互联,保证数据中心内部网络高速访问互联网或其他外部网络,并对数据中心内网和外网的路由信息进行转换和维护。

  网络核心层是整个云数据中心的枢纽,核心交换域联通所有接入交换设备,并上联到互联网接入域路由设备。核心层部署核心交换机、SDN网关以及负载均衡器和防火墙等设备。

  网络接入层是云主机接入网络,包括计算节点服务器(虚拟化服务器和裸金属服务器)和接入交换机设备,由接入交换机上联至业务网络核心交换机。对于虚拟化服务器,在虚拟化平台配置虚拟交换机作为VXLAN接入设备,虚拟交换机支持分布式路由功能,此时接入交换机属于普通三层转发设备,即Underlay设备;对于裸金属服务器,接入硬件交换机作为VXLAN接入设备,此时接入交换机属于SDN转发设备,即Overlay设备。业务网络中根据安全域要求,逻辑划分为不同级别安全域。

  管理网络由业务接入维护区和资源池管理维护区组成,管理接入交换机负责连接资源池服务器设备和各个网络设备,并与管理资源平台、接入维护区互联,其中云管理平台、OpenStack管理模块、SDN控制器部署在管理网络中。

中国移动数据中心呼哈私有云资源池部署案例

  ▲ 呼哈资源池网络架构图

  (6)场景实现

  ● 多租户虚拟网络应用场景(VPC)

  SDN方案实现了网络资源池化,每个租户或者业务系统都可以自助申请虚拟的L2/L3网络,并在其中添加防火墙、负载均衡等增值网络服务,构成完整的数据中心网络服务,称为VPC(Virtual Private Cloud)服务。不同租户之间L2/L3网络和各项增值服务的转发表项或以网元的形式完全隔离,保证安全性。SDN转发设备采用转发表(或流表)方式隔离,主机之间存在互通流表则通,否则不通。VxLAN ID以及VRF ID作为区分隔离流量的重要参数。

  ● 租户业务链

  基于SDN的数据中心网络通过集中化控制的方式可以建立网段内、网段之间的业务链,将网络服务嵌入到通信流量中,具体表现为对与外部交互的HTTP流量部署NAT和负载均衡服务,对内部不同安全域间互访流量部署防火墙服务等。

  ● 网络运维管理

  网络运维管理具体包括租户逻辑网络自助开通、管理和维护,租户自助创建、删除、更改逻辑虚拟网络(包括二层逻辑网络、三层逻辑网络、二三层叠加的逻辑网络、逻辑业务链),网络创建可与计算、存储等资源创建联动;租户可自定义逻辑虚拟网络资源(网络、子网、IP等)和网络策略(访问控制、QoS等策略),租户间网络资源可复用;租户可维护、监控逻辑网络;网元配置信息上报以及日志和故障告警提供等。

  3. 商业价值

  ● 网络资源池化

  数据中心IT基础设施资源主要包括计算、存储、网络等,呼哈资源池基于SDN技术进行建设,实现网络资源池化,支持资源集中管理和编排调度,满足多业务多用户共享要求。

  ● 业务自动化和敏捷部署

  呼哈资源池的业务部署以自服务为主,业务部署流程自动化,业务部署和调整周期显著缩短满足Devops需求,彻底根治了传统数据中心自动化和智能化程度低下的弊病。

  ● 网络智能管理和运维

  由中国移动云管理平台对接数据中心控制器实现网络部署和监控、网络运行质量分析等功能,满足实际运维需求。

  ● 统一资源调度和协同

  呼哈资源池云管平台采用分布式架构,统一管理平台实现多个数据中心的集中管理,满足网络开放性和扩展性要求。云管平台首次实现多种资源形态的统一管理,包括虚拟化服务器和裸金属服务器等。

  ● 开放生态体系

  中国移动云管理平台可以兼容多厂家SDN解决方案,通过南北向接口标准化,实现开放生态体系。

  ● 助力业务革新

  物联网、5G、AI等新技术和新业务对网络提出超低时延、超高带宽以及灵活性和智能化的要求,基于SDN技术的数据中心,具备灵活和智能的优势,易于实现网络和全新形态的计算、存储设备的融合,以及人工智能时代网络和业务的融合。

标签: 中国移动 , SDN
  • IT168企业级IT168企业级
  • IT168文库IT168文库

扫一扫关注

行车视线文章推荐

首页 评论 返回顶部