网络通信 频道

数据中心内部网络端口演进

  【IT168 资讯】现有数据中心通常存在相对独立的3张网:数据网(Data)、存储网(SAN)和高性能计算网(HPC)。数据网采用以太网联网,存储网采用光纤通道用于存储,高性能计算网大多采用Infiniband。

  ● 数据中心的前端访问接口通常采用以太网互联,构成一张高速运转的数据网络;

  ● 数据中心后端的存储更多采用NAS、FC SAN等;

  ● 服务器的并行计算则大多采用Infiniband和以太网。

  越来越多的公司希望通过单独产品支持以上3个技术,将数据中心融合为一个网络。

  传统服务器、网络和存储设备的端口类型

  以太网端口

  数据中心的前端访问接口通常采用以太网互联,构成一张高速运转的数据网络。

  传统统数据中心以太网的典型架构采用树状结构,按三层交换机制排列,从核心开始成扇形展开。这种设计来源于局域网架构,大概在10多年前开始被数据中心所采用。

  服务器以千兆服务器为主,从服务器到TOR(架顶交换机)的网络端口大多为千兆电口,也有部分是千兆光口。

  FC光纤通道

  FC,Fibre Channel,光纤通道技术,最早应用于SAN(存储局域网络)。FC接口是光纤对接的一种接口标准。

  FC具有高带宽,低延时的特点,经过多年的发展,是大型存储的首选技术。FC是端到端的光纤通道,所以其QoS保障出色,转发过程中无丢包,FC的BER为-12级别,非常高。现在已经有了接口可达16Gbps的FC存储设备。FC目前在稳定性、安全、性能上都是存储网络最好的选择。预计在未来6、7年内,FC仍然是高端存储客户的首选技术。

  FC标准中对N-port和F-port之间进行标准规范,但是不同厂家之间的FCF设备(导向器设备)不能对接。FC存储和交换技术被少量厂家垄断,特别是交换技术,目前被思科和Brocade垄断,不利于后续的持续发展。FC不能满足未来IDC网络融合的趋势,而FC本身又不能实现融合承载,思科和Brocade都在推FCoE技术,所以后续FC被取代是必然的。

  iSCSI接口

  严格地说,iSCSI是基于以太网的接口,物理层也是以太网。在这里讨论主要是因为iSCSI是IP化的存储接口,有别于存储设备的FC接口。

  现网的存储网络主要部署的是FC和iSCSI。FC主要应用在性能和稳定性要求高的网络,iSCSI主要应用在对价格敏感的小型存储网络,其安全性不如FC。

  目前业界已经有了部分10Gbps的iSCSI解决方案。

  iSCSI本身就承载在以太网上,具备融合特性。

  Infiniband

  Infiniband技术目前主要应用在高性能计算机的互联。带宽大、延迟低是其优势。

  Infiniband架构是一种支持多并发链接的“转换线缆”技术,在这种技术中,每种链接都可以达到2.5Gbps的运行速度。有效数据传输速率可达上百G。Infiniband提供低CPU占用下的RDMA特性(远程直接内存访问),RDMA操作延迟低于1微秒。

  Infiniband协议虽然出现得比较早,但由于厂商的支持问题,应用范围并不太广泛。

  服务器、网络和存储设备的端口类型演进

  随着处理器技术的飞速发展和业务的无限丰富,千兆端口不再能够满足服务器对接口的需求。随着数据中心网络建设的融合趋势,局域网、存储网络和高性能计算网络正逐步统一到以太网接口上,这也大大增加了服务器对10G、40G以太网接口的需求。一旦10G、40G接口成为服务器的普及端口,在数据中心内部40G、100G的互联交换机接口就变得十分必要和紧迫了。不仅如此,超大型的数据中心往往有很大的地域跨度,这些数据中心的互联以及同Internet的接入都需要更高速率的链路。

  市场预测,2016年10G服务器会成为主流(见图1)。

数据中心内部网络端口演进

  10G以太网

  10G以太网(IEEE 802.3ae)在2002年完成了标准化的最初阶段。

  在数据中心内部,我们主要讨论基于光纤的局域网万兆端口和基于双绞线(或铜线)的局域网万兆端口。

  基于光纤的局域网万兆端口,光纤本身价格可以忽略,但是万兆光模块的价格目前还比较昂贵,另外万兆服务器目前应用比例还比较低,因此服务器到TOR的万兆光需求处于起步阶段,目前少量数据中心在试点和部署。

  数据中心机架内部,从服务器到TOR的距离比较短,几米足够。机架内部互联,另外一种便宜的解决方案就是采用支持10Gbps传输速率的SFP+高速铜缆(Direct Attach Cable直连铜缆),实际就是把“光模块+光纤”的线缆换成了“铜接口+铜缆”的线缆。比较常用的无源铜缆长度有1m、3m、5m,7m以上的一般是有源的。

  目前比较被看好的万兆铜缆方案是10GBase-T,相关技术已经成熟。10GBASE-T标准的目标是建立一个支持100米传输、4连接信道的模型。这个目标决定了我们需要一个增强六类布线标准。七类布线是一个现有的、可行的、定型的布线系统,但七类布线在全球市场上的发展缓慢(目前估计不到全球已安装系统的1%)。数据中心几种主流的万兆铜缆方案中,10GBASE-T的成本最低,后续随着服务器主板直接集成万兆电口,10GBASE-T更具成本优势。

  40G/100G以太网

  IEEE 802.3ba(40G和100G以太网)从工作组在2008年初正式成立,到2010年6月标准的正式获批和发布,经历了两年半的时间。

  40G的光模块主要是CFP和QSFP,QSFP体积小,使用更广泛。CFP和QSFP都支持100m/2km/10km的距离传输。40G一般可支持拆分成4个10G口。

  目前主流的100G光模块有CFP、CFP2和CXP三种。

  CFP支持100m/10km传输,光模块尺寸和功耗都很大,是中长距离传输的主流模块;CFP2支持100m/10km传输,与目前传统的CFP模块相比,功率更低,尺寸更小;CXP支持100m传输,用于短距传输。

  后续新型100G光模块主要是CFP4和QSFP28。CFP4的光模块已经有个别厂家发布了;QSFP28体积更小,预计在数据中心会成为主流。

  25G以太网

  服务器和数据中心机架顶式网络设备之间用25G以太网进行单线互联。

  2014年7月1日,包括谷歌、微软、Mellanox、Arista网络和Broadcom在内的成员单位成立了25G以太网联盟,希望发展可优化成本的带宽扩容25G/50G以太网。

  2014年,思科向IEEE全会提交25G以太网,支持者有87人、来自48个公司。未来大型数据中心将从4×10G的40G以太网接口到4×25G的100G以太网接口,服务器提供单通道25G接口将更高效。2014年7月16日IEEE投票,成立“用于服务器互联的单通道25G以太网”研究组。IEEE已经正式成立专项研究小组,旨在推动25Gbps以太网标准的创建工作。

  根据Dell'Oro Group预测,到2018年25G以太网将是10G以太网之后,最流行的网络端口。与现行的10G和40G以太网链路相比,单通道25G和双通道50G协议,预计会将机架顶式交换机的性能提升2.5倍。

  FC光纤通道

  光纤通道行业协会(Fibre Channel Industry Association)已经确定了第6代光纤通道(Gen 6)标准,该标准预计将在2016年正式实施。

  作为下一代光纤通道技术和全球最快的存储网络协议,Gen 6技术可提供32GB(32G FC)的基础速度,这一速度是满足不断演变的服务器工作负载需求和I/O聚合的关键。目前16Gbps的光纤通道技术每秒吞吐量为3200MB,而在全双工模式下,新标准的Gen 6基础通道将提供每秒6400MB吞吐量。此外,新一代技术还提供了一个选项,可以翻两番32Gbps到128Gbps,从而实现全双工速率25600Mbps,同时实现基于光纤通道技术的无缝衔接并且向下兼容。

  据悉,光纤通道领域的相关厂商均已有所动作。博科表示将在2016年出货Gen 6新品,Qlogic也承诺持续为Gen 6光纤通道标准的创新和研发提供支持,并在2015年出货32G FC套件。

  预计在未来6、7年内,FC仍然是高端存储客户的首选技术。

  FC演进到FCoE

  FCoE是由Brocade、IBM、HP、EMC、NetApp、Cisco等厂商所共同支持与贡献的T11标准委员会制定的协议,目的是直接在增强型无损以太网基础设施上传输光纤信道信号。

  FCoE技术通过以太网封装光纤通道帧,可以把数据中心的数据传输和FC光存储网络融合,从而实现数据中心的网络融合。FCoE可以实现IDC网络下的存储和交换网的融合,减少服务器接口的数量,方便布线和管理。另外因为设备连接的物理设备少了,也可以简化服务器的虚拟机迁移。

  FCoE满足IDC网络融合,又能够兼容现有的FC网络,符合技术前后兼容的发展要求。FCoE需要DCB(Data Center Bridge)支持,只有满足DCB要求的以太网上才可以部署FCoE。FCoE同样存在安全的问题,需要MACSEC来确保网络安全。另外还存在生成树的问题,需要TRILL技术来解决。

  Dell'Oro的高级分析师Casey Quillin认为,FCoE将作为FC技术的一个潜在的替代方案,但不是一个必须的替代方案。

  “以太网就像一个压路机,它将所有竞争者都压在脚下。现在它唯一还没有打败的就是光纤通道,但随着时间的推移,它将最终吞没光纤通道。”Gartner公司分析师Skorupa说,“但是让大部分数据中心将存储连接到以太网会需要5年以上的时间。目前有超过500亿美元已安装的光纤通道资产。”

  预计FCoE大规模应用是在6、7年之后。

  数据中心内部网络端口演进,近期以服务器网络端口演进为主,以及前端网络和后端网络的融合。高性能计算机互联还是传统的Infiniband接口,高端存储仍然是FC的天下,短期内没有实质性的改变。

0
相关文章