技术盛宴 | 如何实现数据中心网络架构“去”堆叠

　　作者：张文杰 锐捷网络互联网系统部行业咨询

　　堆叠技术是以太网交换机上用于扩展端口使用较多的一类技术，是一种非标准化技术。各个厂商之间不支持混合堆叠，堆叠模式也为各厂商制定了私有标准。

　　堆叠技术被广泛应用并作为在互联网大型数据中心架构中一种常见的接入方式，多年实践证明，堆叠技术在高可靠网络架构场景里有利也有弊。随着业务的发展以及对业务质量要求的提升，尤其在公有云场景下，要求业务提供7*24小时不间断服务，因业务中断而造成的赔偿至少是1:100的比例，因此解决堆叠的弊端就显得尤为重要。接下来我们谈一谈关于堆叠技术的利弊以及一种“去”堆叠技术的实现方式。

　　堆叠的“利”

　　1. 简化管理

　　当网络中的多台交换通过堆叠的方式虚拟成一台设备后，对于网络运维人员来说原本需要管理的多台设备，如今只需管理一台即可。虽然需要管理的端口数量并没有减少，但是减少了频繁登录不同设备的操作时间，相应的一些端口配置也有变化，整体简化了管理成本。如图一所示：

　　(图一)

　　原本网络管理需要维护4台网络设备，通过堆叠技术将接入层设备进行堆叠后，现在只需要维护1台网络设备即可。

　　2. 弹性扩展

　　(1)端口数量扩展

　　当接入终端数量增加到原来交换机端口密度无法满足接入需求时，可以通过增加新交换机与原交换机组成堆叠系统来实现，如图二所示：

　　(图二)

　　(2)系统处理能力扩展

　　当核心交换机转发能力不能满足需求时，可以增加新交换机与原交换机组成堆叠系统来实现，如图三所示：

　　(图三)

　　3. 高可靠

　　(1)设备的高可靠

　　盒式设备由于成本控制问题一般只有单CPU和单交换芯片的设计，当单台设备CPU出现问题后会导致整台设备的不可用，风险较高。而如果采用堆叠技术的话，相当于形成一个框式设备，同时拥有了更多的备用主控板和接口板，如图四所示：

　　(图四)

　　堆叠中的Master相当于虚拟设备的主控板，Slave设备相当于备用主控板。

　　(2)网络的高可靠

　　堆叠系统支持物理拓扑有两种：链型连接和环型连接，如图五所示：

　　(图五)

　　链型堆叠比环型堆叠至少少接一条堆叠线路，成本方面占优。

　　环型堆叠连接因为断掉任意一条线路，都不会打破堆叠系统，所以具有更高的可用性。

　　堆叠的“弊”

　　1. 软件风险

　　堆叠系统软件升级问题一直是堆叠技术无法绕开的话题，无论是哪个厂商的设备，都无法保证软件系统不存在BUG，一旦出现BUG就需要对软件进行升级。虽然有类似ISSU的技术可以实现不中断升级，但ISSU的适用范围仅限两个版本差距极小的情况，常规交换机系统升级都需要堆叠的多台设备同时重启。因此，无法避免业务中断一段时间。也正是基于此原因，数据中心“去”堆叠化成为了一种趋势。

　　2. 分裂风险

　　交换机之间互联的堆叠线路出现故障或者异常时，将导致堆叠分裂。虽然不常见，但是在实际运行过程中仍会遇到。产生的问题是分裂后，等同于网络中出现了两台配置完全相同的交换机，造成网络配置冲突，最终导致堆叠系统所承载的业务中断。如图六所示：

　　(图六)

　　面对这个问题，当前也有相应的解决办法，就是一旦系统检测到分裂情况，就会将除去堆叠口、管理接口以及管理员指定的例外端口之外的其他端口全部down掉，来防止分裂后对网络造成影响。虽然这种方式规避了配置完全相同的两台交换机出现在网络里面，但代价也是显而易见的，业务恢复操作变得复杂，远程恢复操作变得极难。

　　“去”堆叠的一种实现方式

　　接下来，我们将介绍一种“去”堆叠的实现方式——VSU-Lite，如图七所示：

　　(图七)

　　1. “去”堆叠组网功能实现

　　服务器依然采用双网卡双上联到两台交换机的连接方式，网卡模式设置为：bond mode 4，也就是采用IEEE 802.3ad(动态链接聚合)。

　　(注：由于聚合口的ARP信息只会往一个物理口转发，在“去”堆叠场景下，两台交换机都需要收到服务器的ARP请求，因此服务器要做一个驱动的调整，本次不做讨论。)

　　由于服务器采用LACP协议，为了保证协议的正常运行，在两台接入交换机不互联的情况下，我们采用了一种“欺骗”手段让服务器“认为”上联的仍然是一个设备而不是两台独立设备。这时候我们需要对交换机配置进行一些小“改造”：

　　(1)LACP的System ID设置成一样，因为System ID由系统优先级和系统MAC组成，所以手动调整System ID为一致;

　　(2)LACP的Port ID中加入Device ID(手工配置)，使得服务器看到LACP成员端口编号不同;

　　(3)网关MAC地址配置为相同;

　　(4)开启ARP转主机路由，并通过OSPF、BGP等路由协议重分发至主网。

　　通过以上几个简单的配置，服务器会认为成功连接了一个LACP聚合组。同时将网关设置为接入交换机，从而实现数据中心网络架构的“去”堆叠。

　　2. 优化功能实现

　　(1)广播抑制

　　交换机开启ARP代理，由二层转发转换成三层转发，抑制广播。

　　(2)静默服务器“激活”

　　交换机开启ARP扫描功能，避免静默服务器无法访问外网。

　　(3)上行端口监控

　　交换机上行端口开启监控功能，上行端口全部中断后关闭下行端口，避免上行流量丢包。为了防止端口震荡产生网络频繁变更，也可设置下行端口延时开启。

　　总结

　　以上就是数据中心网络架构中“去”堆叠的一种实现方式。锐捷网络数据中心交换机产品通过VSU-Lite技术全面支持“去”堆叠架构的实现，在服务器接入模式不变的情况下，彻底解决堆叠所产生的弊端，当然，“去”堆叠还可以通过其他的技术手段实现，欢迎有兴趣的同学一起留言交流。

　　感谢您关注锐捷网络技术干货文章!现诚邀您参与有奖调研，您宝贵的意见和建议将帮助我们在技术探索与分享上持续精进。