【IT168 案例】随着国家“互联网+”战略实施、“宽带中国·光网城市”建设，我国宽带互联网用户规模、终端规模和业务规模等实现了跨越发展。中国电信CTNet2025战略及业务随选等新需求对IP网络业务的运营能力提出了更高的要求，当前IP网络面临着大规模VPN业务低延时路径调度亟待解决、域内域间端到端流量调度机制缺乏及大规模互联网差异化访问等重大问题：

　　1、 中国电信运营着大量的政企VPN业务，其中许多重要客户对VPN业务端到端提出了强烈的低延时需求。但是，CN2作为承载VPN业务的网络，如其它大型运营商网络一样，为了提升IP网络的冗余可靠性，采用了多方向路由冗余设计，网络中存在大量的等价路由，同一方向的业务流量采用Hash算法分担到不同的等价路由导致业务路径不可控，不能满足低时延业务传送的差异化需求。

　　2、 IP网络缺乏流量调度手段来应对宽带业务发展不平衡与信息源动态分布特性，导致网络资源利用效率低。在ChinaNet与CN2域内骨干节点、国际出口、海外网络以及互联互通等节点，以及骨干网与城域网、IDC、省汇聚网络之间等各环节，都存在流量不均问题，基于IGP Metric的调整策略往往牵一发而动全身，常常出现顾此失彼的情况，仅考虑传统的IP路由机制，依赖等价路由的Hash算法无法实现节点间流量分担策略的灵活调整。需要ChinaNet骨干与城域网多接联动调度的机制才能在全局提升网络资源利用效率。

　　3、 互联网业务的全球性特征导致业务差异化需求多样，互联网访问方向多、业务差异大，需端到端解决网内、网间的业务质量问题，是各大运营商面临的重大问题。需研究具扩展性的分类方法，结合引导控制、QoS等解决网内差异化难题;同时，需研究访问目标的多出口搜索与质量结合的方法，解决网间差异化难题。

　　面对这些新的挑战，传统IP技术及效率低下的运营模式无法适应超大规模业务、流量调度集约化与智慧化的运营需求。

　　一、案例解决方案概述

　　基于以上背景，中国电信开展IP骨干网多维度SDN智能调度关键技术难题攻关，面向中国电信IP骨干网络业务运营需求，结合中国电信ChinaNet/CN2现网实际能力，以SDN思想从多维度视角综合考虑路由、流量流向、业务质量等多种关键因素，研究中国电信IP骨干网互联网业务智能调度管控方案架构，研发多维度智能调度系统，统一数据采集、分析、策略管理与下发，实现了集约的“多级网络协同”，IP网络资源均衡与一键式流量调度;融合拓扑、QoE、路由、流量等多维信息，构建全局动态在线网络仿真模型，实现了端到端延时路径动态自动化计算。多维度SDN智能调度系统采用多线程并行处理、虚拟化以及分布式并行计算基数，充分利用CPU能力，当前处理路由容量可达2000万以上，处理TE+ Tunnel容量可达30万条以上，调度的网络节点设备超过3000台、流量规模超过100T，实现满足大规模IP互联网及业务智慧运营。

　　图1 IP骨干网SDN多维度智能调度系统

　　1. 业界创新大规模网络VPN业务端到端低延时路径随选

　　通过在多维度智能调度系统中，研究并开发TE+ SDN系统调度功能，解决传统方法无法管控VPN业务延时质量路径的难题。自研具有扩展性的大规模网络链路拓扑采集及动态路径计算的系统功能，收集大规模IP网络链路状态LS拓扑图，同时具备根据延时指标动态调整网络链路的Metric能力，通过SDN集中全网QoE测试管理技术，动态测试全网任意链路的延时质量指标，进行具有矫正测试误差的算法处理，基于Dijkstra SPF算法进行具有延时质量感知的路径计算。在此基础上，结合CN2网络当前能力建立TE+ Tunnel，通过SDN系统基于不同类型用户业务分类引导的方法，将重要VPN业务的流量引导至差异化的低延时路径TE+ Tunnel，同时设计具有快速故障倒换的能力，全网可在0.5秒以内将业务倒换至备用路径且能够自动回复，从而形成高质量的VPN业务路径随选服务。

　　图2大规模网络VPN业务延时路径随选

　　2. 业界率先实现大规模IP网络跨域“多级协同”调度提升全局资源效率

　　针对骨干网与省IP网络跨域流量调度技术缺乏、难以协同调度难题，通过多级网络结构拓扑、资源、路由、流量流向统一监测、分析，结合域内、域间流量均衡及拥塞控制自动化智能调度算法与动态在线仿真算法，实现跨域IP网络流量“多级网络闭环联动控制”，规避骨干、城域各自“互不可见”运作模式，实现“分钟级别”调度能力。在算法上实现路由与流量流向、网络质量相结合，使用并行协同计算获取流经关键节点，采用大数据监测分析的方法实现流量流向矩阵式即时分析，采用动态自适应流量均衡性调度DATRS算法，基于合适颗粒度的流量进行自学习计算，选择以城域网、IDC、业务类型甚至特定地址段的流量为调整颗粒度，通过路由与流量相结合的方法实现具有感知流量流向能力的调度机制，从全局的角度集中管控方式以实现选路的优秀的解决方案，并通过“网络+流量+策略+路由”，仿真出调度影响的网络及链路，调度策略可行性，否则重新计算调度，从而实现流量智能柔性调度，从而实现节点间资源利用均衡、提升效率。同时，采用中间节点状态及路由可达性实时监测，能够及时掌握指定路径的工作状态，正常情况下的流量调度不会使业务产生中断，不降低业务体验。即便在出现了节点中断，通过实时路由快速检测，实现在节点及链路故障的情况下快速倒换(低于1秒)，保证在故障的情况下能够实现业务冗余恢复。

　　图3 跨域IP流量“多级协同”调度示意图

　　3. 创新具有业务质量感知能力的互联网差异化业务

　　面向差异化互联网业务，IP骨干网多维度SDN智能调度系统针对骨干网所有的网间业务出口路由进行管理，同时，面向差异化互联网业务需求，与国际网间互联业务质量指标相结合调度，增加质量感知能力。针对特定互联网目标访问对象，从全网的角度搜索所有的互联网出口，然后针对每个出口发起访问目标的延时、丢包、抖动以及基于http等业务质量测试，从而测试所有网间质量情况，通过比较分析找到非常好的的业务出口点。针对差异化的网内业务路径调度，结合IP节点及传输路由组织，建立国际节点间质量指标参数模型，适应不同用户对业务质量差异化需求，定制网内差异化路径。

　　图4具有业务质量感知能力的互联网差异化业务

　　ChinaNet/CN2均与国际运营商多个ISP存在互联关系，相同路由存在多出口情况。当用户通过主选国际运营商访问特定国际方向质量裂化时，可调整路由策略通过其它运营商进行访问。调度系统所有Peer的BGP外部路由PREFIX，并对保障目标路径进行质量测试，用户业务质量劣化后，进行各出口路径质量测试，实现路径计算优秀的解决方案，并通过BGP策略指令下发至边界路由器执行网间路由调整，从而实现了网间业务差异化运营。

　　在CN2网内，结合网络各节点间延时指标参数，通过增强的业务流量分类方法，实现基于保障的用户(标记或地址)访问不同目标以及流量分类模式，根据具体的业务分类生成路径定义配置，采用TE+的方法将高质量VIP客户引导至质量指标好(延时小、丢包少)的Tunnel路径电路去访问互联网，对于质量要求低的客户使用质量指标低的Tunnel路径电路(延时指标大)去访问互联网，实现差异化客户路径指配的目的。同时配合QoS部署和流量本地化，进一步从端到端的角度实现差异化。

　　二、商业价值

　　当前研发的VPN业务随选能力系统功能处理能力超过5000个节点、20000条链路规模的网络，超CN2网络规模，并具备不断扩展能力。系统路径调度能力超过30万条，具备满足CN2全网所有节点(超300个城市)VPN业务延时路径选择能力，在CN2骨干网杭州、西安、广州、上海、南京等节点开展部署应用，业务节点间延时指标平均降低50%，提升了CN2 VPN业务质量体验及差异化能力，丰富了VPN业务随选功能，提升了中国电信VPN业务的主导地位。

　　针对IP网络跨域“多级协同”调度在ChinaNet/CN2骨干网国内、国际所有类型节点开展部署应用，所调度节点可实现超10T业务带宽均衡，实现了传统方法无法解决的流量均衡性;在ChinaNet骨干与广东IP城域网/IDC实现互联网业务跨域两级流量均衡调度，调度带宽超30T，同类节点均衡偏差可控制在5%以内，并解决了广东城域网、省转发平台及直连IDC部分方向拥塞问题;在广东IP网络、骨干、青海城域网试点端到端跨域流量调度，规避部分方向中继传输电路波动对业务质量的影响，同时端到端延时降低20%。通过调度优化，节省了数百G带宽及端口投资，有效提升了关键网络资源利用效率。

　　面向互联网差异化业务访问，目前在CN2国际ISP出口，已经针对巴西银行等多个美洲区域国际访问目标对象进行了网间差异化保障应用，平均访问延时减少50毫秒，形成了具有业务质量感知能力的网间选路能力;配合部署QoS调度，对Google和PCCW业务实施保障，Google至上海之间的访问延时由270ms降低为170ms且稳定运行。此外，在业界首次实现全网质量特征模型结合增强TE+调度，将不同等级的流量引入不同质量等级的TE Tunnel提供差异化服务，实现业务访问路径策略可定制、差异化客户路径指配的目的。

　　本应用案例在理论和实践上进行创新突破，提升了中国电信IP网络业务价值及网络承载效率，为数亿互联网用户提供了高质量互联网服务，支撑中国电信公众互联网业务、国际快车、VPN业务及全球业务拓展与差异化发展，同时相关成果和经验可为行业发展树立示范效应，可推动互联网行业技术就运营未来发展与创新。