网络通信 频道

SACC 2013饕餮盛宴 云数据中心实践播报

        大数据时代的网络架构分享  

大数据时代的网络架构分享
▲腾讯架构师杨志华

  在聆听完上述几位嘉宾的演讲后,我们了解了云数据中心是企业未来建设的趋势,建设云数据中心前期要做出完整规划,在建设基础设施时候需要注意哪些问题以及建设绿色数据中心的方法,最后迎来了腾讯架构师杨志华分享的大数据时代的网络架构分享。

  大数据网络架构的特点包括,其一离线计算,无最终用户实时访问,计算结果数据量大;其二高带宽集群通信,轻易打满千兆/万兆,集群规模几百、几千甚至更大其三具备容错能力,任务可调度,对少量节点故障不敏感,数据冗余存储。  

大数据时代的网络架构分享
▲TCP Incast应对

  面对TCP Incast场景,通过分析是多打一的大量突发导致网络端口丢包,最总导致TCP超时重传,此时交换机的缓存是否越大越好呢?对此杨志华指出,“交换机缓存设计与加速比等各方面相关,合理的缓存可以减少丢包但对突发的应对有限,1G升级至10G可以更有效的应对突发。除此之外还可以对系统TCP进行优化,包括拥塞窗口值优化、Qick ACK、SACK等和减小TCP RTOmin;配合任何调度优化和数据中心内部网络QoS能够有效降低TCP重传。  

大数据时代的网络架构分享
▲SDN思路解决群集部署

  面对大数据时代该如何部署群集?普通网络难以支持Bigdata集群,同时在大带宽占用冲击其它业务,杨志华表示,“可以采用SDN的思路来解决问题,传统网络核心提供南北向通道,采用光网络按需提供集群高带宽东西向互联通道,可低成本解决集群与其它业务混合部署、适应普通网络场景。

      更多精彩请点击

大数据时代的网络架构分享
▲中国系统架构师大会

1
相关文章