【IT168 资讯】InfiniBand（简称IB）是一种全新的基于通道和交换的开放互连结构标准。它能够连接多个独立的处理器平台、I/O平台以及I/O设备，在同一物理网络上支持一个或者多个计算机系统之间的I/O通信和内部处理器之间的通信。IB结构具有众多传统网络无法比拟的优点，使其逐渐成为高性能集群领域的新标准。

    1． InfiniBand简介

    高带宽、低延时。IB网络最高理论带宽可以达到120Gb/s，最小延时不超过4us。
    支持多种传输服务。
    支持远端存储器直接访问（RDMA），包括RDMA读和RDMA写。
    网络分区功能，支持可编程的分区密钥和路由。
    用户层I/O访问功能，使用户数据可以旁路核心，实现“零拷贝”传输。
    多层次的QOS保障。

    2． 神威IB网络配置

    神威IB网络环境由四大部分组成：主机通道适配器（HCA），IB交换机（Switch）、子网管理（SM）和HPC应用支撑软件。其配置如下图所示：

神威IB网络配置

    HCA采用PCI-X 64位133MHz接口，单端口速率10Gb/s，兼容InfiniBand 1.1标准。
Switch支持无阻塞，全线速交换，内部集成SMA（子网管理代理）、GSA（通用服务代理）和PMA（性能管理代理）。

    SM提供字符和Web网页两种管理方式，支持可编程的分区和路由管理功能。

    HPC应用支撑软件主要包括：HCA驱动程序、MPI环境以及多种上层协议（包括：IPoIB、SDP、SRP、uDAPL）。除此之外，还配置了IB Lustre文件系统，提供对高速共享存储的支持。

    3． 神威IB网络性能

    3.1  MPI性能

    MPI带宽以及延时指标如下图所示：

MPI带宽

    IB 传输层（Verbs层）峰值带宽为887MB/s，MPI峰值带宽为875MB/s。

MPI延时

    IB传输层最小延时4.53us，MPI环境下最小延时5.75us。可以看出，无论是带宽还是延时，IB网络性能远高于其它网络。

    3.2  IPoIB与SDP性能

    运行IPoIB、SDP协议的IB网络与千兆网络带宽比较如下图所示：

IB网络的IPoIB和SDP性能

    IPoIB实测最大带宽214MB/s，SDP实测最大带宽645MB/s，均远高于千兆网带宽。