【IT168 资讯】InfiniBand（简称IB）是一种全新的基于通道和交换的开放互连结构标准。它能够连接多个独立的处理器平台、I/O平台以及I/O设备，在同一物理网络上支持一个或者多个计算机系统之间的I/O通信和内部处理器之间的通信。IB结构具有众多传统网络无法比拟的优点，使其逐渐成为高性能集群领域的新标准。

    1． InfiniBand简介

    高带宽、低延时。IB网络最高理论带宽可以达到120Gb/s，最小延时不超过4us。
    支持多种传输服务。
    支持远端存储器直接访问（RDMA），包括RDMA读和RDMA写。
    网络分区功能，支持可编程的分区密钥和路由。
    用户层I/O访问功能，使用户数据可以旁路核心，实现“零拷贝”传输。
    多层次的QOS保障。

    2． 神威IB网络配置

    神威IB网络环境由四大部分组成：主机通道适配器（HCA），IB交换机（Switch）、子网管理（SM）和HPC应用支撑软件。其配置如下图所示：

神威IB网络配置

    HCA采用PCI-X 64位133MHz接口，单端口速率10Gb/s，兼容InfiniBand 1.1标准。
Switch支持无阻塞，全线速交换，内部集成SMA（子网管理代理）、GSA（通用服务代理）和PMA（性能管理代理）。

    SM提供字符和Web网页两种管理方式，支持可编程的分区和路由管理功能。

    HPC应用支撑软件主要包括：HCA驱动程序、MPI环境以及多种上层协议（包括：IPoIB、SDP、SRP、uDAPL）。除此之外，还配置了IB Lustre文件系统，提供对高速共享存储的支持。

    3． 神威IB网络性能

    3.1  MPI性能

    MPI带宽以及延时指标如下图所示：

MPI带宽

    IB 传输层（Verbs层）峰值带宽为887MB/s，MPI峰值带宽为875MB/s。

MPI延时

    IB传输层最小延时4.53us，MPI环境下最小延时5.75us。可以看出，无论是带宽还是延时，IB网络性能远高于其它网络。

    3.2  IPoIB与SDP性能

    运行IPoIB、SDP协议的IB网络与千兆网络带宽比较如下图所示：

IB网络的IPoIB和SDP性能

    IPoIB实测最大带宽214MB/s，SDP实测最大带宽645MB/s，均远高于千兆网带宽。

    4． 神威系列IB产品

    4.1  主机通道适配器SWIBH

主机通道适配器SWIBH

 PCI-X 64位133MHZ接口。
 板上256MB容量DDR266存储器
 单端口速率10Gb/s，延时小于5us
 支持双4X端口
 支持最长17米长线传输
 9个虚通道（8个数据虚通道，1个管理虚通道）
 硬件流控以及CRC校验功能

    4.2  神威24端口IB网络交换机SWIBS24

神威24端口IB网络交换机SWIBS24

 24个InfiniBand 4X端口
 480Gb/s交换带宽
 无阻塞，全线速交换
 17米长电缆传输距离
 48K单播表项，1K多播表项
 MTU大小可到4KB
 集成SMA、GSA和PMA
 多种灵活可配置Qos机制
 9个虚通道（8个数据虚通道，1个管理虚通道）
 支持多种标准IB网络管理软件

    4.3  神威IB HPC软件产品

 HCA驱动程序
 用户API接口
 高性能MPI环境
 高I/O吞吐率IB Lustre文件系统
 支持IPoIB、SDP、uDAPL、SRP等上层协议

    4.4  神威IB 网络管理系统

神威IB 网络管理系统

 网络设置（规模、环境）
 自动配置子网
    - - - 配置端口ID号
    - - - 配置单播多播表
    - - - SL-to-VL映射表
    - - - VL仲裁表
    - - - 配置网络分区
    - - - IB链路激活
 网络监测（状态、流量）
 网络信息查询（节点，故障）
 网络诊断，维护

    4.5  神威系列IB产品研制时间线

神威IB产品研制时间线

    5． 神威IBA产品的特点

 性能高于一般网络产品，并且性能增长速度快。
 采用开放软件策略，加速了软件开发进度，丰富了软件品种。
 产品兼容性好，与国外IB产品完全兼容，互连互通互操作，软件稳定可靠。
 系统可扩展性强，应用范围广泛。

    6． 神威IB网络应用

    神威IB系列产品目前已成功应用于高性能计算领域，并且取得了很好的效果。

    6.1  典型案例：国家气象局气候预报研究系统（16和24节点两套）

典型案例

    应用
    - 中尺度数值模式（MM5）
    - 中期数值天气预报模式（T213）
    - 全球区域同化预报系统（GRAPES）
    - 全球海气耦合模式（AOGCM）
    - 全球气候耦合模式（CGCM）

    环境
    - 16和24台HP-RX2600 Linux服务器
    - 神威24端口IB交换机：SWIBS24
    - 神威10Gb/s速率HCA卡：SWIBH
    - 神威IB HPC软件包
    - 神威IB网络管理系统
    - 神威集群软件系统

 效果
    - 填补了CPU与传统网络I/O系统之间的性能鸿沟
    - 网络通信占用更少的系统资源，用户CPU利用率在99%以上
    - 共享文件系统访问速度大大提高
    - 实际应用课题速度是千兆以太网的3～9倍

    6.2  其他领域应用

 大规模分布式海量存储
 单一网络体系结构（综合FC/Genet）的服务系统
 高性能数据库
 分布共享文件系统（Lustre，PVFS，NFS）
 软件DSM系统