Infiniband #

IPoIB #

Internet Protocol over InfiniBand

• 利用物理 IB 网络（包括服务器上的 IB 卡、IB 连接线、IB 交换机等）通过 IP 协议进行连接，并进行数据传输。

• IPoIB 性能比 RDMA 通信方式性能要低，大多数应用都会采用 RDMA 方式获取高带宽低延时的收益，少数的关键应用会采用 IPoIB 方式通信。

• IPoIB 设备能够配置为 datagram 和 connected 两种模式，前者提供不可靠的、无连接的链路，后者提供可靠的、有连接的链路。

  • 在 datagram 模式下，queue pair 不允许报文大小超过 IB 链路层的 MTU 值，由于 IPoIB 头还包含了 4 字节，因此 IPoIB 的 MTU 值要小于 IB 链路层的 MTU 值。
  • 在 connected 模式下，queue pair 允许发送比 IB 链路层更大的报文，理论上可以发送大小 65535 长度的报文。 connected 模式具有更好的性能，但是会消耗系统更多的内存。多数系统更关注性能，因此大多数场景下 IB 网口配置为 connected 模式。

ip link show type ipoib