RDMA #

分布式存储中常用的网络协议

• Infiniband（IB）：常用于 DPC 场景中的存储前端网络
• RoCE：常用于存储后端网络
• TCP/IP：常用于业务网络

• 传统的 TCP/IP 网络通信是通过内核发送消息，这种通信方式存在很高的数据移动和数据复制的开销。
• RDMA (RemoteDirect Memory Access) 技术全称远程直接内存访问，就是为了解决网络传输中服务器端数据处理的延迟而产生的。
  • RDMA 技术能直接通过网络接口访问内存数据，无需操作系统内核的介入。这允许高吞吐、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。
• 目前有三种 RDMA 网络，分别是 Infiniband（IB）、RoCE (RDMA over Converged Ethernet)、iWARP
  • Infiniband 是一种专为 RDMA 设计的网络，从硬件级别保证可靠传输 ，技术先进，但是成本高昂
    • InfiniBand：设计之初就考虑了 RDMA，从硬件级别保证可靠传输，提供更高的带宽和更低的时延。但是成本高，需要支持 IB 网卡和交换机。
  • RoCE 和 iWARP 都是基于以太网的 RDMA 技术，这使高速、超低延时、极低 CPU 使用率的 RDMA 技术得以部署在目前使用最广泛的以太网上
    • RoCE：基于 Ethernet 做 RDMA，消耗的资源比 iWARP 少，支持的特性比 iWARP 多。
      • 可以使用普通的以太网交换机，但是需要支持 RoCE 的网卡。
    • iWARP：基于 TCP 做 RDMA，利用 TCP 达到可靠传输。相比 RoCE，在大型组网的情况下，iWARP 的大量 TCP 连接会占用大量的内存资源，对系统规格要求更高。
      • 可以使用普通的以太网交换机，但是需要支持 iWARP 的网卡。