理解 RDMA

发布于 Jan 4, 2023 更新于 Jan 4, 2023

在数据中心领域,远程直接内存访问(英語:remote direct memory access,RDMA)是一种绕过远程主机操作系统内核访问其内存中数据的技术,由于不经过操作系统,不仅节省了大量CPU资源,同样也提高了系统吞吐量、降低了系统的网络通信延迟,尤其适合在大规模并行计算机集群中有广泛应用。在基于NVMe over Fabric的数据中心中,RDMA可以配合高性能的NVMe SSD构建高性能、低延迟的存储网络。

从 DMA 到 RDMA

在理解 RDMA 之前,我们先要回顾一下 DMA。

DMA,直接内存访问,是电脑科学中的一种内存访问技术。它允许某些电脑内部的硬件子系统(电脑外设),可以独立地直接读写系统内存,而不需中央处理器(CPU)介入处理 。在同等程度的处理器负担下,DMA是一种快速的数据传送方式。很多硬件的系统会使用DMA,包含硬盘控制器、绘图显卡、网卡和声卡。

在 DMA 出现之前,读取 IO 设备的数据需要完全依赖 CPU,IO 设备在有数据可读的时候,会触发一个硬件中断,CPU 放下手头的工作,保存工作场景的上下文,进入中断处理程序,且 IO 设备占用总线,CPU 读取总线,中断处理完成后再恢复之前正在执行的任务的上下文。DMA 其实就是引入了一个 DMA 控制器,让 IO 设备经过控制器直接向内存写入数据,不需要让 CPU 处理中断,消除了 CPU 处理中断的开销,节约了 CPU 宝贵的时钟周期。

RDMA 顾名思义,是远程 DMA,但是 DMA 是 IO 设备访问内存,RDMA 的两个主要对象不再是通过总线相连,并且也不是 IO 设备。RDMA 是一台计算机访问另一台计算机的内存。

简单对比一下 DMA 与 RDMA 的过程。

  • DMA:IO 设备 -> DMA 控制器 -> 内存
  • RDMA:远端计算机某操作 -> 远端计算机网卡 -> 某网络 -> 本地计算机网卡 -> DMA 控制器 -> 内存

可以看出,可以把远端计算机到本机网卡一体化视作一台 IO 设备,再通过 DMA 的方式写入本机内存,不需要本机的 CPU 参与这个过程。

RDMA How to

RDMA 恰恰是 InfiniBand 的一个重要应用。

很明显,RDMA 的过程有网卡参与,并且这些网卡需要一些专用的控制逻辑,无法不依赖专用网卡就很轻松地实现。这时候就引入了 InfiniBand 架构。

Mellanox 提供了基于 IB 开源的 rdma 内核拓展 rdma-core,并且封装了各语言可用的库。可以使用该拓展实现基于 IB 的 RDMA 通讯。

下面会尝试基于 rdma-core 的 python 封装在 IB 网络上实现一个 RDMA demo。