Pyverbs 基本教程
Pyverbs
Pyverbs 是 Mellanox 开源的 rdma-core 接口封装，提供了一套简单易懂的服务原语。
打开设备
from pyverbs import device
ctx = device.Context(name='mlx5_0')
使用device模块的Context类初始化一个设备上下文，name参数指定设备名称。ctx创建后，即可通过ctx访问设备。
查询设备信息
from pyverbs import device
with device.Context(name='mlx5_0') as ctx:
attr = ctx.query_device()
这段代码会打印出设备的信息。
查询GID
from pyverbs import device
with device.Context(name='mlx5_0') as ctx:
gid = ctx.query_gid(port_num=1, index=3)
print(gid)
这段代码会打印指定端口及index的GID。在基于IB的RDMA概念中，Node及Node的端口都有各自的GID，并且端口可以通过GID表维护多个GID。
查询端口
from pyverbs import device
with device.Context(name='mlx5_0') as ctx:
port_attr = ctx.query_port(1)
这段代码会打印端口1的信息。
创建RDMA相关对象
Protection Domain
from pyverbs import device
from pyverbs.pd import PD
with device.Context(name='mlx5_0') as ctx:
pd = PD(ctx)
这段代码创建了一个PD。
Protection Domain是一种集合，内部元素只能与内部元素交互，这些元素可以是AH,QP,MR,SRQ。相当于提供一个RDMA工作的容器。
Memory Region
from pyverbs import device
from pyverbs.pd import PD
with device.Context(name='mlx5_0') as ctx:
with PD(ctx) as pd:
flags = e.IBV_ACCESS_LOCAL_WRITE
mr = MR(pd, mr_len, flags)
这段代码为该设备mlx5_0创建了一个MR。
Memory Region是用于为RDMA存放收发数据的内存区域，MR需要绑定到PD并被注册以供RDMA网卡进行DMA访问。
Memory Window
from pyverbs import enums, device
from pyverbs.pd import PD
from pyverbs.mr import MW
with device.Context(name='mlx5_0') as ctx:
with PD(ctx) as pd:
mw = MW(pd, enums.IBV_MW_TYPE_1)
这段代码创建了一个MW。
Memory Window从MR中内存空间分配的内存空间，MW在创建的时候会被绑定到一个已注册的MR上，MW是MR的子集，提供更加灵活的权限控制。
Device Memory
from pyverbs import device
from pyverbs.device import DM, AllocDmAttr
with device.Context(name='mlx5_0') as ctx:
attr = ctx.query_device_ex()
if attr.max_dm_size != 0:
dm_len = random.randint(4, attr.max_dm_size)
dm_attrs = AllocDmAttr(dm_len)
dm = DM(ctx, dm_attrs)
这段代码创建了一个DM，使用设备内存。
Device Memory是位于RDMA网卡上的内存，使用DM和使用Host Memory在使用上没有太大区别，使用DM最大的优势是显著降低了包的传输延迟。
Device Memory Memory Region
import random
from pyverbs import enums, device
from pyverbs.device import DM, AllocDmAttr
from pyverbs.mr import DMMR
from pyverbs.pd import PD
with device.Context(name='mlx5_0') as ctx:
attr = ctx.query_device_ex()
if attr.max_dm_size != 0:
dm_len = random.randint(4, attr.max_dm_size)
dm_attrs = AllocDmAttr(dm_len)
dm_mr_len = random.randint(4, dm_len)
with DM(ctx, dm_attrs) as dm:
with PD(ctx) as pd:
dm_mr = DMMR(pd, dm_mr_len, enums.IBV_ACCESS_ZERO_BASED, dm=dm,
offset=0)
本段代码在设备上创建了一个DMMR。
DMMR与MR是同一级别的概念。区别是MR空间在主机内存中，DMMR空间在RDMA网卡内存中。
Completion Queue
import random
from pyverbs.cq import CompChannel, CQ
from pyverbs as device
with device.Context(name='mlx5_0') as ctx:
num_cqes = random.randint(0, 200) # Just arbitrary values. Max value can be
# found in device attributes
comp_vector = 0 # An arbitrary value. comp_vector is limited by the
# context's num_comp_vectors
if random.choice([True, False]):
with CompChannel(ctx) as cc:
cq = CQ(ctx, num_cqes, None, cc, comp_vector)
else:
cq = CQ(ctx, num_cqes, None, None, comp_vector)
print(cq)
这段代码创建了一个CQ。
Completion Queue用于接收硬件传输来的CQE，用于从硬件向应用层传递某个WEQ/WR的完成情况。
Addressing related objects
地址与路由相关概念与接口的分析推迟到完成demo后继续补充。
Queue Pair
from pyverbs.qp import QPCap, QPInitAttr, QPAttr, QP
from pyverbs.addr import GlobalRoute
from pyverbs.addr import AH, AHAttr
from pyverbs import enums, device
from pyverbs.pd import PD
from pyverbs.cq import CQ
import pyverbs.wr as pwr
ctx = device.Context(name='mlx5_0')
pd = PD(ctx)
cq = CQ(ctx, 100, None, None, 0)
cap = QPCap(100, 10, 1, 1, 0)
qia = QPInitAttr(cap=cap, qp_type = enums.IBV_QPT_UD, scq=cq, rcq=cq)
# A UD QP will be in RTS if a QPAttr object is provided
udqp = QP(pd, qia, QPAttr())
port_num = 1
gid_index = 3 # Hard-coded for RoCE v2 interface
gid = ctx.query_gid(port_num, gid_index)
gr = GlobalRoute(dgid=gid, sgid_index=gid_index)
ah_attr = AHAttr(gr=gr, is_global=1, port_num=port_num)
ah = AH(pd, ah_attr)
wr = pwr.SendWR()
wr.set_wr_ud(ah, 0x1101, 0) # in real life, use real values
udqp.post_send(wr)
这段代码创建了一个QP，并且使用post_send原语发送了一个wr。
Queue Pair包含Send Queue和Receive Queue，应用层访问下层的重要接口。
Extended Reliable Connection
拓展可靠连接域，高级特性先不分析
Extended Reliable Connection Domain
拓展可靠连接域，高级特性先不分析
Shared Receive Queue
共享接收队列，高级特性先不分析
