PCIe TLP详解([转载]PCIe扫盲)

一、什么是PCIe TLP

PCIe（Peripheral Component Interconnect Express）是一种高速串行互联总线标准，主要用于连接计算机内部的高速组件，如显卡、网卡、固态硬盘等。而PCIe TLP（Transaction Layer Packet）则是PCIe协议中的一种数据包，用于在不同端点（endpoint）之间传输数据。

PCIe TLP可分为三种类型，分别为Memory Read、Memory Write和Configuration TLP。其中Memory Read和Memory Write主要用于内存读写，而Configuration TLP则用于配置控制。这三种TLP类型也是PCIe协议中最主要的传输方式。

二、PCIe TLP的组成

PCIe TLP由4个部分组成，分别是“Header”，“Address”，“Data”，“Completion”四个字段。

1. Header字段

Header字段是PCIe TLP的起始字段，用于表明该TLP的类型、转换类型、方向、请求重试次数、长度表示符（Length field）和“Poison bit”（毒药位，一种用于停止重试的标记）。Header字段长度为4字节。

2. Address字段

Address字段用于确定请求的地址范围，其中包括了传输的大小和地址信息，便于端点解析请求。Address字段长度为根据请求的地址宽度不同而定，最长可达到16字节。

3. Data字段

Data字段是用来传输协议数据单元（Protocol Data Unit，简称PDU）的，它的长度根据PDU的长度而变化，最大可达到4KB。

4. Completion字段

Completion字段用于TLP的确认和错误处理，它由两个字段组成，分别是Completion Status和Byte Count。Completion Status用来表示这个TLP的结果如何，而Byte Count则用于表明该TLP一共传输了多少字节。Completion字段长度为4字节。

三、PCIe TLP的传输方式

PCIe TLP主要分为两种传输方式，分别是单TLP和多TLP传输。

1. 单TLP传输

单TLP传输是指每个TLP单独传输，能够直接传输所需的所有信息，包括Header、Address、Data和Completion字段，所以相对于多TLP传输，单TLP传输的延时要比较小。

2. 多TLP传输

多TLP传输则是多个TLP一起传输，一次最多可以传输16个TLP，这种方式可以减少总线传输的次数，提高传输效率。但相应的，由于需要协调多个TLP的传输，所以这种方式的延时较大。

四、PCIe TLP的丢失和重发

当PCIe TLP无法传输成功时，通常有两种处理方式: 一种是丢失该TLP，等待后续重传；另一种方式是在一定时间范围内尝试多次重传该TLP。

PCIe TLP丢失主要是由于总线中断、触发毒药位或者其他因素导致的。若该TLP丢失，端点可以启动重传机制并在一个设定的超时时间中进行重传。而在进行重传时，端点一般会减小请求的带宽，同时增加重传次数或者设置一个若干次传输后超时的限制。

五、PCIe TLP的应用举例

1. PC内部总线

PCIe TLP主要应用在PC内部的总线传输中，例如可以用于加速I/O设备与主存储器之间的数据传输（SR-IOV加速）。PCIe TLP可以通过单独或多TLP传输来完成请求和回复，从而提高传输效率和数据传输速度。

2. 数据中心互联

在数据中心中，PCIE TLP也可以用于设备之间的数据传输，例如卡片之间的互联或者SSD与数据中心之间的数据传输。而PCIe TLP传输同时还可以达到多种协议间的互联，带来了更加灵活的数据传输管理方式。

六、代码示例

// 通过DMA传输数据到PCIe
#define DATA_SIZE 1024
#define PCIE_ADDR 0x1000

char buf[DATA_SIZE];

// 初始化PCIE设备
int fd = open("/dev/pcie_device", O_RDWR);

// 获取DMA缓冲区物理地址
dma_addr_t dma_handle;
char* dma_buf = dma_alloc_coherent(fd, DATA_SIZE, &dma_handle, GFP_KERNEL);

// 将数据拷贝到DMA缓冲区
memcpy(dma_buf, buf, DATA_SIZE);

// 发送Memory Write TLP
pci_write_config_dword(fd, PCIE_ADDR, 0x12345678);

PCIe TLP详解([转载]PCIe扫盲)

一、什么是PCIe TLP