ANDROID社区
主页
资讯
技术文章

CPU缓存一致性：从理论到实战

655次阅读  |  发布于1年以前

01 存储体系结构

速度快的存储硬件成本高、容量小，速度慢的成本低、容量大。为了权衡成本和速度，计算机存储分了很多层次，扬长避短，有寄存器、L1 cache、L2 cache、L3 cache、主存（内存）和硬盘等。图1 展示了现代存储体系结构。

根据程序的空间局部性和时间局部性原理，缓存命中率可以达到 70～90% 。因此，增加缓存可以让整个存储系统的性能接近寄存器，并且每字节的成本都接近内存，甚至是磁盘。

所以缓存是存储体系结构的灵魂。

02 缓存原理

2.1 缓存的工作原理

cache line（缓存行）是缓存进行管理的最小存储单元，也叫缓存块，每个 cache line 包含 Flag、Tag 和 Data ，通常 Data 大小是 64 字节，但不同型号 CPU 的 Flag 和 Tag 可能不相同。从内存向缓存加载数据是按整个缓存行加载的，一个缓存行和一个相同大小的内存块对应。

图2

图2中，缓存是按照矩阵方式排列(M × N)，横向是组(Set)，纵向是路(Way)。每一个元素是缓存行(cache line)。

那么给定一个虚拟地址 addr 如何在缓存中定位它呢？首先把它所在的组号找到，即：

//左移6位是因为 Block Offset 占 addr 的低 6 位，Data 为 64 字节
Set Index = (addr >> 6) % M;

然后遍历该组所有的路，找到 cache line 中的 Tag 与 addr 中 Tag 相等为止，所有路都没有匹配成功，那么缓存未命中。

整个缓存容量 = 组数 × 路数 × 缓存行大小

我电脑的CPU信息：

我电脑的缓存信息：

通过缓存行大小和路数可以倒推出缓存的组数，即：

缓存组数 = 整个缓存容量 ÷ 路数 ÷ 缓存行大小

2.2 缓存行替换策略

目前最常用的缓存替换策略是最近最少使用算法（Least Recently Used ，LRU）或者是类似 LRU 的算法。

LRU 算法比较简单，如图3，缓存有 4 路，并且访问的地址都哈希到了同一组，访问顺序是 D1、D2、D3、D4 和 D5，那么 D1 会被 D5 替换掉。算法的实现方式有很多种，最简单的实现方式是位矩阵。

首先，定义一个行、列都与缓存路数相同的矩阵。当访问某个路对应的缓存行时，先将该路对应的所有行置为 1，然后再将该路对应的所有列置为 0。

最近最少使用的缓存行所对应的矩阵行中 1 的个数最少，最先被替换出去。

图3

2.3 缓存缺失

缓存缺失就是缓存未命中，需要把内存中数据加载到缓存，所以运行速度会变慢。

就拿我的电脑来测试，L1d 的缓存大小是 32KB（32768B），8路，缓存行大小 64B，那么

缓存组数 = 32 × 1024 ÷ 8 ÷ 64 = 64

运行下面的代码

char *a = new char(64 * 64 * 8); //32768B
for(int i = 0; i < 20000000; i++) 
    for(int j = 0; j < 32768; j += 4096) 
        a[j]++;

结果：循环 160000000 次，耗时 301 ms。除了第一次未命中缓存，后面每次读写数据都能命中缓存。

调整上面的代码，并运行

char *a = new char(64 * 64 * 8 * 2); //65536B
for(int i = 0; i < 10000000; i++)
    for(int j = 0; j < 65536; j += 4096)
        a[j]++;

结果：循环 160000000 次，耗时 959 ms。每一次读写数据都没有命中缓存，所以耗时增加了 2 倍。

2.4 程序局部性

程序局部性就是读写内存数据时读写连续的内存空间，目的是让缓存可以命中，减少缓存缺失导致替换的开销。

我电脑上运行下面代码

int M = 10000, N = 10000;
char (*a)[N] = (char(*)[N])calloc(M * N, sizeof(char));
for(int i = 0; i < M; i++)
    for(int j = 0; j < N; j++)
        a[i][j]++;

结果：循环 100000000 次，耗时 314 ms。利用了程序局部性原理，缓存命中率高。

修改上面的代码如下，并运行

int M = 10000, N = 10000;
char (*a)[N] = (char(*)[N])calloc(M * N, sizeof(char));
for(int j = 0; j < N; j++)
    for(int i = 0; i < M; i++)
        a[i][j]++;

结果：循环 100000000 次，耗时 1187 ms。没有利用程序局部性原理，缓存命中率低，所以耗时增加了 2 倍。

2.5 伪共享****（false-sharing）

当两个线程同时各自修改两个相邻的变量，由于缓存是按缓存行来整体组织的，当一个线程对缓存行中数据执行写操作时，必须通知其他线程该缓存行失效，导致另一个线程从缓存中读取其想修改的数据失败，必须从内存重新加载，导致性能下降。

我电脑运行下面代码

struct S {
    long long a;
    long long b;
} s;
std::thread t1([&]() {
    for(int i = 0; i < 100000000; i++)
        s.a++;
});
std::thread t2([&]() {
    for(int i = 0; i < 100000000; i++)
        s.b++;
});

结果：耗时 512 ms，原因上面提到了，就是两个线程互相影响，使对方的缓存行失效，导致直接从内存读取数据。

解决办法是对上面代码做如下修改：

struct S {
    long long a;
    long long noop[8];
    long long b;
} s;

结果：耗时 181 ms，原因是通过 long long noop[8] 把两个数据（a 和 b）划分到两个不同的缓存行中，不再互相使对方的缓存失效，所以速度变快了。

本小节的测试代码都没有开启编译器优化，即编译选项为-O0 。

03 缓存一致性协议

在单核时代，增加缓存可以大大提高读写速度，但是到了多核时代，却引入了缓存一致性问题，如果有一个核心修改了缓存行中的某个值，那么必须有一种机制保证其他核心能够观察到这个修改。

3.1 缓存写策略

从缓存和内存的更新关系来看，分为：

从写缓存时 CPU 之间的更新策略来看，分为：

从写缓存时数据是否被加载来看，分为：

3.2 MESI 协议

MESI协议是⼀个基于失效的缓存⼀致性协议，是⽀持写回（write-back）缓存的最常⽤协议。也称作伊利诺伊协议 (Illinois protocol，因为是在伊利诺伊⼤学厄巴纳-⾹槟分校被发明的)。

为了解决多个核心之间的数据传播问题，提出了总线嗅探（Bus Snooping）策略。本质上就是把所有的读写请求都通过总线（Bus）广播给所有的核心，然后让各个核心去嗅探这些请求，再根据本地的状态进行响应。

3.2.1 状态

这些状态信息实际上存储在缓存行（cache line）的 Flag 里。

3.2.2 事件

3.2.3 状态机

图4

表1是对状态机图4 的详解讲解（选读）

当前状态
事件
响应
M
PrRd

  • ⽆总线事务⽣成

  • 状态保持不变

  • 读操作为缓存命中

PrWr

  • ⽆总线事务⽣成

  • 状态保持不变

  • 写操作为缓存命中

BusRd

  • 状态变为共享(S)Shared

  • 发出总线FlushOpt信号并发出块的内容，接收者为最初发出BusRd的缓存与主存控制器（回写主存）

BusRdX

  • 状态变为⽆效(I)Invalid

  • 发出总线FlushOpt信号并发出块的内容，接收者为最初发出BusRd的缓存与主存控制器（回写主存）

E

PrRd

  • ⽆总线事务⽣成

  • 状态保持不变

  • 读操作为缓存命中

PrWr

  • ⽆总线事务⽣成

  • 状态变为已修改(M)Modified

  • 向缓存块中写⼊修改后的值

BusRd

  • 状态变为共享(S)Shared

  • 发出总线FlushOpt信号并发出块的内容

BusRdX

  • 状态变为⽆效

  • 发出总线FlushOpt信号并发出块的内容

SPrRd

  • ⽆总线事务⽣成

  • 状态保持不变

  • 读操作为缓存命中

PrWr

  • 发出总线事务BusUpgr信号

  • 状态转换为已修改(M)Modified

  • 其他缓存看到BusUpgr总线信号，标记其副本为为无效(I)Invalid

BusRd

  • 状态变为共享(S)Shared

  • 可能发出总线FlushOpt信号并发出块的内容（设计时决定那个共享的缓存发出数据）

BusRdX

  • 状态变为⽆效(I)Invalid

  • 可能发出总线FlushOpt信号并发出块的内容（设计时决定那个共享的缓存发出数据）

I

PrRd

  • 给总线发BusRd信号

  • 其他处理器看到BusRd，检查⾃⼰是否有有效的数据副本，通知发出请求的缓存

  • 如果其他缓存有有效的副本，其中⼀个缓存发出数据，状态变为(S)Shared

  • 如果其他缓存都没有有效的副本，从主存获得数据，状态变为(E)Exclusive

PrWr

  • 给总线发BusRdX信号

  • 状态转换为(M)Modified

  • 如果其他缓存有有效的副本, 其中⼀个缓存发出数据；否则从主存获得数据

  • 如果其他缓存有有效的副本, ⻅到BusRdX信号后⽆效其副本

  • 向缓存块中写⼊修改后的值

BusRd

  • 状态保持不变，信号忽略

BusRdX/BusUpgr

  • 状态保持不变，信号忽略

表1

3.2.4 动画演示

图5

各家 CPU 厂商没有都完全按照 MESI 实现缓存一致性协议，导致 MESI 有很多变种，例如：Intel 采用的 MESIF 和 AMD 采用的 MOESI，ARM 大部分采用的是 MESI，少部分使用的是 MOESI 。

3.3 MOESI 协议（选读）

MOESI 是一个完整的缓存一致性协议，它包含了其他协议中常用的所有可能状态。除了四种常见的 MESI 协议状态之外，还有第五种 Owned 状态，表示修改和共享的数据。

这就避免了在共享数据之前将修改过的数据写回主存的需要。虽然数据最终仍然必须写回，但写回可能是延迟的。

3.4 MESIF 协议（选读）

MESIF 是一个缓存一致性和记忆连贯协议，该协议由五个状态组成：已修改**（M），互斥（E），共享（S），无效（I）和转发（F）**。

M，E，S 和 I 状态与 MESI 协议一致。F 状态是 S 状态的一种特殊形式，当系统中有多个 S 时，必须选取一个转换为 F，只有 F 状态的负责应答。通常是最后持有该副本的转换为 F，注意 F 是干净的数据。

该协议与 MOESI 协议有较大的不同，也远比 MOESI 协议复杂。该协议由 Intel 的 快速通道互联 QPI（QuickPath Interconnect）技术引入，其主要目的是解决“基于点到点互联的非一致性内存访问（Non-uniform memory access，NUMA**）处理器系统”的缓存一致性问题，而不是“基于共享总线的一致性内存访问（Uniform Memory Access， UMA**）处理器系统”的缓存一致性问题。

04 内存屏障（Memory Barriers）

编译器和处理器都必须遵守重排序规则。在单处理器的情况下，不需要任何额外的操作便能保持正确的顺序。但是对于多处理器来说，保证一致性通常需要增加内存屏障指令。即使编译器可以优化掉字段的访问（例如因为未使用加载到的值），编译器仍然需要生成内存屏障，就好像字段访问仍然存在一样（可以单独将内存屏障优化掉）。

内存屏障只与内存模型中的高级概念（例如 acquire 和 release）间接相关。内存屏障指令只直接控制 CPU 与其缓存的交互，以及它的写缓冲区（持有等待刷新到内存的数据的存储）和它的用于等待加载或推测执行指令的缓冲。这些影响可能导致缓存、主内存和其他处理器之间的进一步交互。

几乎所有的处理器都至少支持一个粗粒度的屏障指令（通常称为 Fence，也叫全屏障），它保证了严格的有序性：在 Fence 之前的所有读操作（load）和写操作（store）先于在 Fence 之后的所有读操作（load）和写操作（store）执行完。对于任何的处理器来说，这通常都是最耗时的指令之一（它的开销通常接近甚至超过原子操作指令）。大多数处理器还支持更细粒度的屏障指令。

表2：各处理器支持的内存屏障和原子操作

4.1 写缓冲与写屏障

严格按照MESI协议，核心0 在修改本地缓存之前，需要向其他核心发送 Invalid 消息，其他核心收到消息后，使他们本地对应的缓存行失效，并返回 Invalid acknowledgement 消息，核心0 收到后修改缓存行。这里核心0 等待其他核心返回确认消息的时间对核心来说是漫长的。

图6

为了解决这个问题，引入了 Store Buffer ，当核心想修改缓存时，直接写入 Store uffer ，无需等待，继续处理其他事情，由 Store Buffer 完成后续工作。

图7

这样一来写的速度加快了，但是引来了新问题，下面代码的 bar 函数中的断言可能会失败。

int a = 0, b = 0;
// CPU0
void foo() {
    a = 1;
    b = 1;
}
// CPU1
void bar() {
    while (b == 0) continue;
    assert(a == 1);
}

第一种情况：CPU 为了提升运行效率和提高缓存命中率，采用了乱序执行；

第二种情况：Store Buffer 在写入时，b 所对应的缓存行是 E 状态，a 所对应的缓存行是 S 状态，因为对 b 的修改不需要核心间同步，但是修改 a 则需要，也就是 b 会先写入缓存。与之对应 CPU1 中 a 是 S 状态，b 是 I 状态，由于 b 所对应的缓存区域是 I 状态，它就会向总线发出 BusRd 请求，那么 CPU1 就会先把 b 的最新值读到本地，完成变量 b 值的更新，但是从缓存直接读取 a 值是 0 。

举一个更极端的例子

// CPU0
void foo() {
    a = 1;
    b = a;
}

第一种情况不会发生了，原因是代码有依赖，不会乱序执行。但由于 Store Buffer 的存在，第二种情况仍然可能发生，原因同上。这会让人感到更加匪夷所思。

为了解决上面问题，引入了内存屏障，屏障的作用是前边的读写操作未完成的情况下，后面的读写操作不能发生。这就是 Arm 上 dmb 指令的由来，它是数据内存屏障（Data Memory Barrier）的缩写。

int a = 0, b = 0; 
// CPU0
void foo() {
    a = 1;
    smp_mb(); //内存屏障，各CPU平台实现不一样
    b = 1;
}
// CPU1
void bar() {
    while (b == 0) continue;
    assert(a == 1);
}

加上内存屏障后，保证了 a 和 b 的写入缓存顺序。

总的来说，Store Buffer 提升了写性能，但放弃了缓存的顺序一致性，这种现象称为**弱缓存一致性**。通常情况下，多个 CPU 一起操作同一个变量的情况是比较少的，所以 Store Buffer 可以大幅提升程序的性能。但在需要核间同步的情况下，还是需要通过手动添加内存屏障来保证缓存一致性。

上面解决了核间同步的写问题，但是核间同步还有一个瓶颈，那就是读。

4.2 失效队列与读屏障

前面引入 Store Buffer 提升了写入速度，那么 invalid 消息确认速度相比起来就慢了，带来了速度不匹配，很容易导致 Store Buffer 的内容还没及时写到缓存里，自己就满了，从而失去了加速的作用。

为了解决这个问题，又引入了 Invalid Queue。收到 Invalid 消息的核心立刻返回 Invalid acknowledgement 消息，然后把 Invalid 消息加入 Invalid Queue ，等到空闲的时候再去处理 Invalid 消息。

图8

运行上面增加内存屏障的代码，第 11 行的断言又可能失败了。

核心0 中 a 所对应的缓存行是 S 状态，b 所对应的缓存行是 E 状态；核心1中 a 所对应的缓存行是 S 状态，b 所对应的缓存行是 I 状态；

引入 Invalid Queue 后，对核心1 来说看到的 a 和 b 的写入又出现乱序了。

解决办法是继续加内存屏障，核心1 想越过屏障必须清空 Invalid Queue，及时处理了对 a 的无效，然后读取到新的 a 值，如下代码：

int a = 0, b = 0;
// CPU0
void foo() {
    a = 1;
    smp_mb();
    b = 1;
}
// CPU1
void bar() {
    while (b == 0) continue;
    smp_mb(); //继续加内存屏障
    assert(a == 1);
}

这里使用的内存屏障是全屏障，包括读写屏障，过于严格了，会导致性能下降，所以有了细粒度的读屏障和写屏障。

4.3 读写屏障分离

分离的写屏障和读屏障的出现，是为了更加精细地控制 Store Buffer 和 Invalid Queue 的顺序。

优化前面的代码如下

int a = 0, b = 0;
// CPU0
void foo() {
  a = 1;
  smp_wmb(); //写屏障
  b = 1;
}
// CPU1
void bar() {
  while (b == 0) continue;
  smp_rmb(); //读屏障
  assert(a == 1);
}

这种修改只有在区分读写屏障的体系结构里才会有作用，比如 alpha 结构。在 x86 和 Arm 中是没有作用的，因为 x86 采用了 TSO 模型，后面会详细介绍，而 Arm 采用了单向屏障。

4.4 单向屏障

单向屏障 (half-way barrier) 也是一种内存屏障，但它不是以读写来区分的，而是像单行道一样，只允许单向通行，例如 ARM 中的 stlr 和 ldar 指令就是这样。

图9 ARM Figure 13.2. One-way barriers

理论普及的差不多了，接下单独来说说服务端同学工作中最常用的 x86 内存模型，填一下 4.3 中留下的坑。

05 x86-TSO

x86-TSO（ Total Store Order）采用的是图10 模型。

图10

x86-TSO 有下面几个特点：

下面的代码是 Linux 在 x86 下的内存屏障定义

06 基准测试

6.1 关于 Store Buffer 的测试

6.1.1 测试核心内是否存在 Store Buffer

**6.1.2 测试核心间是否共享 Store Buffer

6.1.3 测试Store Forwarding （转发）是否生效

6.2 测试 CPU 是否乱序执行

6.2.1 测试：StoreStore 乱序

6.2.2 测试：LoadStore 乱序

6.3 测试 n5 / n4b：两个核心同时修改同一个变量

6.3.1 测试：n5

6.3.2 测试：n4b

6.4 测试：写操作的可见性是否传递（如果 A 能看到 B 的动作，B 能看到 C 的动作，那么 A 是否能看到 C 的动作）

07 CAS原理

比较并交换(compare and swap, CAS)，是原子操作的一种，可用于在多线程编程中实现不被打断的数据交换操作，从而避免多线程同时改写某一数据时由于执行顺序不确定性以及中断的不可预知性产生的数据不一致问题。该操作通过将内存中的值与指定数据进行比较，当数值一样时将内存中的数据替换为新的值。

下面代码是使用 CAS 的一个例子（无锁队列 Pop 函数）

template <typename T>
bool AtomQueue<T>::Pop(T& v)
{
    uint64_t tail = tail_;
    if (tail == head_ || !valid_[tail])
        return false;
    if (!__sync_bool_compare_and_swap(&tail_, tail, (tail + 1) & mod_)) 
        return false;
    v = std::move(data_[tail]);
    valid_[tail] = 0;
    return true;
}

在使用上，通常会记录下某块内存中的旧值，通过对旧值 进行一系列的操作后得到新值，然后通过 CAS 操作将新值 与旧值 进行交换。

如果这块内存的值在这期间内没被修改过，则旧值 会与内存中的数据相同，这时 CAS 操作将会成功执行，使内存中的数据变为新值。

如果内存中的值在这期间内被修改过，则一般来说旧值 会与内存中的数据不同，这时 CAS 操作将会失败，新值 将不会被写入内存。

7.1 应用

在应用中 CAS 可以用于实现无锁数据结构，常见的有无锁队列（先入先出）以及无锁栈（先入后出）。对于可在任意位置插入数据的链表以及双向链表，实现无锁操作的难度较大。

7.2 ABA问题

ABA问题是无锁结构实现中常见的一种问题，可基本表述为：

  1. 线程 P1 读取了一个数值 A；
  2. P1 被挂起(时间片耗尽、中断等)，线程 P2 开始执行；
  3. P2 修改数值 A 为数值 B，然后又修改回 A；
  4. P1 被唤醒，比较后发现数值 A 没有变化，程序继续执行。

对于 P1 来说，数值 A 未发生过改变，但实际上 A 已经被变化过了，继续使用可能会出现问题。在CAS操作中，由于比较的多是指针，这个问题将会变得更加严重。试想如下情况：

图12

有一个栈(先入后出)中有 top 和 NodeA，NodeA 目前位于栈顶，top指针指向 A。现在有一个线程 P1 想要 pop 一个节点，因此按照如下无锁操作进行

pop()
{
  do{
    ptr = top;            // ptr = top = NodeA
    next_ptr = top->next; // next_ptr = NodeX
  } while(CAS(top, ptr, next_ptr) != true);
  return ptr;   
}

而线程 P2 在 P1 执行 CAS 操作之前把它打断了，并对栈进行了一系列的 pop 和 push 操作，使栈变为如下结构：

图13

线程 P2 首先 pop 出 NodeA，之后又 push 了两个 NodeB 和 C，由于内存管理机制中广泛使用的内存重用机制，导致 NodeC 的地址与之前的 NodeA 一致。

这时 P1 又开始继续运行，在执行 CAS 操作时，由于 top 依旧指向的是 NodeA 的地址(实际上已经变为 NodeC )，因此将 top 的值修改为了 NodeX，这时栈结构如下：

图14

经过 CAS 操作后，top 指针错误地指向了 NodeX 而不是 NodeB。

简单的解决办法是采用 DCAS（双长度 CAS），一个 CAS长度 保存原始有效数据，另一个 CAS长度 保存累计变化的次数，第一个 CAS 可能出现 ABA 问题，但是第二个 CAS 极难出现 ABA 问题。

7.3 实现

CAS 操作基于 CPU 提供的原子操作指令实现。对于 Intel X86 处理器，可通过在汇编指令前增加 lock 前缀**来锁定系统总线，使系统总线在汇编指令执行时无法访问相应的内存地址。而各个编译器根据这个特点实现了各自的原子操作函数。**

08 原子操作

程序代码最终都会被翻译为 CPU 指令，一条最简单的加减法语句都会被翻译成几条指令执行；为了避免语句在 CPU 这一层级上的指令交叉带来的不可预知行为，在多线程程序设计时必须通过一些方式来进行规范，最常见的做法就是引入互斥锁，但互斥锁是操作系统这一层级的，最终映射到 CPU 上也是一堆指令，是指令就必然会带来额外的开销。

既然 CPU 指令是多线程不可再分的最小单元，那我们如果有办法将代码语句和指令对应起来，不就不需要引入互斥锁从而提高性能了吗? 而这个对应关系就是所谓的原子操作；在 C++11 的 atomic 中有两种做法:

可以通过 is_lock_free 函数，判断一个 atomic 是否是 lock-free 类型。

原子操作有三类：

8.1 自旋锁

使用原子操作模拟互斥锁的行为就是自旋锁，互斥锁状态是由操作系统控制的，自旋锁的状态是程序员自己控制的，常用的自旋锁模型有：

LOCK 时自旋锁是自己轮询状态，如果不引入中断机制，会有大量计算资源浪费到轮询本身上；常用的做法是使用yield切换到其他线程执行，或直接使用sleep暂停当前线程.

8.2 C++ 内存模型

C++11 原子操作的很多函数都有个 std::memory_order 参数，这个参数就是这里所说的内存模型，对应缓存一致性模型，其作用是对同一时间的读写操作进行排序，一共定义了 6 种类型如下：

在不同的 CPU 架构上，这些模型的具体实现方式可能不同，但是 C++11 帮你屏蔽了内部细节，不用考虑内存屏障，只要符合上面的使用规则，就能得到想要的效果。可能有时使用的模型粒度比较大，会损耗性能，当然还是使用各平台底层的内存屏障粒度更准确，效率也会更高，对程序员的功底要求也高。

8.3 C++ volatile

这个关键字仅仅保证数据只在内存中读写，直接操作它既不能保证操作是原子的，也不能通用地达到内存同步的效果；

由于 volatile 不能在多处理器的环境下确保多个线程能看到同样顺序的数据变化，在今天的通用应用程序中，不应该再看到 volatile 的出现。

09 无锁队列

本节是 CPU 缓存一致性的实战部分，通过运用前面的理论知识实现一个无锁队列，达到学以致用的目的。

下面是我采用 CAS 实现了一个多生产者多消费者无锁队列，设计参考 Disruptor ，最高可达 660万QPS（单生产者单消费者）和 160万QPS（10个生产者10个消费者）。

9.1 设计思路

1、如图15，使用 2 个环形数组，数组元素均非原子变量，一个存储 T 范型数据（一般为指针），另一个是可用性检查数组（uint8_t）。Head 是所有生产者的竞争标记，Tail 是所有消费者的竞争标记。红色区表示待生产位置，绿色区表示待消费位置。

图15

2、生产者们通过 CAS 来竞争和移动 Head，抢到 Head 的生产者，先将 Head 加1，再生产原 Head 位置的数据；同样的消费者们通过 CAS 来竞争和移动 Tail，抢到 Tail 的消费者，先将 Tail 加1，再消费原 Tail 位置的数据 。

9.2 实现细节

下面多生产者多消费者无锁队列的代码是在 x86-64（x86-TSO） 平台上编写和测试的。

Talk is cheap. Show me the code.

9.2.1 AtomQueue类模板定义

template <typename T>
class AtomQueue
{
public:
    AtomQueue(uint64_t size);
    ~AtomQueue();
    bool Push(const T& v);
    bool Pop(T& v);

private:
    uint64_t    P0[8];  //频繁变化数据, 避免伪共享, 采用Padding
    uint64_t    head_;  //生产者标记, 表示生产到这个位置，但还没有生产该位置
    uint64_t    P1[8];
    uint64_t    tail_;  //消费者标记, 表示消费到这个位置，但还没有消费该位置
    uint64_t    P2[8];
    uint64_t    size_;  //数组最大容量, 必须满足2^N
    int         mod_;   //取模 % -> & 减少2ns
    T*          data_;  //环形数据数组
    uint8_t*    valid_; //环形可用数组，与数据数组大小一致
};

细心的你会看到 head_ 和 tail_ 还有后面的变量中加添加了无意义的字段 P0、P1 和 P2 ，因为 head_ 和 tail_ 频繁变化，目的是防止出现前面讲过的伪共享导致性能下降问题。

9.2.2 构造函数与析构函数

template <typename T> 
AtomQueue<T>::AtomQueue(uint64_t size) : size_(size << 1), head_(0), tail_(0) 
{
    if ((size_ & (size_ - 1))) 
    {
        printf("AtomQueue::size_ must be 2^N !!!\n");
        exit(0);
    }
    mod_    = size_ - 1;
    data_   = new T[size_];
    valid_  = new uint8_t[size_];
    std::memset(valid_, 0, sizeof(valid_));
}

template <typename T>
AtomQueue<T>::~AtomQueue()
{
    delete[] data_;
    delete[] valid_; 
}

构造函数中强制传入的队列大小（size）必须为 2 的幂数，目的是想用 & 而不是 % 取模，因为 & 比 % 快 2ns，最求极致性能。

9.2.3 生产者调用的 Push 函数 和 消费者调用的 Pop 函数

template <typename T>
bool AtomQueue<T>::Push(const T& v)
{
    uint64_t head = head_, tail = tail_;
    if (tail <= head ? tail + size_ <= head + 1 : tail <= head + 1)
        return false;
    if (valid_[head])
        return false;
    if (!__sync_bool_compare_and_swap(&head_, head, (head + 1) & mod_))
        return false;
    data_[head] = v;
    valid_[head] = 1;
    return true;
}

template <typename T>
bool AtomQueue<T>::Pop(T& v)
{
    uint64_t tail = tail_;
    if (tail == head_ || !valid_[tail])
        return false;
    if (!__sync_bool_compare_and_swap(&tail_, tail, (tail + 1) & mod_)) 
        return false;
    v = std::move(data_[tail]);
    valid_[tail] = 0;
    return true;
}

分析一下上述 Push 和 Pop 函数中读写操作是否需要增加内存屏障，读写操作可以抽象描述如下表格：

在读写操作乱序的 CPU 上可以出现上述情况，会导出线 Bug，解释一下：

解决办法是添加读写屏障（LoadStore barrier），如下表格：

在 Arm 等乱序执行的平台上可以解决问题；幸好 x86-TSO 平台上读操作不能延后，也就不需要读写屏障，手动加了也是空操作（no-op）。

通过执行反汇编命令（objdump -S a.out）得到 Push 中下面代码的汇编代码。

if (!__sync_bool_compare_and_swap(&tail_, tail, (tail + 1) & mod_)) 
400a61:  48 8b 45 f8            mov    -0x8(%rbp),%rax
400a65:  48 8d 50 01            lea    0x1(%rax),%rdx
400a69:  48 8b 45 e8            mov    -0x18(%rbp),%rax
400a6d:  8b 80 d8 00 00 00      mov    0xd8(%rax),%eax
400a73:  48 98                  cltq   
400a75:  48 89 d1               mov    %rdx,%rcx
400a78:  48 21 c1               and    %rax,%rcx
400a7b:  48 8b 45 e8            mov    -0x18(%rbp),%rax
400a7f:  48 8d 90 88 00 00 00   lea    0x88(%rax),%rdx
400a86:  48 8b 45 f8            mov    -0x8(%rbp),%rax
400a8a:  f0 48 0f b1 0a         lock cmpxchg %rcx,(%rdx)
400a8f:  0f 94 c0               sete   %al
400a92:  83 f0 01               xor    $0x1,%eax
400a95:  84 c0                  test   %al,%al
400a97:  74 07                  je     400aa0 <_ZN9AtomQueueIiE3PopERi+0x8c>

return false;
400a99:  b8 00 00 00 00         mov    $0x0,%eax
400a9e:  eb 40                  jmp    400ae0 <_ZN9AtomQueueIiE3PopERi+0xcc>

发现 __sync_bool_compare_and_swap 函数对应的汇编代码为：

400a8a:  f0 48 0f b1 0a         lock cmpxchg %rcx,(%rdx)

是带 lock 前缀的命令，前面讲过，在 x86-TSO 上，带有 lock 前缀的命令具有刷新 Store Buffer 的功能，也就是 head_ 和 tail_ 的修改都能及时被其他核心观察到，可以做到及时生产和消费。

10 参考资料

结束语

OMG，竟然写了这么多，头一次！终于把 CPU缓存、内存屏障、原子操作以及无锁队列一口气梳理完了。期间查阅大量资料，这里特地感谢一下参考资料中的作者，让我学到了很多知识；期间也写了很多测试代码来验证理论，避免误人子弟，尽量做到有理有据。由于作者水平有限，本文错漏缺点在所难免，希望读者批评指正。

Copyright© 2013-2019

京ICP备2023019179号-2