背景

在之前的文章中，我翻译了cuda10.0官方文档的前三章，这次就来翻译第四章——硬件实现

英伟达GPU架构通过由多线程的流式多处理器(SM)组成的可变数组编译，当一个主机CPU上的cuda程序调用了一个核网格，网格内的线程块将会被枚举，并被分发到具有合适执行能力的多处理器上。线程块内的线程在一个处理器上并发执行，多个线程块也可以在一个处理器上并发执行。当线程块结束时，新的块就会在腾出来的处理器上启动。多处理器被设计用来并发执行上百个线程，为了管理这么多的线程，它使用了一个单独的称为SIMT(单指令多线程)架构。指令通过使用线程内的指令级并行和通过硬件多线程的线程级并行来调度。不像CPU核是按序调度的，在GPU的多处理器里，没有分支预测和推测执行(speculative execution)。另外英伟达GPU架构使用了小端表示法。接下来，我们讲解所有设备共有的架构特征和流式多处理器。

SIMT架构

多处理器以伪线程的形式创建、管理、调度和执行线程，伪线程就是一组32个并行线程的集合。组成伪线程的独立线程在程序的同一地址开始，但它们有各自的指令地址计数器和寄存器状态，因此可以自由分支，独立执行。起源于波的伪线程属于是第一个并行线程技术，半伪线程是均分伪线程后的第一或第二部分，四分之伪线程就是伪线程四等分后的其中一部分。

当多处理器拥有了一个或多个要执行的线程块，它会把线程块分区成伪线程，每个伪线程被伪线程调度器调度执行。将线程块分割成伪线程的方法总是一样的：每个伪线程包含连续递增的线程id，第一个伪线程会包含线程id为0的线程。第二章中线程层次一节描述了线程id和块中线程索引的关系(线程索引和块索引可以用来计算线程id)

一个伪线程同时执行一个指令，所以当线程块内的所有32个线程都对它们自己的执行逻辑没有异议时，效率也就拉满了。如果伪线程中的某些线程因为数据依赖的条件分支而另辟蹊径，伪线程也会执行每个条件分支，但是不在这条支路上的线程就不会被执行。分支分散只会在伪线程内出现，不同的伪线程不管在执行的代码路径是否相同，都会并行执行。

SIMT架构类似于SIMD(单指令多数据)向量架构，这个架构中一条指令控制多个待处理的元素。这两种架构的关键区别时SIMD向量架构把SIMD宽度暴露给了软件，而SIMT指令是在单个线程内指定执行和分支行为的。和SIMD向量机相反，SIMT允许程序员为独立、可变的线程写出线程级并行的代码，也可以为合作线程写出数据并行的代码。为了考虑正确性，程序员基本可以忽略SIMT的行为，但是当心代码很少要求伪线程内的线程分散，注意到这一点可以提高程序的性能。在实践中，这和传统代码里缓存线的角色类似：当考虑正确性时，缓存线的大小可以被安全的忽略，但如果要求性能极佳，那就得在代码结构中考虑缓存线的大小。而另一方面，向量架构要求软件把装载合并成向量，然后手动管理分支分散。

在Volta架构之前，伪线程使用被32个线程和指定活跃线程的活跃掩码所共享的程序计数器，结果同一伪线程中不同区域或者不同执行状态的线程不能相互发送信号或者交换数据，要求锁控数据细粒度共享的算法很容易因此死锁，这种死锁取决于竞争线程来自于哪个伪线程。

从Volta架构开始，独立线程调度允许线程间的完全并发，而不用考虑是否来自同一伪线程。这时，GPU持有每个线程的运行状态，包括程序计数器和调用栈，所以可以在线程粒度上进行并行，如此既更好地利用了执行资源，也允许线程等待其他线程生产的数据。调度优化器决定如何把来自同一伪线程的活跃线程组到一个SIMT单元里，这样既保留了过往英伟达GPU中SIMT调度的高吞吐量，又提高了灵活性：线程可以以比伪线程更小的粒度下分散和重新汇聚。

如果开发者要在之前的硬件架构中做出伪线程同步的假设，独立线程调度可能会导致一个与预期大相径庭的参与执行代码的线程集合。具体地，任何伪线程同步代码(比如同步释放、伪线程内合并等)应该被重新审视以确保在Volta及更高版本的架构中的适配性。

注意：
一个伪线程中参与当前指令执行的线程称之为活跃线程，反之不参与执行的就是不活跃线程。线程不活跃的因素有很多，包括比伪线程内其他线程更早结束、身处和伪线程正在执行的分支不同的代码路径上，或者是线程数不能被伪线程容量整除的线程块中的最后一个线程。
如果被伪线程内多个线程执行的非原子性操作向全局或共享内存的同一个地址进行了写操作，发生在那个地址上的串行写此时取决于设备的计算能力，而且哪个线程执行最后一次写是不确定的。
如果被伪线程内多个线程执行的原子操作对全局内存的一个地址进行了读、写和修改，每个读写或修改都会发生，并且是串行执行的，但是它们发生的顺序不得而知。

硬件多线程

被多处理器处理的伪线程执行环境(程序计数器、寄存器等，每个伪线程都有)在伪线程的整个生命周期中是片上持有(on-chip maintained)的。因此从一个执行上下文切换到另一个没有开销，在每个指令发起时，伪线程调度器会选择其线程已经准备好执行下一条指令的伪线程(请参见上一小节中关于活跃线程的记载)来进行指令的分配。

具体地，每个多处理器都有一个在伪线程之间分区的32位寄存器的集合，以及在线程块间被分区的并行数据缓存或共享内存

对于一个要执行的核函数而言，在一个多处理器上能够并存和同时处理的线程块数和伪线程数取决于此处理器上可用的寄存器和共享内存数以及此核函数要求的寄存器数和共享内存数。此外，每个多处理器上可共存的线程块和伪线程数也有一个最大值限制，这些限制和多处理器可用的寄存器与共享内存数是设备计算能力的函数，具体请参见下表：
在这里插入图片描述
如果每个多处理器没有足够的寄存器或者共享内存来至少处理一个线程块，那这个核函数就会启动失败。