CUDA并行编程模型的核心抽象是什么？

C++

本文多数理论与实践案例源自CUDA C++编程指南。图形处理器（GPU）在相同价格和功耗范围内，相比中央处理器（CPU），提供了更高的指令处理能力和内存带宽。许多应用通过利用这些优势，在GPU上运行时比在CPU上更快（详见GPU应用）。其他计算设备，例如现场可编程门阵列（FPGA），虽然非常节能，但在编程灵活性上远不及GPU。GPU与CPU之间的性能差异源于它们不同的设计目标。CPU旨在尽可能快地执行一系列操作（即线程），并支持几十个线程的并行运行，而GPU则专注于同时处理成千上万个线程。为了实现更高的吞吐量，GPU牺牲了单线程的性能，从而适应大规模并行计算的需求。GPU专为高度并行计算设计，更多晶体管用于数据处理而非缓存和控制。图1展示了CPU与GPU芯片资源分配的对比示例。

更多晶体管用于数据处理，如浮点运算，对高度并行计算很有优势。GPU能通过计算隐藏内存访问延迟，而非依靠大规模数据缓存或复杂控制流来规避长时间内存延迟，这两种方式都会消耗大量晶体管资源。应用程序一般包含并行与顺序混合的部分，因此系统设计常结合GPU和CPU，以优化整体性能。高度并行的应用能充分发挥GPU的大规模并行优势，在性能上超越仅使用CPU的表现。2006年11月，NVIDIA推出了CUDA。这是一个通用并行计算平台与编程模型，能够借助NVIDIA GPU中的并行计算引擎，高效解决众多复杂的计算问题，相比在CPU上运行更具优势。CUDA构建了支持开发者使用C++进行高级编程的软件环境。从图2可见，除C++外，其他语言或技术同样受到支持，比如FORTRAN、DirectCompute和OpenACC，也包括应用程序编程接口（API）及指令式方法等多样化途径。

多核CPU与多核GPU的问世，使主流处理器芯片成为并行系统。如今的挑战在于开发能够透明扩展并行性的应用软件，以充分利用不断增长的核心数量。就像3D图形应用可以无缝将其并行性扩展到不同核心数的多核GPU一样。CUDA并行编程模型旨在解决这一难题，同时确保熟悉C等标准语言的程序员能快速上手。该模型通过三个核心抽象：线程组层次结构、共享内存和屏障同步，以最少的语言扩展，为程序员提供了简洁明了的接口。这些抽象机制兼具细粒度的数据并行与线程并行，同时嵌套于粗粒度的数据并行和任务并行之中。它们促使开发者将问题拆解为可由线程块独立并行处理的较大子问题，再将每个子问题细化成更小的部分，以便块内所有线程协同合作、并行求解。这种分解方式既保留了语言的表达能力，又实现了自动扩展性。它让线程在解决子问题时能够协作。实际上，每个线程块可以按任意顺序，以并发或顺序形式，调度到GPU中任何可用的多处理器上。这意味着编译后的CUDA程序能在任意数量的多处理器上运行（3所示），而仅需运行时系统掌握物理多处理器的数量。

NVIDIA

这种可扩展的编程模型使GPU架构能够通过增加多处理器和内存分区的数量，覆盖广泛的市场。它既适用于高性能的GeForce GPU、专业级Quadro与Tesla计算产品，也涵盖各类价格亲民的主流GeForce GPU（ 若要查看所有支持CUDA的GPU列表，请参考相关资料）。本文档主要包括以下几部分内容：简介：简要介绍CUDA的基本概念和功能。编程模型：简述CUDA的编程架构。编程接口用于定义和描述软件组件间的交互方式。硬件实现：详细说明硬件的实现方式。性能优化指南：给出实现最优性能的建议。支持CUDA的GPU：显示所有兼容CUDA的显卡设备。C++语言扩展：全面阐述对C++语言的所有扩展内容。协作组：阐述针对不同CUDA线程组的同步原语功能。CUDA动态并行：说明从一个内核启动及同步另一个内核的操作方法。虚拟内存管理：阐述统一虚拟地址空间的管理方法。流序内存分配器：阐述应用对内存分配与释放的排序方式。图形内存节点：说明图形创建与内存分配的拥有关系。数学函数：列举CUDA支持的数学函数。C++语言支持：列举设备代码中可用的C++特性。纹理获取：分享更多关于纹理采集的详细信息。计算能力：提供各类设备技术规格与更多架构细节的信息。驱动程序API：阐述低级驱动程序的应用编程接口。CUDA环境变量：显示所有相关的CUDA环境变量。统一内存编程：讲解统一内存的编程模型。