《CUDA专家手册：GPU编程权威指南》由英伟达公司CUDA首席架构师Nicholas Wilt亲笔撰写，深度解析GPU的架构、系统软件、编程环境，以及CUDA编程各方面的知识和各种优化技术，包含大量实用代码示例，是并行程序开发领域最有影响力的著作之一。

《CUDA专家手册：GPU编程权威指南》分为三部分，共15章。第一部分(第1～4章)介绍CUDA开发的基础知识、硬件／软件架构和软件环境；第二部分(第5～10章)详细解析CUDA开发的各个方面，包括内存、流与事件、内核执行、流处理器簇、多gpu编程和纹理操作；第三部分(第11～15章)利用多个实例，深入分析流式负载、归约算法、扫描算法、N-体问题和图像处理的归一化相关系数计算，介绍如何应用各种优化技术。

《CUDA专家手册：GPU编程权威指南》

中文版序

推荐序

译者序

前言

第一部分基础知识

第1章简介2

1.1方法4

1.2代码4

1.2.1验证型代码5

1.2.2演示型代码5

1.2.3探究型代码5

1.3资源5

1.3.1开源代码5

1.3.2cuda专家手册库（chlib）6

1.3.3编码风格6

1.3.4cuda sdk6

1.4结构6

第2章硬件架构8

2.1cpu配置8

2.1.1前端总线9

2.1.2对称处理器簇9

2.1.3非一致内存访问（numa）10

2.1.4集成的pcie12

2.2集成gpu13

2.3多gpu14

2.4cuda中的地址空间17

2.4.1虚拟寻址简史17

2.4.2不相交的地址空间20

2.4.3映射锁页内存21

2.4.4可分享锁页内存21

2.4.5统一寻址23

2.4.6点对点映射24

2.5cpu/gpu交互24

2.5.1锁页主机内存和命令缓冲区25

2.5.2cpu/gpu并发26

2.5.3主机接口和内部gpu同步29

2.5.4gpu间同步31

2.6gpu架构31

2.6.1综述31

2.6.2流处理器簇34

2.7延伸阅读37

第3章软件架构39

3.1软件层39

3.1.1cuda运行时和驱动程序40

3.1.2驱动程序模型41

3.1.3nvcc、ptx和微码43

3.2设备与初始化45

3.2.1设备数量46

3.2.2设备属性46

3.2.3无cuda支持情况48

3.3上下文50

3.3.1生命周期与作用域51

3.3.2资源预分配51

3.3.3地址空间52

3.3.4当前上下文栈52

3.3.5上下文状态53

3.4模块与函数53

3.5内核（函数）55

3.6设备内存56

3.7流与事件57

3.7.1软件流水线57

3.7.2流回调57

3.7.3null流57

3.7.4事件58

3.8主机内存59

3.8.1锁页主机内存60

3.8.2可分享的锁页内存60

3.8.3映射锁页内存60

3.8.4主机内存注册60

3.9cuda数组与纹理操作61

3.9.1纹理引用61

3.9.2表面引用63

3.10图形互操作性63

3.11cuda运行时与cuda驱动程序api65

第4章软件环境69

4.1nvcc——cuda编译器驱动程序69

4.2ptxas——ptx汇编工具73

4.3cuobjdump76

4.4nvidia-smi77

4.5亚马逊web服务79

4.5.1命令行工具79

4.5.2ec2和虚拟化79

4.5.3密钥对80

4.5.4可用区域（az）和地理区域81

4.5.5s381

4.5.6ebs81

4.5.7ami82

4.5.8ec2上的linux82

4.5.9ec2上的windows83

第二部分cuda编程

第5章内存88

5.1主机内存89

5.1.1分配锁页内存89

5.1.2可共享锁页内存90

5.1.3映射锁页内存90

5.1.4写结合锁页内存91

5.1.5注册锁页内存91

5.1.6锁页内存与统一虚拟寻址92

5.1.7映射锁页内存用法92

5.1.8numa、线程亲和性与锁页内存93

5.2全局内存95

5.2.1指针96

5.2.2动态内存分配97

5.2.3查询全局内存数量100

5.2.4静态内存分配101

5.2.5内存初始化api102

5.2.6指针查询103

5.2.7点对点内存访问104

5.2.8读写全局内存105

5.2.9合并限制105

5.2.10验证实验：内存峰值带宽107

5.2.11原子操作111

5.2.12全局内存的纹理操作113

5.2.13ecc（纠错码）113

5.3常量内存114

5.3.1主机与设备常量内存114

5.3.2访问常量内存114

5.4本地内存115

5.5纹理内存118

5.6共享内存118

5.6.1不定大小共享内存声明119

5.6.2束同步编码119

5.6.3共享内存的指针119

5.7内存复制119

5.7.1同步内存复制与异步内存复制120

5.7.2统一虚拟寻址121

5.7.3cuda运行时121

5.7.4驱动程序api123

第6章流与事件125

6.1cpu/gpu的并发：隐藏驱动程序开销126

6.2异步的内存复制129

6.2.1异步的内存复制：主机端到设备端130

6.2.2异步内存复制：设备端到主机端130

6.2.3null流和并发中断131

6.3cuda事件：cpu/gpu同步133

6.3.1阻塞事件135

6.3.2查询135

6.4cuda事件：计时135

6.5并发复制和内核处理136

6.5.1concurrencymemcpykernel.cu137

6.5.2性能结果141

6.5.3中断引擎间的并发性142

6.6映射锁页内存143

6.7并发内核处理145

6.8gpu/gpu同步：cudastreamwaitevent()146

6.9源代码参考147

第7章内核执行148

7.1概况148

7.2语法149

7.2.1局限性150

7.2.2高速缓存和一致性151

7.2.3异步与错误处理151

7.2.4超时152

7.2.5本地内存152

7.2.6共享内存153

7.3线程块、线程、线程束、束内线程153

7.3.1线程块网格153

7.3.2执行保证156

7.3.3线程块与线程id156

7.4占用率159

7.5动态并行160

7.5.1作用域和同步161

7.5.2内存模型162

7.5.3流与事件163

7.5.4错误处理163

7.5.5编译和链接164

7.5.6资源管理164

7.5.7小结165

第8章流处理器簇167

8.1内存168

8.1.1寄存器168

8.1.2本地内存169

8.1.3全局内存170

8.1.4常量内存171

8.1.5共享内存171

8.1.6栅栏和一致性173

8.2整型支持174

8.2.1乘法174

8.2.2其他操作（位操作）175

8.2.3漏斗移位（sm 3.5）175

8.3浮点支持176

8.3.1格式176

8.3.2单精度（32位）180

8.3.3双精度（64位）181

8.3.4半精度（16位）181

8.3.5案例分析：float到half的转换182

8.3.6数学函数库185

8.3.7延伸阅读190

8.4条件代码191

8.4.1断定191

8.4.2分支与汇聚191

8.4.3特殊情况：最小值、最大值和绝对值192

8.5纹理与表面操作193

8.6其他指令193

8.6.1线程束级原语193

8.6.2线程块级原语194

8.6.3性能计数器195

8.6.4视频指令195

8.6.5特殊寄存器196

8.7指令集196

第9章多gpu203

9.1概述203

9.2点对点机制204

9.2.1点对点内存复制204

9.2.2点对点寻址205

9.3uva：从地址推断设备206

9.4多gpu间同步207

9.5单线程多gpu方案208

9.5.1当前上下文栈208

9.5.2n-体问题210

9.6多线程多gpu方案212

第10章纹理操作216

10.1简介216

10.2纹理内存217

10.2.1设备内存217

10.2.2cuda数组与块的线性寻址218

10.2.3设备内存与cuda数组对比222

10.3一维纹理操作223

10.4纹理作为数据读取方式226

10.4.1增加有效地址范围226

10.4.2主机内存纹理操作228

10.5使用非归一化坐标的纹理操作230

10.6使用归一化坐标的纹理操作237

10.7一维表面内存的读写238

10.8二维纹理操作240

10.9二维纹理操作：避免复制242

10.9.1设备内存上的二维纹理操作242

10.9.2二维表面内存的读写243

10.10三维纹理操作244

10.11分层纹理245

10.11.1一维分层纹理246

10.11.2二维分层纹理246

10.12最优线程块大小选择以及性能246

10.13纹理操作快速参考248

10.13.1硬件能力248

10.13.2cuda运行时249

10.13.3驱动api250

第三部分实例

第11章流式负载254

11.1设备内存255

11.2异步内存复制258

11.3流259

11.4映射锁页内存260

11.5性能评价与本章小结261

第12章归约算法263

12.1概述263

12.2两遍归约265

12.3单遍归约269

12.4使用原子操作的归约271

12.5任意线程块大小的归约272

12.6适应任意数据类型的归约273

12.7基于断定的归约276

12.8基于洗牌指令的线程束归约277

第13章扫描算法278

13.1定义与变形278

13.2概述279

13.3扫描和电路设计281

13.4cuda实现284

13.4.1先扫描再扇出284

13.4.2先归约再扫描（递归）288

13.4.3先归约再扫描（两阶段）291

13.5线程束扫描294

13.5.1零填充295

13.5.2带模板的版本296

13.5.3线程束洗牌297

13.5.4指令数对比298

13.6流压缩300

13.7参考文献（并行扫描算法）302

13.8延伸阅读（并行前缀求和电路）303

第14章n-体问题304

14.1概述305

14.2简单实现309

14.3基于共享内存实现312

14.4基于常量内存实现313

14.5基于线程束洗牌实现315

14.6多gpu及其扩展性316

14.7cpu的优化317

14.8小结321

14.9参考文献与延伸阅读323

第15章图像处理的归一化相关系数计算324

15.1概述324

15.2简单的纹理实现326

15.3常量内存中的模板329

15.4共享内存中的图像331

15.5进一步优化334

15.5.1基于流处理器簇的实现代码334

15.5.2循环展开335

15.6源代码336

15.7性能评价337

15.8延伸阅读339

附录acuda专家手册库340

术语表347