高性能科學與工程計算

Introduction to High Performance Computing for Scientists and Engineers
出版者的話
譯者序
序
前言
縮略詞
第1章 當代處理器
1.1 存儲程序的計算機體系結構
1.2 基于高速緩存的通用微處理器體系結構
1.2.1 性能指標和基準測試
1.2.2 晶體管：摩爾定律
1.2.3 流水線
1.2.4 超標量
1.2.5 SIMD
1.3 存儲層次
1.3.1 高速緩存
1.3.2 高速緩存映射
1.3.3 預取
1.4 多核處理器
1.5 多線程處理器
1.6 向量處理器
1.6.1 設計原理
1.6.2 最高性能估計
1.6.3 程序設計
習題
第2章 串行代碼基本優(yōu)化技術
2.1 標量剖析
2.1.1 基于函數(shù)和代碼行的程序剖析
2.1.2 硬件性能計數(shù)器
2.1.3 手工代碼插入
2.2 優(yōu)化常識
2.2.1 少做工作
2.2.2 避免耗時運算
2.2.3 縮減工作集
2.3 小方法，大改進
2.3.1 消除常用子表達式
2.3.2 避免分支
2.3.3 使用SIMD指令集
2.4 編譯器作用
2.4.1 通用優(yōu)化選項
2.4.2 內聯(lián)
2.4.3 別名
2.4.4 計算準確性
2.4.5 寄存器優(yōu)化
2.4.6 利用編譯日志
2.5 C++優(yōu)化
2.5.1 臨時變量
2.5.2 動態(tài)內存管理
2.5.3 循環(huán)與迭代器
習題
第3章 數(shù)據訪存優(yōu)化
3.1 平衡分析與lightspeed評估
3.1.1 基于帶寬的性能建模
3.1.2 STREAM 基準測試
3.2 存儲順序
3.3 案例分析：Jacobi算法
3.4 案例分析：稠密矩陣轉置
3.5 算法分類和訪存優(yōu)化
3.5.1 O（N）/O（N）
3.5.2 O（N2）/O（N2）
3.5.3 O（N3）/O（N2）
3.6 案例分析：稀疏矩陣向量乘
3.6.1 稀疏矩陣的存儲機制
3.6.2 JDS sMVM優(yōu)化
習題
第4章 并行計算機
4.1 并行計算模式分類
4.2 共享存儲計算機
4.2.1 cache一致性
4.2.2 UMA
4.2.3 ccNUMA
4.3 分布式存儲計算機
4.4 混合型系統(tǒng)
4.5 網絡
4.5.1 網絡的基本性能特征
4.5.2 總線
4.5.3 交換網絡和胖樹網絡
4.5.4 Mesh 網絡
4.5.5 混合網絡
習題
第5章 并行性基礎
5.1 為什么并行化
5.2 并行性
5.2.1 數(shù)據并行性
5.2.2 功能并行性
5.3 并行擴展性
5.3.1 限制并行執(zhí)行的因素
5.3.2 可擴展性指標
5.3.3 簡單可擴展性定律
5.3.4 并行效率
5.3.5 串行性能與強可擴展性
5.3.6 改進的性能模型
5.3.7 選擇正確的擴展性基準
5.3.8 案例分析：低速處理器計算機能否變得更快
5.3.9 負載不均衡
習題
第6章 使用OpenMP進行共享存儲并行編程
6.1 OpenMP簡介
6.1.1 并行執(zhí)行
6.1.2 數(shù)據作用域
6.1.3 循環(huán)的OpenMP工作共享
6.1.4 同步
6.1.5 歸約
6.1.6 循環(huán)調度
6.1.7 任務
6.1.8 其他方面
6.2 案例分析：OpenMP并行實現(xiàn)Jacobi算法
6.3 高級OpenMP：波前并行化
習題
第7章 高效OpenMP編程
7.1 OpenMP程序性能分析
7.2 性能缺陷
7.2.1 減輕Open MP共享區(qū)開銷
7.2.2 決定短循環(huán)的OpenMP開銷
7.2.3 串行化
7.2.4 偽共享
7.3 案例分析：并行稀疏矩陣向量乘
習題
第8章 ccNUMA體系結構的局部性優(yōu)化
8.1 ccNUMA的局部訪問
8.1.1 首次訪問方式分配頁面
8.1.2 通過其他方式的局部性訪問
8.2 案例分析：稀疏MVM的ccNUMA優(yōu)化
8.3 頁面布局缺陷
8.3.1 非NUMA友好的OpenMP調度
8.3.2 文件系統(tǒng)高速緩存
8.4 C++中的ccNUMA問題
8.4.1 對象數(shù)組
8.4.2 標準模板庫
習題
第9章 使用MPI進行分布式存儲并行內存編程
9.1 消息傳遞
9.2 MPI簡介
9.2.1 一個簡單例子
9.2.2 消息和點對點通信
9.2.3 集合通信
9.2.4 非阻塞點對點通信
9.2.5 虛擬拓撲
9.3 實例：Jacobi解法器的MPI并行
9.3.1 MPI實現(xiàn)
9.3.2 性能特征
習題
第10章 高效MPI編程
10.1 MPI性能工具
10.2 通信參數(shù)
10.3 同步、串行化和競爭
10.3.1 隱式串行化和同步
10.3.2 競爭
10.4 降低通信開銷
10.4.1 最優(yōu)化區(qū)域分解
10.4.2 聚合消息
10.4.3 非阻塞與異步通信
10.4.4 集合通信
10.5 理解節(jié)點內點對點通信
習題
第11章 MPI與OpenMP混合編程
11.1 基本MPI/OpenMP混合編程模型
11.1.1 向量模式實現(xiàn)
11.1.2 任務模式實現(xiàn)
11.1.3 案例分析：混合Jacobi解法器
11.2 MPI線程交互分類
11.3 混合分解及映射
11.3.1 每個節(jié)點一個MPI進程
11.3.2 每個插槽一個MPI進程
11.3.3 每個插槽多個MPI進程
11.4 混合編程的優(yōu)勢和劣勢
11.4.1 改善的收斂速度
11.4.2 共享高速緩存中的數(shù)據重用
11.4.3 利用額外級別的并行性
11.4.4 重疊MPI通信和計算
11.4.5 減少MPI開銷
11.4.6 多級別開銷
11.4.7 向量模式下批量同步通信
附錄A 多核環(huán)境中的拓撲和親緣性
A.1 拓撲
A.2 線程和進程分布
A.2.1 外部親緣性工具
A.2.2 程序控制親緣性
A.3 非頁面首次訪問分配策略
附錄B 習題解答
參考文獻