16 用語集
本書に出てくる計算機・装置の名前, ソフトウェアの名前, PARCEL 固有の用語と, 反復法の基本的な用語をまとめる. 装置の仕様は v1.2 の試験で用いた構成であり, 各環境の環境設定とビルド方法は「SYCL対応コンパイラのインストール方法」の章と「インストール」の章に示す.
16.1 計算環境
v1.2 の試験に用いた 10 の環境である. 本書ではこの名前で環境を指す.
| 名前 | システム | 1 ノードの構成 | 環境設定 |
|---|---|---|---|
| s86 CPU | SGI8600 の CPU ノード | Intel Xeon Gold 6242R (20 コア) ×2 | s86 |
| s86 GPU | SGI8600 の GPU ノード | Intel Xeon Gold 6248R (24 コア) ×2 + NVIDIA V100-SXM2-32GB ×4 | s86 |
| Odyssey | Wisteria/BDEC-01 の Odyssey (Wisteria-Odyssey) | 富士通 A64FX (48 コア) ×1 | Odyssey |
| Aquarius | Wisteria/BDEC-01 の Aquarius (Wisteria-Aquarius) | Intel Xeon Platinum 8360Y (36 コア) ×2 + NVIDIA A100-SXM4-40GB ×8 | Aquarius |
| Miyabi-C | Miyabi の CPU ノード | Intel Xeon CPU Max 9480 (56 コア, HBM2e) ×2 | Miyabi-C |
| Miyabi-G | Miyabi の GPU ノード | NVIDIA GH200 ×1 (Grace 72 コア, H100 96GB) | Miyabi-G |
| PS-A | Plasma Simulator サブシステム A | Intel Xeon 6980P (128 コア) ×2 | PS-A |
| PS-B | Plasma Simulator サブシステム B | AMD Instinct MI300A ×4 (1 基 = 24 コア + GPU) | PS-B |
| Mac | macOS 15 の Mac (Homebrew で導入) | Apple M4 (10 コア: 高性能 4, 高効率 6) | Mac |
| Linux Workstation | Windows の WSL2 上の Linux (Ubuntu 24.04, Rocky Linux 9) | Intel Xeon Gold 6226R (16 コア) ×2 + NVIDIA RTX A6000 ×2 | Linux Workstation |
「s86 CPU」「s86 GPU」を区別しない場合は単に s86 と書く.
16.2 プロセッサ・GPU
- V100
-
NVIDIA の GPU (Volta 世代). s86 GPU に搭載. AdaptiveCpp のターゲットは
cuda:sm_70. - A100
-
NVIDIA の GPU (Ampere 世代). Aquarius に搭載. ターゲットは
cuda:sm_80. MIG に対応する. - RTX A6000
-
NVIDIA のワークステーション向け GPU (Ampere 世代, メモリ 48 GB). Linux Workstation に搭載. ターゲットは
cuda:sm_86. - H100
-
NVIDIA の GPU (Hopper 世代). Miyabi-G では GH200 の GPU 部として搭載. ターゲットは
cuda:sm_90. MIG に対応する. - GH200
- NVIDIA Grace Hopper Superchip. Grace CPU と H100 GPU を 1 つのモジュールにまとめたもの. Miyabi-G では 1 ノードが GH200 1 基である.
- Grace
- NVIDIA の Arm CPU (Neoverse V2 コア 72 個). GH200 の CPU 部.
- MI300A
-
AMD Instinct MI300A. CPU のコアと GPU を 1 つのパッケージに載せ, HBM3 を共有する APU. PS-B に搭載. AdaptiveCpp のターゲットは
hip:gfx942. PARCEL での扱いは「APU (AMD Instinct MI300A)」を参照. - A64FX
-
富士通の Arm CPU (SVE 対応). 48 コアを 12 コアずつ 4 つの CMG に分け, 各 CMG に HBM2 を持つ. Odyssey に搭載. ターゲットは
omp.library-only(富士通コンパイラと組み合わせる). - Xeon
-
Intel の x86_64 CPU. v1.2 の試験では Xeon Gold 6242R / 6248R (s86), Xeon Platinum 8360Y (Aquarius), Xeon CPU Max 9480 (Miyabi-C. パッケージ内に HBM2e を持つ), Xeon 6980P (PS-A) を用いた. ターゲットは
omp(OpenMP バックエンド).
16.3 装置の構成要素と資源の単位
- APU
- Accelerated Processing Unit. CPU と GPU を 1 つのパッケージに載せ, メモリを共有するプロセッサ. 本書では MI300A を指す.
- MIG
-
Multi-Instance GPU. NVIDIA の GPU (A100, H100 など) を SM とメモリごとに区画 (インスタンス) に分け, 各区画を独立した GPU として使う機能. 区画の大きさはプロファイル名 (
2g.24gbなど.<n>gが計算資源の量, 後半がメモリ量) で表す. PARCEL での扱いは「MIG (NVIDIA Multi-Instance GPU)」を参照. - SM
- Streaming Multiprocessor. NVIDIA の GPU の演算ユニットのまとまり. GPU の並列度は SM の数で決まる.
- CMG
- Core Memory Group. A64FX の 12 コアとその HBM2 をまとめた単位で, 1 つの NUMA ノードに当たる.
- HBM
- High Bandwidth Memory. プロセッサと同じパッケージに積む広帯域のメモリ. GPU のほか, A64FX (HBM2), Xeon CPU Max (HBM2e), MI300A (HBM3) が持つ.
- NUMA ノード
- 同じメモリを近くに持つコアのまとまり. 別の NUMA ノードのメモリへのアクセスは遅いので, 1 ランクのスレッドは 1 つの NUMA ノードに収める (「GPU・MPI ランク・データの対応」).
- vnode
- PBS (ジョブスケジューラ) の仮想ノード. PS-B では 1 NUMA ノード = 1 vnode = 1 APU として資源を割り当てる.
16.4 ソフトウェア
- SYCL
- Khronos Group が定める, C++ で CPU・GPU などのデバイスに並列処理を書くための規格. PARCEL は SYCL で書かれている.
- AdaptiveCpp
-
SYCL の処理系 (旧名 hipSYCL / Open SYCL). コンパイラドライバは
acppで,--acpp-targetsで生成するコード (omp,cuda:sm_XX,hip:gfxXXXなど) を選ぶ. v1.2 の試験では 24.10 を用いた. - バックエンド
-
AdaptiveCpp がカーネルを実行する仕組み. OpenMP バックエンド (CPU.
omp), CUDA バックエンド (NVIDIA GPU), HIP バックエンド (AMD GPU) を用いた. - CUDA / HIP・ROCm
- それぞれ NVIDIA と AMD の GPU 向けの開発・実行環境. AdaptiveCpp が GPU 用のコードを生成・実行するときに用いる.
- MPI
- プロセス間通信の規格. PARCEL はランク間の袖通信と内積の集約に用いる. 試験では Open MPI・Intel MPI・富士通 MPI を用いた.
- spack
-
HPC 向けのパッケージ管理ツール. v1.2 の試験環境では AdaptiveCpp と LLVM を spack で導入した. 配布パッケージの
spack/に PARCEL のレシピとゼロから入れるスクリプトがある. - PBS
- ジョブスケジューラ. s86・Miyabi・Plasma Simulator で用いる (Wisteria/BDEC-01 は富士通のジョブ管理システム).
- PJM (富士通のジョブ管理システム)
-
富士通のジョブスケジューラ (富士通 Technical Computing Suite のジョブ管理). Wisteria/BDEC-01 (Odyssey, Aquarius) で用いる. ジョブスクリプトに
#PJMで資源を書き,pjsubで投入する (「ジョブで流す」). - OpenMP
-
C・C++・Fortran でスレッド並列を書くための規格. AdaptiveCpp の CPU のバックエンドは OpenMP のスレッドでカーネルを実行する. スレッド数は環境変数
OMP_NUM_THREADSで与える. - USM
- Unified Shared Memory. SYCL 2020 の, ポインタでデバイスのメモリを確保・参照する仕組み. PARCEL のベクトルと行列は USM のデバイスメモリに置く.
- BLAS, LAPACK, LAPACKE
-
BLAS はベクトル・行列の基本演算, LAPACK は連立一次方程式・固有値問題などの密行列の計算のライブラリの標準の呼び出し口 (いずれも Fortran). LAPACKE は LAPACK を C言語から呼ぶための呼び出し口 (ヘッダ
lapacke.h). OpenBLAS などが実装を持つ. PARCEL はks_arnoldiで小さな密行列の固有値計算に LAPACKE を使う (「LAPACKE の入れ方」). - MPI のコンパイララッパ
-
mpicxx,mpicc,mpif90など, MPI のヘッダとライブラリの指定を加えて本来のコンパイラを呼ぶコマンド. 呼ぶコンパイラは環境変数で替えられ (Open MPI はOMPI_CXX, MPICH 系はMPICH_CXX, Intel MPI はI_MPI_CXX), PARCEL ではacppを呼ばせる. - PIE
-
Position Independent Executable. 読み込む番地によらずに動く実行ファイル.
acpp(clang) は PIE としてリンクするので, 一緒にリンクするオブジェクトも-fPIE(または-fPIC) でコンパイルする. - RPATH, LD_LIBRARY_PATH
-
実行時に共有ライブラリ (
.so) を探す場所の指定. RPATH はリンク時に-Wl,-rpath,<場所>で実行ファイルに埋め込み,LD_LIBRARY_PATHは実行時の環境変数で与える. どちらも無いと, 標準の場所に無いライブラリ (LLVM のlibomp.soなど) が見つからずに起動できない. - module (環境モジュール)
-
計算機に入っているソフトウェアの版を
module load <名前>で切り替える仕組み (Environment Modules, Lmod).PATHやLD_LIBRARY_PATHを設定する. 使えるものはmodule availで調べる. Fortran のモジュール (parcel_sycl_mod) とは別のものである. - venv
-
Python の仮想環境.
python3 -m venv <場所>で作り, その中に入れたパッケージは他の Python の環境に影響しない. Python のパッケージparcelはこの中に入れる例を示している (「Python のパッケージ」).
16.5 PARCEL の用語
- ランク
- MPI のプロセス. PARCEL は 1 ランクに 1 つのデバイスと, 係数行列の連続した行 (行ブロック) を対応させる.
- デバイス
- 1 ランクが計算に用いる資源. GPU 1 台, MIG の 1 区画, APU の GPU 部, CPU のコアの一群 (OpenMP バックエンド) のいずれか (「GPU・MPI ランク・データの対応」).
- 袖 (halo, ghost), 袖通信
- 疎行列ベクトル積で必要な, 他のランクが持つベクトルの要素 (袖. 英語では halo または ghost と呼ぶ) と, それを受け取る通信.
- CRS
-
Compressed Row Storage. 疎行列を行ポインタ (
rowptr), 列番号, 値の 3 つの配列で表す形式. PARCEL に行列を渡す形式である. - in-order キュー
- 投入した順にカーネルを実行する SYCL のキュー. PARCEL はこれを必須とする.
- double-double (dd)
-
倍精度の数 2 つの和で 1 つの値を表す, 4 倍精度相当の精度 [12,13]. 型は
parcel_doubledouble(「精度構成」). - FP16
-
半精度 (16 ビットの浮動小数点数). 型は
parcel_fp16. - 集団操作, 集団通信
-
コミュニケータの全ランクが同じ関数を呼ぶ必要がある操作. MPI の
MPI_Allreduce(内積の集約) などの集団通信を含む. PARCEL のset_crsMat()とソルバのsolver()は集団操作なので, 1 つのランクだけが呼ぶと止まる. 全ランクが同じ設定で呼ぶ.
16.6 計算の用語
- SpMV
- 疎行列ベクトル積 . Krylov 部分空間法の反復で最も時間のかかる演算の 1 つである.
- axpy
- ベクトルの一次結合 (BLAS の名前). PARCEL ではに係数を掛ける形 () も含めて呼ぶ.
- gemv
- 行列とベクトルの積 (BLAS の名前). PARCEL では, 縦長の行列の列 (複数のベクトル) の一次結合をに加える演算として使う.
- work item, ワークグループ
- SYCL のカーネルの実行単位. 1 つの work item が 1 つの添字 (PARCEL の既定では行列の 1 行) を受け持つ. いくつかの work item をまとめたものをワークグループと呼び, ワークグループの中では同期 (バリア) がとれる.
- NX
- 検証用サンプルと試験で用いる 3 次元格子の 1 辺の格子点数. 未知数 (行列の行数) は である.
- 製造解
- 先に決めた解から右辺を作って解かせ, 求めた解を既知の解と比べて誤差を測る検証の方法 (manufactured solution). 検証用サンプルが用いる.
- 幸運な破綻
- GMRES 系の方法で, 基底を作る途中で新しい基底ベクトルが 0 になる (基底の階数が落ちる) こと. Krylov 部分空間が厳密解を含んだことを意味し, その時点までの基底で解を求めれば厳密解が得られる. 「破綻」と呼ぶが誤りではない.
- モーメント法
-
pcagmresの Cholesky QR 法で, 対称行列では基底どうしの内積がモーメント だけで決まることを使い, Gram 行列を少ない内積で作る方法 (「モーメント法による Cholesky QR 法」). - Krylov 部分空間法
-
ベクトルに行列を繰り返し掛けて作る部分空間 (Krylov 部分空間 ) の中で近似解を求める反復法の総称. 共役勾配法 (
pcg), BiCGStab 法 (pbicgstab), GMRES 法 (pgmres), Arnoldi 法 (ks_arnoldi) などがある. 行列は行列ベクトル積の形でしか使わないので, 大規模な疎行列に向く. - 前処理
- 反復法の収束を速めるため, 係数行列に近く, 逆を掛けやすい行列 (前処理行列) を用意し, 反復の中でを解く (近似的にを掛ける) こと. がに近いほど反復回数が減るが, 1 回の費用は増える (「前処理」の章).
- Jacobi, ブロック Jacobi, ILU(0)
-
前処理の種類. ポイント Jacobi はの対角だけをとし, PARCEL の Jacobi 前処理は Jacobi 反復を
set_jacobi()で指定した回数行う. ブロック Jacobi は各ランクの行をいくつかのブロックに分け, ブロックの中の行列だけをとする. PARCEL はブロックの中を ILU(0) (元の非零の位置以外に値を作らない不完全 LU 分解) で解く (「前処理」の章). - リスタート
- GMRES 法などで, 基底のベクトルが一定の本数 (リスタート周期) に達したら, それまでの近似解を初期値として基底を作り直すこと. 基底のメモリと直交化の費用を抑える代わりに, 収束が遅くなることがある. Krylov-Schur 法では, 部分空間を縮めて作り直すことを指す.
- 相対残差
-
残差のノルムを右辺のノルムで割った値. PARCEL の線形ソルバは, これが収束判定値 (
set_tolerance()) を下回ったら収束とする. 漸化式で更新した残差とから計算し直した真の残差がある (「漸化式の残差と真の残差」). - 対称正定値
-
で, 0 でないすべてのベクトルについてとなる行列. 固有値がすべて正の実数である. 共役勾配法 (
pcg) はこの性質を前提とする. 拡散方程式や Poisson 方程式の差分行列 (符号を適切に取ったもの) が代表例である. - Ritz 値, Ritz 対
- 部分空間に制限した行列の固有値 (Ritz 値) と, それに対応する元の空間のベクトル (Ritz ベクトル) の組. Arnoldi 法・Krylov-Schur 法は Ritz 値を元の行列の固有値の近似として用いる.
- shift-invert
-
シフトに近い固有値を求めるため, の絶対値の大きい固有値を求める方法. の固有値はに写るので, に近い固有値が絶対値の大きい側に来る. 1 回ごとにを解く必要がある (PARCEL では内部の
pgmresで解く).