PARCEL SYCL v1.2 / 利用者ガイド 利用者ガイド API リファレンス 検索 ダウンロード English

16 用語集

 本書に出てくる計算機・装置の名前, ソフトウェアの名前, PARCEL 固有の用語と, 反復法の基本的な用語をまとめる. 装置の仕様は v1.2 の試験で用いた構成であり, 各環境の環境設定とビルド方法は「SYCL対応コンパイラのインストール方法」の章と「インストール」の章に示す.

16.1 計算環境

 v1.2 の試験に用いた 10 の環境である. 本書ではこの名前で環境を指す.

名前 システム 1 ノードの構成 環境設定
s86 CPU SGI8600 の CPU ノード Intel Xeon Gold 6242R (20 コア) ×2 s86
s86 GPU SGI8600 の GPU ノード Intel Xeon Gold 6248R (24 コア) ×2 + NVIDIA V100-SXM2-32GB ×4 s86
Odyssey Wisteria/BDEC-01 の Odyssey (Wisteria-Odyssey) 富士通 A64FX (48 コア) ×1 Odyssey
Aquarius Wisteria/BDEC-01 の Aquarius (Wisteria-Aquarius) Intel Xeon Platinum 8360Y (36 コア) ×2 + NVIDIA A100-SXM4-40GB ×8 Aquarius
Miyabi-C Miyabi の CPU ノード Intel Xeon CPU Max 9480 (56 コア, HBM2e) ×2 Miyabi-C
Miyabi-G Miyabi の GPU ノード NVIDIA GH200 ×1 (Grace 72 コア, H100 96GB) Miyabi-G
PS-A Plasma Simulator サブシステム A Intel Xeon 6980P (128 コア) ×2 PS-A
PS-B Plasma Simulator サブシステム B AMD Instinct MI300A ×4 (1 基 = 24 コア + GPU) PS-B
Mac macOS 15 の Mac (Homebrew で導入) Apple M4 (10 コア: 高性能 4, 高効率 6) Mac
Linux Workstation Windows の WSL2 上の Linux (Ubuntu 24.04, Rocky Linux 9) Intel Xeon Gold 6226R (16 コア) ×2 + NVIDIA RTX A6000 ×2 Linux Workstation

 「s86 CPU」「s86 GPU」を区別しない場合は単に s86 と書く.

16.2 プロセッサ・GPU

V100
NVIDIA の GPU (Volta 世代). s86 GPU に搭載. AdaptiveCpp のターゲットは cuda:sm_70.
A100
NVIDIA の GPU (Ampere 世代). Aquarius に搭載. ターゲットは cuda:sm_80. MIG に対応する.
RTX A6000
NVIDIA のワークステーション向け GPU (Ampere 世代, メモリ 48 GB). Linux Workstation に搭載. ターゲットは cuda:sm_86.
H100
NVIDIA の GPU (Hopper 世代). Miyabi-G では GH200 の GPU 部として搭載. ターゲットは cuda:sm_90. MIG に対応する.
GH200
NVIDIA Grace Hopper Superchip. Grace CPU と H100 GPU を 1 つのモジュールにまとめたもの. Miyabi-G では 1 ノードが GH200 1 基である.
Grace
NVIDIA の Arm CPU (Neoverse V2 コア 72 個). GH200 の CPU 部.
MI300A
AMD Instinct MI300A. CPU のコアと GPU を 1 つのパッケージに載せ, HBM3 を共有する APU. PS-B に搭載. AdaptiveCpp のターゲットは hip:gfx942. PARCEL での扱いは「APU (AMD Instinct MI300A)」を参照.
A64FX
富士通の Arm CPU (SVE 対応). 48 コアを 12 コアずつ 4 つの CMG に分け, 各 CMG に HBM2 を持つ. Odyssey に搭載. ターゲットは omp.library-only (富士通コンパイラと組み合わせる).
Xeon
Intel の x86_64 CPU. v1.2 の試験では Xeon Gold 6242R / 6248R (s86), Xeon Platinum 8360Y (Aquarius), Xeon CPU Max 9480 (Miyabi-C. パッケージ内に HBM2e を持つ), Xeon 6980P (PS-A) を用いた. ターゲットは omp (OpenMP バックエンド).

16.3 装置の構成要素と資源の単位

APU
Accelerated Processing Unit. CPU と GPU を 1 つのパッケージに載せ, メモリを共有するプロセッサ. 本書では MI300A を指す.
MIG
Multi-Instance GPU. NVIDIA の GPU (A100, H100 など) を SM とメモリごとに区画 (インスタンス) に分け, 各区画を独立した GPU として使う機能. 区画の大きさはプロファイル名 (2g.24gb など. <n>g が計算資源の量, 後半がメモリ量) で表す. PARCEL での扱いは「MIG (NVIDIA Multi-Instance GPU)」を参照.
SM
Streaming Multiprocessor. NVIDIA の GPU の演算ユニットのまとまり. GPU の並列度は SM の数で決まる.
CMG
Core Memory Group. A64FX の 12 コアとその HBM2 をまとめた単位で, 1 つの NUMA ノードに当たる.
HBM
High Bandwidth Memory. プロセッサと同じパッケージに積む広帯域のメモリ. GPU のほか, A64FX (HBM2), Xeon CPU Max (HBM2e), MI300A (HBM3) が持つ.
NUMA ノード
同じメモリを近くに持つコアのまとまり. 別の NUMA ノードのメモリへのアクセスは遅いので, 1 ランクのスレッドは 1 つの NUMA ノードに収める (「GPU・MPI ランク・データの対応」).
vnode
PBS (ジョブスケジューラ) の仮想ノード. PS-B では 1 NUMA ノード = 1 vnode = 1 APU として資源を割り当てる.

16.4 ソフトウェア

SYCL
Khronos Group が定める, C++ で CPU・GPU などのデバイスに並列処理を書くための規格. PARCEL は SYCL で書かれている.
AdaptiveCpp
SYCL の処理系 (旧名 hipSYCL / Open SYCL). コンパイラドライバは acpp で, --acpp-targets で生成するコード (omp, cuda:sm_XX, hip:gfxXXX など) を選ぶ. v1.2 の試験では 24.10 を用いた.
バックエンド
AdaptiveCpp がカーネルを実行する仕組み. OpenMP バックエンド (CPU. omp), CUDA バックエンド (NVIDIA GPU), HIP バックエンド (AMD GPU) を用いた.
CUDA / HIP・ROCm
それぞれ NVIDIA と AMD の GPU 向けの開発・実行環境. AdaptiveCpp が GPU 用のコードを生成・実行するときに用いる.
MPI
プロセス間通信の規格. PARCEL はランク間の袖通信と内積の集約に用いる. 試験では Open MPI・Intel MPI・富士通 MPI を用いた.
spack
HPC 向けのパッケージ管理ツール. v1.2 の試験環境では AdaptiveCpp と LLVM を spack で導入した. 配布パッケージの spack/ に PARCEL のレシピとゼロから入れるスクリプトがある.
PBS
ジョブスケジューラ. s86・Miyabi・Plasma Simulator で用いる (Wisteria/BDEC-01 は富士通のジョブ管理システム).
PJM (富士通のジョブ管理システム)
富士通のジョブスケジューラ (富士通 Technical Computing Suite のジョブ管理). Wisteria/BDEC-01 (Odyssey, Aquarius) で用いる. ジョブスクリプトに#PJMで資源を書き, pjsubで投入する (「ジョブで流す」).
OpenMP
C・C++・Fortran でスレッド並列を書くための規格. AdaptiveCpp の CPU のバックエンドは OpenMP のスレッドでカーネルを実行する. スレッド数は環境変数OMP_NUM_THREADSで与える.
USM
Unified Shared Memory. SYCL 2020 の, ポインタでデバイスのメモリを確保・参照する仕組み. PARCEL のベクトルと行列は USM のデバイスメモリに置く.
BLAS, LAPACK, LAPACKE
BLAS はベクトル・行列の基本演算, LAPACK は連立一次方程式・固有値問題などの密行列の計算のライブラリの標準の呼び出し口 (いずれも Fortran). LAPACKE は LAPACK を C言語から呼ぶための呼び出し口 (ヘッダlapacke.h). OpenBLAS などが実装を持つ. PARCEL はks_arnoldiで小さな密行列の固有値計算に LAPACKE を使う (「LAPACKE の入れ方」).
MPI のコンパイララッパ
mpicxx, mpicc, mpif90など, MPI のヘッダとライブラリの指定を加えて本来のコンパイラを呼ぶコマンド. 呼ぶコンパイラは環境変数で替えられ (Open MPI はOMPI_CXX, MPICH 系はMPICH_CXX, Intel MPI はI_MPI_CXX), PARCEL ではacppを呼ばせる.
PIE
Position Independent Executable. 読み込む番地によらずに動く実行ファイル. acpp (clang) は PIE としてリンクするので, 一緒にリンクするオブジェクトも-fPIE (または-fPIC) でコンパイルする.
RPATH, LD_LIBRARY_PATH
実行時に共有ライブラリ (.so) を探す場所の指定. RPATH はリンク時に-Wl,-rpath,<場所>で実行ファイルに埋め込み, LD_LIBRARY_PATHは実行時の環境変数で与える. どちらも無いと, 標準の場所に無いライブラリ (LLVM のlibomp.soなど) が見つからずに起動できない.
module (環境モジュール)
計算機に入っているソフトウェアの版をmodule load <名前>で切り替える仕組み (Environment Modules, Lmod). PATHやLD_LIBRARY_PATHを設定する. 使えるものはmodule availで調べる. Fortran のモジュール (parcel_sycl_mod) とは別のものである.
venv
Python の仮想環境. python3 -m venv <場所>で作り, その中に入れたパッケージは他の Python の環境に影響しない. Python のパッケージparcelはこの中に入れる例を示している (「Python のパッケージ」).

16.5 PARCEL の用語

ランク
MPI のプロセス. PARCEL は 1 ランクに 1 つのデバイスと, 係数行列の連続した行 (行ブロック) を対応させる.
デバイス
1 ランクが計算に用いる資源. GPU 1 台, MIG の 1 区画, APU の GPU 部, CPU のコアの一群 (OpenMP バックエンド) のいずれか (「GPU・MPI ランク・データの対応」).
袖 (halo, ghost), 袖通信
疎行列ベクトル積で必要な, 他のランクが持つベクトルの要素 (袖. 英語では halo または ghost と呼ぶ) と, それを受け取る通信.
CRS
Compressed Row Storage. 疎行列を行ポインタ (rowptr), 列番号, 値の 3 つの配列で表す形式. PARCEL に行列を渡す形式である.
in-order キュー
投入した順にカーネルを実行する SYCL のキュー. PARCEL はこれを必須とする.
double-double (dd)
倍精度の数 2 つの和で 1 つの値を表す, 4 倍精度相当の精度 [12,13]. 型は parcel_doubledouble (「精度構成」).
FP16
半精度 (16 ビットの浮動小数点数). 型は parcel_fp16.
集団操作, 集団通信
コミュニケータの全ランクが同じ関数を呼ぶ必要がある操作. MPI のMPI_Allreduce (内積の集約) などの集団通信を含む. PARCEL のset_crsMat()とソルバのsolver()は集団操作なので, 1 つのランクだけが呼ぶと止まる. 全ランクが同じ設定で呼ぶ.

16.6 計算の用語

SpMV
疎行列ベクトル積 y=Axy = Ax. Krylov 部分空間法の反復で最も時間のかかる演算の 1 つである.
axpy
ベクトルの一次結合 y←αx+yy \leftarrow \alpha x + y (BLAS の名前). PARCEL ではyyに係数を掛ける形 (y←αx+βyy \leftarrow \alpha x + \beta y) も含めて呼ぶ.
gemv
行列とベクトルの積 y←αVc+βyy \leftarrow \alpha Vc + \beta y (BLAS の名前). PARCEL では, 縦長の行列VVの列 (複数のベクトル) の一次結合をyyに加える演算として使う.
work item, ワークグループ
SYCL のカーネルの実行単位. 1 つの work item が 1 つの添字 (PARCEL の既定では行列の 1 行) を受け持つ. いくつかの work item をまとめたものをワークグループと呼び, ワークグループの中では同期 (バリア) がとれる.
NX
検証用サンプルと試験で用いる 3 次元格子の 1 辺の格子点数. 未知数 (行列の行数) は NX3NX^{3} である.
製造解
先に決めた解xxから右辺b=Axb = Axを作って解かせ, 求めた解を既知の解と比べて誤差を測る検証の方法 (manufactured solution). 検証用サンプルが用いる.
幸運な破綻
GMRES 系の方法で, 基底を作る途中で新しい基底ベクトルが 0 になる (基底の階数が落ちる) こと. Krylov 部分空間が厳密解を含んだことを意味し, その時点までの基底で解を求めれば厳密解が得られる. 「破綻」と呼ぶが誤りではない.
モーメント法
pcagmresの Cholesky QR 法で, 対称行列では基底どうしの内積がモーメント μk=v0TAkv0\mu_{k} = v_{0}^{T}A^{k}v_{0} だけで決まることを使い, Gram 行列を少ない内積で作る方法 (「モーメント法による Cholesky QR 法」).
Krylov 部分空間法
ベクトルbbに行列AAを繰り返し掛けて作る部分空間 (Krylov 部分空間 span{b,Ab,A2b,…}\mathrm{span}\{b, Ab, A^{2}b, \ldots\}) の中で近似解を求める反復法の総称. 共役勾配法 (pcg), BiCGStab 法 (pbicgstab), GMRES 法 (pgmres), Arnoldi 法 (ks_arnoldi) などがある. 行列は行列ベクトル積の形でしか使わないので, 大規模な疎行列に向く.
前処理
反復法の収束を速めるため, 係数行列AAに近く, 逆を掛けやすい行列KK (前処理行列) を用意し, 反復の中でKz=rKz = rを解く (近似的にA−1A^{-1}を掛ける) こと. KKがAAに近いほど反復回数が減るが, 1 回の費用は増える (「前処理」の章).
Jacobi, ブロック Jacobi, ILU(0)
前処理の種類. ポイント Jacobi はAAの対角だけをKKとし, PARCEL の Jacobi 前処理は Jacobi 反復をset_jacobi()で指定した回数行う. ブロック Jacobi は各ランクの行をいくつかのブロックに分け, ブロックの中の行列だけをKKとする. PARCEL はブロックの中を ILU(0) (元の非零の位置以外に値を作らない不完全 LU 分解) で解く (「前処理」の章).
リスタート
GMRES 法などで, 基底のベクトルが一定の本数 (リスタート周期) に達したら, それまでの近似解を初期値として基底を作り直すこと. 基底のメモリと直交化の費用を抑える代わりに, 収束が遅くなることがある. Krylov-Schur 法では, 部分空間を縮めて作り直すことを指す.
相対残差
残差r=b−Axr = b - Axのノルムを右辺のノルムで割った値∥r∥/∥b∥\|r\|/\|b\|. PARCEL の線形ソルバは, これが収束判定値 (set_tolerance()) を下回ったら収束とする. 漸化式で更新した残差とb−Axb - Axから計算し直した真の残差がある (「漸化式の残差と真の残差」).
対称正定値
A=ATA = A^{T}で, 0 でないすべてのベクトルxxについてxTAx>0x^{T}Ax > 0となる行列. 固有値がすべて正の実数である. 共役勾配法 (pcg) はこの性質を前提とする. 拡散方程式や Poisson 方程式の差分行列 (符号を適切に取ったもの) が代表例である.
Ritz 値, Ritz 対
部分空間に制限した行列の固有値 (Ritz 値) と, それに対応する元の空間のベクトル (Ritz ベクトル) の組. Arnoldi 法・Krylov-Schur 法は Ritz 値を元の行列の固有値の近似として用いる.
shift-invert
シフトσ\sigmaに近い固有値を求めるため, (A−σI)−1(A - \sigma I)^{-1}の絶対値の大きい固有値を求める方法. AAの固有値λ\lambdaは1/(λ−σ)1/(\lambda - \sigma)に写るので, σ\sigmaに近い固有値が絶対値の大きい側に来る. 1 回ごとに(A−σI)z=v(A - \sigma I)z = vを解く必要がある (PARCEL では内部のpgmresで解く).