7 GPU とジョブでの実行
ビルドしたプログラムを GPU で動かす方法と, 計算機のジョブスケジューラで流す方法を示す.
7.1 GPU で動かす
7.1.1 ターゲットの調べ方
GPU 向けの実行ファイルは, --acpp-targetsに GPU の種類 (ターゲット) を指定して作る. プログラムは CPU 向けと同じでよい. ターゲットは GPU の世代で決まり, 計算ノードで次のように調べる.
nvidia-smi --query-gpu=name,compute_cap --format=csv # NVIDIA: 計算能力 (例 7.0) -> cuda:sm_70
rocminfo | grep gfx # AMD: gfx の番号 (例 gfx942) -> hip:gfx942| GPU | 計算能力 / gfx | --acpp-targets |
|---|---|---|
| V100 | 7.0 | cuda:sm_70 |
| A100 | 8.0 | cuda:sm_80 |
| RTX A6000 | 8.6 | cuda:sm_86 |
| H100 (GH200) | 9.0 | cuda:sm_90 |
| MI300A | gfx942 | hip:gfx942 |
AdaptiveCpp は, 使う GPU のバックエンド付きで入れておく (spack ではhipsycl+cuda, hipsycl+rocm amdgpu_target=<gfx>. 「SYCL対応コンパイラのインストール方法」). spack のレシピparcel-syclでは+cuda cuda_arch=<n>または+rocm amdgpu_target=<gfx>で指定する (「構成の選び方」).
7.1.2 CUDA の版とドライバ
NVIDIA の GPU では, AdaptiveCpp が CUDA を使ってカーネルを作り, 実行する. 使う CUDA は, 計算ノードのドライバが対応する版以下でなければならない. ドライバが対応する最も新しい版は, nvidia-smiの表示の右上 (CUDA Version) に出る. 例えば s86 GPU のドライバは CUDA 12.8 までに対応し, 試験では CUDA 12.6 を用いた. 使う CUDA の場所は環境変数ACPP_CUDA_PATHで与え, ビルドと実行で同じ値にする (各環境の「使用時の設定」. spack のレシピはspack loadのときに設定する).
7.1.3 1 ランクに 1 台
PARCEL は 1 ランクに 1 台の GPU を使う (基本構成の「GPU・MPI ランク・データの対応」). 1 ノードに複数の GPU がある場合は, GPU の数だけランクを起動し, 各ランクに別の GPU を割り当てる. 既定のままでは全ランクが同じ GPU を選びうるので, gpu_bind.sh (「1 ランクと 1 デバイスの対応」) をmpirunとプログラムの間に挟む.
mpicxx -O3 --acpp-targets=cuda:sm_80 -march=native -I/usr/include/openblas -o run prog.cpp -lopenblas
export OMP_NUM_THREADS=9 # 1 ランクのスレッド数 (ノードのコア数 ÷ GPU の数を目安に)
mpirun -n 4 ./gpu_bind.sh ./runGPU でも, ホスト側の処理には各ランクの CPU のスレッドを使う. 環境ごとのランクあたりのスレッド数の例は「GPU・MPI ランク・データの対応」の表に示す. MIG の区画と APU (MI300A) の扱いも同じ節に示す.
7.1.4 使われたデバイスの確かめ方
GPU の割り当てが誤っていても, あるいは GPU のバックエンドが読めなくても, PARCEL は CPU の OpenMP バックエンドで動き続け, 正しい数値を返す. 遅くなるだけなので, 結果の数値ではこの誤りに気付けない. 各ランクが使うデバイスの名前を表示して確かめる.
// C++: キューのデバイスの名前を表示する
std::cout << "rank " << comm.mpi_rank() << ": "
<< q.get_device().get_info<sycl::info::device::name>() << std::endl;- Python:
parcel.device_name()がこのランクで使われるデバイスの名前を返す. - C言語・Fortran:
opt.verbose = 1(Fortran はopt%verbose = 1) で rank 0 がデバイス名を表示する. - 検証用サンプル (
tests/verify/parcel_krylov_sample_verify.cpp) は, 開始時に各ランクがデバイス名を 1 行表示する.
名前が GPU の名前 (例えばTesla V100-SXM2-32GB) でなく CPU の名前になっている場合は, GPU が使われていない. --acpp-targetsに GPU が入っているか, AdaptiveCpp が GPU のバックエンド付きで入っているか, CUDA の場所 (ACPP_CUDA_PATH) と版 (「CUDA の版とドライバ」), ノードの GPU より多いランクを載せていないかを確かめる. AMD の GPU ではHIP_VISIBLE_DEVICESとROCR_VISIBLE_DEVICESを同時に設定しない.
7.1.5 推奨のフラグ
- NVIDIA の GPU: 梯子分割を付けない (既定のまま). V100 では
-Xcuda-ptxas -maxrregcount=255を付ける (「V100 のレジスタ数の指定」). - AMD の GPU:
-DPARCEL_SPMV_LADDER=1 -DPARCEL_PRECON_LADDER=1を付ける (「梯子分割」). - ホスト側には
-march=native -mtune=nativeを付けてよい (ログインノードと計算ノードの CPU が同じ世代の場合). - 環境ごとのフラグの一覧は推奨オプションに示す.
7.2 ジョブで流す
計算機の計算ノードは, ジョブスケジューラを通して使う. 本書の試験環境では, PBS (s86, Miyabi-C, Miyabi-G, PS-A, PS-B) と富士通のジョブ管理システム (PJM. Odyssey, Aquarius) を用いた. ジョブスクリプトでは次のことを行う.
- 資源 (ノード数, ランク数, ランクあたりのスレッド数, GPU の数, 時間) を指定する. 書き方とキューの名前・課金先は計算機ごとに異なるので, 計算機の利用の手引きで確かめる.
- ビルドと同じ「使用時の設定」(モジュール, spack の環境,
LD_LIBRARY_PATH,ACPP_CUDA_PATH) を行う. ジョブはログインのシェルの設定を引き継がないことがある. OMP_NUM_THREADSにランクあたりのスレッド数を与える.OMP_PROC_BINDを設定しない. LLVM の OpenMP ランタイムでは, 設定すると全スレッドが 1 コアに集まって大幅に遅くなる (「SYCL対応コンパイラのインストール方法」の冒頭). ランクのコアへの割り当てはmpirunのバインドで行う.- GPU では
mpirunとプログラムの間にgpu_bind.shを挟む (「GPU で動かす」).
以下は最小の例である. <...>は計算機に合わせて書き換える.
#!/bin/bash
# PBS: 1 ノード, GPU 4 台, 4 ランク x 12 スレッド
#PBS -q <キュー名>
#PBS -l select=1:ncpus=48:mpiprocs=4:ngpus=4
#PBS -l walltime=01:00:00
#PBS -W group_list=<課金先>
#PBS -j oe
cd ${PBS_O_WORKDIR}
# 使用時の設定 (各環境の節, または . <入れ先>/setup.sh と spack load)
export OMP_NUM_THREADS=12
unset OMP_PROC_BIND
mpirun -n 4 ./gpu_bind.sh ./run#!/bin/bash
# PBS: 1 ノード (2 ソケット x 20 コア) の CPU, 8 ランク x 5 スレッド
#PBS -q <キュー名>
#PBS -l select=1:ncpus=40:mpiprocs=8:ompthreads=5
#PBS -l walltime=01:00:00
#PBS -j oe
cd ${PBS_O_WORKDIR}
# 使用時の設定
export OMP_NUM_THREADS=5
unset OMP_PROC_BIND
mpirun -n 8 --map-by ppr:4:socket:PE=5 --bind-to core ./run # Open MPI の書き方#!/bin/bash
# 富士通のジョブ管理システム (PJM): A64FX 1 ノード, 4 ランク x 12 スレッド (1 CMG に 1 ランク)
#PJM -L "rscgrp=<資源グループ>"
#PJM -L "node=1"
#PJM -L "elapse=1:00:00"
#PJM -g <グループ>
#PJM --mpi "proc=4"
#PJM --omp thread=12
#PJM -j
cd ${PJM_O_WORKDIR}
# 使用時の設定
export OMP_WAIT_POLICY=ACTIVE # A64FX の推奨 (「A64FX 向けの最適化」)
export KMP_BLOCKTIME=infinite
mpiexec -n 4 ./run- ジョブは
qsub <ジョブスクリプト>(PBS) またはpjsub <ジョブスクリプト>(PJM) で投入し,qstat/pjstatで状態を見る. - 計算機ごとの注意 (資源の指定の仕方, Aquarius の
mpirunのセッションディレクトリ, PS-B の vnode の取り方など) は「SYCL対応コンパイラのインストール方法」の各環境の節と「GPU・MPI ランク・データの対応」に示す. - 富士通の
mpiexecでは, 各ランクの標準出力はジョブの標準出力のファイルに書かれ,> ファイルで受けても空になることがある. 検証用サンプルは rank 0 の出力をparcel_result.txtにも書く. - 投入したことはジョブが動いた証拠にならない. 終わったら, 出力のファイルに収束状態の行 (
converged_reason = ...) があることを確かめる.