PARCEL SYCL v1.2 / 利用者ガイド 利用者ガイド API リファレンス 検索 ダウンロード English

7 GPU とジョブでの実行

 ビルドしたプログラムを GPU で動かす方法と, 計算機のジョブスケジューラで流す方法を示す.

7.1 GPU で動かす

7.1.1 ターゲットの調べ方

 GPU 向けの実行ファイルは, --acpp-targetsに GPU の種類 (ターゲット) を指定して作る. プログラムは CPU 向けと同じでよい. ターゲットは GPU の世代で決まり, 計算ノードで次のように調べる.

nvidia-smi --query-gpu=name,compute_cap --format=csv    # NVIDIA: 計算能力 (例 7.0) -> cuda:sm_70
rocminfo | grep gfx                                       # AMD: gfx の番号 (例 gfx942) -> hip:gfx942
GPU 計算能力 / gfx --acpp-targets
V100 7.0 cuda:sm_70
A100 8.0 cuda:sm_80
RTX A6000 8.6 cuda:sm_86
H100 (GH200) 9.0 cuda:sm_90
MI300A gfx942 hip:gfx942

 AdaptiveCpp は, 使う GPU のバックエンド付きで入れておく (spack ではhipsycl+cuda, hipsycl+rocm amdgpu_target=<gfx>. 「SYCL対応コンパイラのインストール方法」). spack のレシピparcel-syclでは+cuda cuda_arch=<n>または+rocm amdgpu_target=<gfx>で指定する (「構成の選び方」).

7.1.2 CUDA の版とドライバ

 NVIDIA の GPU では, AdaptiveCpp が CUDA を使ってカーネルを作り, 実行する. 使う CUDA は, 計算ノードのドライバが対応する版以下でなければならない. ドライバが対応する最も新しい版は, nvidia-smiの表示の右上 (CUDA Version) に出る. 例えば s86 GPU のドライバは CUDA 12.8 までに対応し, 試験では CUDA 12.6 を用いた. 使う CUDA の場所は環境変数ACPP_CUDA_PATHで与え, ビルドと実行で同じ値にする (各環境の「使用時の設定」. spack のレシピはspack loadのときに設定する).

7.1.3 1 ランクに 1 台

 PARCEL は 1 ランクに 1 台の GPU を使う (基本構成の「GPU・MPI ランク・データの対応」). 1 ノードに複数の GPU がある場合は, GPU の数だけランクを起動し, 各ランクに別の GPU を割り当てる. 既定のままでは全ランクが同じ GPU を選びうるので, gpu_bind.sh (「1 ランクと 1 デバイスの対応」) をmpirunとプログラムの間に挟む.

mpicxx -O3 --acpp-targets=cuda:sm_80 -march=native -I/usr/include/openblas -o run prog.cpp -lopenblas
export OMP_NUM_THREADS=9            # 1 ランクのスレッド数 (ノードのコア数 ÷ GPU の数を目安に)
mpirun -n 4 ./gpu_bind.sh ./run

 GPU でも, ホスト側の処理には各ランクの CPU のスレッドを使う. 環境ごとのランクあたりのスレッド数の例は「GPU・MPI ランク・データの対応」の表に示す. MIG の区画と APU (MI300A) の扱いも同じ節に示す.

7.1.4 使われたデバイスの確かめ方

 GPU の割り当てが誤っていても, あるいは GPU のバックエンドが読めなくても, PARCEL は CPU の OpenMP バックエンドで動き続け, 正しい数値を返す. 遅くなるだけなので, 結果の数値ではこの誤りに気付けない. 各ランクが使うデバイスの名前を表示して確かめる.

// C++: キューのデバイスの名前を表示する
std::cout << "rank " << comm.mpi_rank() << ": "
          << q.get_device().get_info<sycl::info::device::name>() << std::endl;

 名前が GPU の名前 (例えばTesla V100-SXM2-32GB) でなく CPU の名前になっている場合は, GPU が使われていない. --acpp-targetsに GPU が入っているか, AdaptiveCpp が GPU のバックエンド付きで入っているか, CUDA の場所 (ACPP_CUDA_PATH) と版 (「CUDA の版とドライバ」), ノードの GPU より多いランクを載せていないかを確かめる. AMD の GPU ではHIP_VISIBLE_DEVICESとROCR_VISIBLE_DEVICESを同時に設定しない.

7.1.5 推奨のフラグ

7.2 ジョブで流す

 計算機の計算ノードは, ジョブスケジューラを通して使う. 本書の試験環境では, PBS (s86, Miyabi-C, Miyabi-G, PS-A, PS-B) と富士通のジョブ管理システム (PJM. Odyssey, Aquarius) を用いた. ジョブスクリプトでは次のことを行う.

  1. 資源 (ノード数, ランク数, ランクあたりのスレッド数, GPU の数, 時間) を指定する. 書き方とキューの名前・課金先は計算機ごとに異なるので, 計算機の利用の手引きで確かめる.
  2. ビルドと同じ「使用時の設定」(モジュール, spack の環境, LD_LIBRARY_PATH, ACPP_CUDA_PATH) を行う. ジョブはログインのシェルの設定を引き継がないことがある.
  3. OMP_NUM_THREADSにランクあたりのスレッド数を与える.
  4. OMP_PROC_BINDを設定しない. LLVM の OpenMP ランタイムでは, 設定すると全スレッドが 1 コアに集まって大幅に遅くなる (「SYCL対応コンパイラのインストール方法」の冒頭). ランクのコアへの割り当てはmpirunのバインドで行う.
  5. GPU ではmpirunとプログラムの間にgpu_bind.shを挟む (「GPU で動かす」).

 以下は最小の例である. <...>は計算機に合わせて書き換える.

#!/bin/bash
# PBS: 1 ノード, GPU 4 台, 4 ランク x 12 スレッド
#PBS -q <キュー名>
#PBS -l select=1:ncpus=48:mpiprocs=4:ngpus=4
#PBS -l walltime=01:00:00
#PBS -W group_list=<課金先>
#PBS -j oe
cd ${PBS_O_WORKDIR}
# 使用時の設定 (各環境の節, または . <入れ先>/setup.sh と spack load)
export OMP_NUM_THREADS=12
unset OMP_PROC_BIND
mpirun -n 4 ./gpu_bind.sh ./run
#!/bin/bash
# PBS: 1 ノード (2 ソケット x 20 コア) の CPU, 8 ランク x 5 スレッド
#PBS -q <キュー名>
#PBS -l select=1:ncpus=40:mpiprocs=8:ompthreads=5
#PBS -l walltime=01:00:00
#PBS -j oe
cd ${PBS_O_WORKDIR}
# 使用時の設定
export OMP_NUM_THREADS=5
unset OMP_PROC_BIND
mpirun -n 8 --map-by ppr:4:socket:PE=5 --bind-to core ./run    # Open MPI の書き方
#!/bin/bash
# 富士通のジョブ管理システム (PJM): A64FX 1 ノード, 4 ランク x 12 スレッド (1 CMG に 1 ランク)
#PJM -L "rscgrp=<資源グループ>"
#PJM -L "node=1"
#PJM -L "elapse=1:00:00"
#PJM -g <グループ>
#PJM --mpi "proc=4"
#PJM --omp thread=12
#PJM -j
cd ${PJM_O_WORKDIR}
# 使用時の設定
export OMP_WAIT_POLICY=ACTIVE    # A64FX の推奨 (「A64FX 向けの最適化」)
export KMP_BLOCKTIME=infinite
mpiexec -n 4 ./run