PARCEL SYCL v1.2 / 利用者ガイド 利用者ガイド API リファレンス 検索 ダウンロード English

13 最適化

 PARCEL は, 計算 (アルゴリズムと反復回数) を変えずに速さを上げる 2 種類の最適化を持つ. 1 つは演算カーネルのループの形を環境に合わせて変える最適化 (ブロック化, 梯子分割, gemv の分解, A64FX 向けの最適化), もう 1 つはメモリを使って速くする最適化オプション (「メモリと速さの選択」) である. どちらもビルド時のマクロまたは実行時の環境変数で選ぶ.

 以下の各節の効果は, 配布パッケージのコード (検証用サンプル) で, 最適化の有無だけを変えた実行ファイルを同じジョブの中で交互に実行し, 反復回数を固定して 1 反復あたりの時間を比べたものである. 問題は性能試験と同じ 3 次元 Poisson 方程式 (NX=512) で, 装置数は 4 (CPU は 4 ソケット, Odyssey は 4 ノード, GPU は 4 台. ランクとスレッドの配置は性能の章の測定条件と同じ) である. ソルバは Jacobi 前処理のpcg (100 反復) とpgmres (mm = 60, 60 反復. s86 CPU のブロック化と PS-B の梯子分割は 120 反復) を主に用いた. 1 反復あたりの時間は, 初期化を除く反復計算部分 (主ループ) の時間 ÷ 反復回数 (ks_arnoldiはリスタート回数) であり, 2〜5 巡の平均である. 本文と表の区間の時間 (内積, SpMV, 前処理, Gram-Schmidt など) も主ループの中の 1 反復あたりの時間である. 各表の性能比は最適化なしの時間 ÷ 最適化ありの時間であり, 1 を超えると最適化で速くなる. 主な効果の欄は, 差の大きい区間の時間を「最適化なし → 最適化あり」で示す.

 演算カーネル (内積, axpy, SpMV, 前処理, gemv など) の既定の形は, 1 行を 1 work item が受け持つ平坦なループで, GPU に向く. PARCEL は, ループの構造を CPU・A64FX などの環境に合わせて変える最適化を持ち, ビルド時のマクロで選ぶ. マクロの一覧はインストールの「最適化」に, 環境ごとのコンパイルコマンドは推奨オプションに示す. 環境ごとの既定を次節に, 各最適化の仕組みと効果を以下の各節に示す.

13.1 環境ごとの既定

 推奨のビルド (推奨オプション. spack のレシピparcel-syclのkernel=autoも同じ) で有効になる最適化を環境ごとに示す. 「—」はその環境では使わないものである.

環境 ブロック化 梯子分割 (SpMV / 前処理) gemv の分解 A64FX 向け V100 のレジスタ数 省メモリ G / H
s86 CPU, Miyabi-C, PS-A, Mac, Linux Workstation (CPU) 縮約だけ なし / なし なし — — 有効 / 有効
Odyssey 全カーネル あり / なし あり A・C・D・E・F (B は実行時) — 有効 / 無効
s86 GPU (V100) なし なし / なし なし — 指定する 有効 / 有効
Miyabi-G (GH200), Aquarius (A100), Linux Workstation (RTX A6000) なし なし / なし なし — — 有効 / 有効
PS-B (MI300A) なし あり / あり なし — — 有効 / 有効

13.2 ブロック化

 _BLOCKING_LOOP_=1 は, SpMV 以外の全カーネル (内積, axpy, 前処理など) を, 1 スレッドが連続した行をまとめて受け持つブロック化版に替える. 縮約はスレッドごとの部分和を最後に足し合わせるだけなので, ワークグループ内のバリアが要らない. _BLOCKING_LOOP_DOT_=1 は縮約 (dot, dddot, max) だけをブロック化版に替える.

平坦 (既定): 1 行 = 1 work item N 個の work item (GPU のスレッドに対応) 縮約はワークグループ内のバリアによるツリー削減 ブロック化: 1 ブロック = 1 work item = 1 スレッド block 0 s₀ block 1 s₁ block 2 s₂ block 3 s₃ Σ 部分和を足して結果を得る (バリア不要) 分割数 nblock = ランクあたりのスレッド数 (図は 4)
図: 平坦なループとブロック化したループ.ブロック化では 1 スレッドが連続した行をまとめて受け持ち,縮約は部分和で行う.

 効果は縮約に集中する. 平坦版の縮約はワークグループ内のバリアによるツリー削減であり, CPU ではバリアの固定費が大きいためである. A64FX 以外の CPU で推奨する縮約だけのブロック化 (_BLOCKING_LOOP_DOT_=1) の効果を示す.

環境 ソルバ ブロック化なし [ms] ブロック化あり [ms] 性能比 主な効果
s86 CPU pcg 172.4 130.5 1.32 内積 56.6 ms → 15.0 ms
s86 CPU pgmres 975.0 422.3 2.31 Gram-Schmidt 850.3 ms → 313.1 ms
Miyabi-C pcg 40.3 28.4 1.42 内積 15.0 ms → 4.0 ms
Miyabi-C pgmres 220.7 73.4 3.01 Gram-Schmidt 193.0 ms → 49.5 ms
PS-A pcg 24.0 22.7 1.06 内積 4.7 ms → 4.1 ms
PS-A pgmres 65.5 49.0 1.34 Gram-Schmidt 46.8 ms → 30.6 ms

 A64FX で推奨する全カーネルのブロック化 (_BLOCKING_LOOP_=1) の効果を示す.

環境 ソルバ ブロック化なし [ms] ブロック化あり [ms] 性能比 主な効果
Odyssey pcg 1603.0 40.0 40.1 内積 1546.2 ms → 7.7 ms
Odyssey pgmres 16437.4 82.0 200 Gram-Schmidt 15848.4 ms → 48.8 ms

 分割数は実行時に決まる. 環境変数 PARCEL_NBLOCK があればその値, 無ければ omp_get_max_threads() (1 ランクあたりのスレッド数) を用いる.

 ブロック化した縮約では部分和の数が実行構成 (ランク数×スレッド数) で変わり, 縮約の順序も変わる. 倍精度では結果に影響しないが, 低精度の構成を環境間で比較する場合はこのフラグと実行構成を揃える.

13.3 梯子分割

 CRS の SpMV の内側ループは行ごとの非零数で回数が決まるので, コンパイラは回数を知らず, 展開や先読みができない. PARCEL_SPMV_LADDER=1 は内側ループを 4 要素・2 要素・1 要素の固定長の段に分け, どの非零数でも全量が固定長の本体に入るようにする (非零数 7 なら 4+2+1). 非零数は行ごとに違ってよく, 追加のメモリも要らない. PARCEL_PRECON_LADDER は Jacobi 前処理 (PRECON_JACOBI) の反復ループに同じ分割を行う.

既定: 1 要素ずつ 7 回 (回数は実行時まで分からない) 1 2 3 4 5 6 7 梯子分割: 4 → 2 → 1 1 2 3 4 4 要素の本体 5 6 2 要素 7 1 要素 行あたり非零数 7 の例. 各段は長さが固定のループなので, コンパイラが展開・先読みできる. 非零数は行ごとに違ってよい.
図: SpMV の内側ループの梯子分割.1 行の非零を 4 要素・2 要素・1 要素の固定長の段に分けて処理する.

 効果は環境によって異なり, 遅くなる環境もある. 梯子分割を推奨する PS-B (MI300A) と Odyssey (A64FX) で, 梯子分割の有無を比べた 1 反復あたりの時間を示す.

環境 ソルバ 梯子分割なし [ms] 梯子分割あり [ms] 性能比 主な効果
PS-B (MI300A) pcg 11.62 6.95 1.67 SpMV 4.9 ms → 2.6 ms
前処理 4.7 ms → 2.4 ms
PS-B (MI300A) pgmres 24.81 19.88 1.25 SpMV 5.1 ms → 2.9 ms
前処理 4.9 ms → 2.4 ms
Odyssey (A64FX) pcg 49.35 40.01 1.23 SpMV 23.6 ms → 14.3 ms
前処理 15.2 ms → 15.3 ms
Odyssey (A64FX) pgmres 91.41 82.01 1.11 SpMV 24.2 ms → 14.8 ms
前処理 15.3 ms → 15.4 ms

13.4 gemv の分解

 gemv (y←y+Vc=y+∑jcjvjy \leftarrow y + Vc = y + \sum_{j} c_j v_j, VV は M 列の行列, vjv_j はその第 jj 列) は M 本の列を同時に読み, yy の読み書きを 1 回にまとめる. PARCEL_GEMV_AS_AXPY=1 はこれを M 回の axpy (y←y+cjvjy \leftarrow y + c_j v_j) に分解する.

gemv (既定): y ← y + Σ cj vj を 1 回で v₀ v₁ v₂ v₃ y M 本の列を同時に読み, y の読み書きは 1 回 axpy に分解: y ← y + cj vj を M 回 1回目 v₀ y 2回目 v₁ y 3回目 v₂ y 4回目 v₃ y 列を 1 本ずつ読み, y を M 回読み書きする
図: gemv と axpy への分解 (M = 4).分解すると読むデータは増えるが,同時に流す列が 1 本になる.

 分解すると yy を M 回読み書きするのでデータの移動は増えるが, 同時に流す列が 1 本になる. A64FX では M 本を同時に流す gemv が遅くなりうる (列の間隔が 2 の冪だと M 本の列が同じキャッシュセットに落ちる) ので分解する. x86 の CPU と GPU では分解しない.

 CPU 向けのビルド (_BLOCKING_LOOP_または_BLOCKING_LOOP_DOT_) では, 分解しない gemv も行のブロックごとに 1 列ずつ読む行ブロック版 (PARCEL_CPU_ROWBLOCK. CPU の既定 1) になり, 基底の列の間隔にも詰め物 (PARCEL_BASIS_PAD. CPU の既定 8 要素) が入る. このため M 本の列のキャッシュの衝突は分解しなくても起きにくく, 分解の効果はks_arnoldiの gemv の区間で約 1.1〜1.2 倍にとどまる (Odyssey の 1 ノードで NX=128 は 1.11 倍, NX=256 は 1.20 倍).

 Odyssey で, 分解しない場合 (-DPARCEL_GEMV_AS_AXPY=0) と分解した場合 (既定) を比べた. gemv を多く使うのはks_arnoldiとpcagmresである (ks_arnoldiは m=40m = 40 で 10 リスタート, pcagmresは s=8s = 8, t=4t = 4, Jacobi 前処理で 64 反復).

環境 ソルバ 分解なし [ms] 分解あり [ms] 性能比 主な効果
Odyssey ks_arnoldi (1 リスタートあたり) 2760.9 2645.7 1.04 gemv 888.1 ms → 738.9 ms
Odyssey pcagmres (1 反復あたり) 65.9 65.6 1.00 gemv 0.55 ms → 0.45 ms

 既定値は _BLOCKING_LOOP_ の値なので, A64FX 向けのビルドでは指定しなくても 1 になる. gemv は累算してから係数を 1 回掛けるが, 分解版は項ごとに係数を掛けて足すので, 丸めの順序が変わる.

13.5 A64FX 向けの最適化 (A〜F)

 A64FX 向けのビルド (_BLOCKING_LOOP_=1) には, 次の 6 つの最適化がある. B〜F は計算 (各要素の式と足す順) を変えないので, 結果は使わない場合とビット単位で同じである (Odyssey で, C・D は 200 反復, E・F は収束まで (306 反復) の残差の推移が一致することを確かめた). A は積和を FMA 命令にまとめるので, 丸めが変わる. x86 の CPU と GPU のビルドでは C〜F のコードは使われず, 生成されるコードは変わらない.

内容 指定
A 積和 (a×b+ca \times b + c) を FMA 命令にまとめる. 富士通コンパイラの clang モードは既定では積和をまとめない ビルド時に-ffp-contract=fast (推奨オプション)
B OpenMP のスレッドを, カーネルの間の待ち合わせでも休ませずに回し続ける. カーネルの起動と待ちの固定費が減る 実行時にOMP_WAIT_POLICY=ACTIVEとKMP_BLOCKTIME=infinite (推奨. 既定ではない)
C 係数を値で渡す axpy (axpy_value / axpby_value) と gemv の axpy 分解版 (gemv の分解) の書き直し: スレッド数分の連続した範囲に分け, ポインタと係数をローカル変数 (restrict 付き) に写し, 富士通コンパイラが元の式 βy+αx\beta y + \alpha x に選ぶ融合 fma(β,y,αx)\mathrm{fma}(\beta, y, \alpha x) をstd::fmaで明示する (β=1\beta = 1 の経路は掛け算を省く). 明示しないと, 周りのコードによって別の形 fma(α,x,βy)\mathrm{fma}(\alpha, x, \beta y) が選ばれ, 丸めが変わることがある 既定 (PARCEL_A64FX_AXPY_C. -DPARCEL_A64FX_AXPY_C=0で切れる)
D pcg (pstep = 1, 既定) の 1 反復のカーネルの融合: xx と pp の更新 (x←x+αpx \leftarrow x + \alpha p と p←s+βpp \leftarrow s + \beta p) を 1 本に, rr の更新と ⟨r,r⟩\langle r, r \rangle の内積を 1 本にする. xx と pp の読み書きが 1 回ずつになり, カーネル 1 本分の起動と待ちの固定費も減る 既定 (PARCEL_CG_FUSED. -DPARCEL_CG_FUSED=0で切れる)
E Jacobi 前処理の右辺の準備 (DA−1bD_A^{-1} b を作るカーネル) で, ベクトルのスケーリングが無い (割る値が 1. 倍精度・単精度の既定) ときは割り算をしない版を選ぶ. A64FX の SVE の割り算はパイプライン化されず, 前処理の区間の約 3 割を占めていた 既定 (PARCEL_JACOBI_NODIV_UNIT. -DPARCEL_JACOBI_NODIV_UNIT=0で切れる)
F 前処理行列が単精度 (precon_dataFなど) のとき, Jacobi 前処理の反復で 2 行を交互に処理し, 2 本の積和の依存の待ちを重ねる (各行の足す順は同じ). 倍精度の前処理行列では使わない (コンパイラが既に行を重ねており, 遅くなる) 既定 (PARCEL_JACOBI_ROW2. -DPARCEL_JACOBI_ROW2=0で切れる)

 A〜F の効果を Odyssey の 4 ノード (16 ランク × 12 スレッド. 1 ランクあたり 8.4 M 行) で測った (Jacobi 前処理のpcg 100 反復とpgmres (m=60m = 60) 60 反復の 1 反復あたり [ms], 3 巡の中央値. 括弧内は性能比 (最適化なしの時間 ÷ その版の時間)). 最適化なしは A〜F をすべて使わないビルド (-ffp-contract=fastを付けず, -DPARCEL_A64FX_AXPY_C=0 -DPARCEL_CG_FUSED=0 -DPARCEL_JACOBI_NODIV_UNIT=0 -DPARCEL_JACOBI_ROW2=0) を B を付けずに実行したもの, A+B+C+D は E・F だけを外したビルドを, A+B+C+D+E+F は推奨のビルドを, B を付けて実行したものである. いずれも Jacobi 前処理の値を保持する既定のビルドである.

精度 ソルバ 最適化なし [ms] A+B+C+D [ms] (性能比) A+B+C+D+E+F [ms] (性能比)
倍精度 pcg 46.64 44.68 (1.04) 39.97 (1.17)
倍精度 pgmres 90.32 86.85 (1.04) 82.03 (1.10)
precon_dataF pcg 50.41 48.10 (1.05) 41.06 (1.23)
precon_dataF pgmres 93.69 90.08 (1.04) 83.21 (1.13)

 注意:

13.6 V100 のレジスタ数の指定

 V100 (cuda:sm_70) では, ビルドに-Xcuda-ptxas -maxrregcount=255を付ける. ptxas (CUDA のアセンブラ) が 1 スレッドに割り当てるレジスタ数の上限を広げる指定であり, 既定の割り当てでは Jacobi 前処理などのカーネルで行列とベクトルの読み出しが分かれて直列になり, 遅くなる. spill は出ず, 計算結果は変わらない. GH200 と A100 には付けない.

 s86 GPU で, 推奨のビルド (梯子分割なし) に対して指定の有無を比べた 1 反復あたりの時間を示す.

環境 ソルバ 指定なし [ms] 指定あり [ms] 性能比 主な効果
s86 GPU (V100) pcg 45.53 25.17 1.81 SpMV 18.0 ms → 8.7 ms
前処理 20.8 ms → 9.9 ms
s86 GPU (V100) pgmres 94.63 74.29 1.27 SpMV 18.7 ms → 9.3 ms
前処理 21.2 ms → 10.1 ms

13.7 メモリと速さの選択

 v1.2 の既定は, メモリを少なくする 2 つの設定を有効にしている (A64FX 向けのビルドでは G だけ. 下を参照).

 メモリに余裕がある場合は, 次の最適化オプションでメモリを使って速くできる. どちらもアルゴリズムは同じで, 反復回数は変わらない.

最適化オプション 指定 増えるメモリ (1 ランク) 速くなる処理 結果への影響
H なし ビルド時に-DPARCEL_JACOBI_ONTHEFLY=0 BBの値: AAの非零の数 × 前処理行列の精度の大きさ (7 点差分・倍精度でベクトル約 7 本分) Jacobi 前処理の適用. GPU で効く (CPU ではほぼ変わらない) -ffp-contract=offならビット単位で同じ (積和の融合を許すビルドでは丸めが変わりうる)
G なし 実行時にPARCEL_PSTEP=4 (またはビルド時に-DPARCEL_PCG_NO_XHIST=0) pcgの探索方向の履歴: 袖付きベクトル 3 本 pcgの解の更新 (xxの読み書きが 1/4) 解の足し合わせ方が変わり, 丸めの桁で結果が変わる (反復回数は同じ)

 各環境の推奨のビルドで, 省メモリ設定 G・H の有無を変えたpcgの 1 反復あたりの時間を示す (測定の条件は章の冒頭と同じ). 列の「G+H」は G と H の両方が有効, 「G」は G だけが有効 (H なし), 「H」は H だけが有効 (G なし), 「off」は両方とも無効である. 性能比は off の時間 ÷ G+H の時間であり, 1 未満なら両方とも無効にした方が速い.

環境 ソルバ G+H [ms] G [ms] H [ms] off [ms] 性能比 (off/G+H)
s86 CPU pcg 130.5 129.3 128.6 126.3 0.97
Miyabi-C pcg 28.38 27.94 27.93 26.41 0.93
PS-A pcg 22.69 22.31 22.16 21.93 0.97
Odyssey pcg 44.32 40.01 44.07 39.59 0.89
s86 GPU (V100) pcg 25.17 24.69 24.65 24.04 0.95
Miyabi-G (GH200) pcg 4.72 4.60 4.55 4.55 0.97
Aquarius (A100) pcg 12.91 12.61 12.47 12.36 0.96
PS-B (MI300A) pcg 6.67 6.48 6.59 6.35 0.95

 同じ測定で読んだ 1 装置あたりのメモリを, 時間の表と同じ並びで示す. メモリ比は off のメモリ ÷ G+H のメモリであり, 1 より大きければ両方とも無効にした方が多くのメモリを使う.

環境 ソルバ G+H [GiB] G [GiB] H [GiB] off [GiB] メモリ比 (off/G+H)
s86 CPU pcg 9.08 9.61 9.08 10.40 1.15
Miyabi-C pcg 8.11 8.64 8.10 9.43 1.16
PS-A pcg 10.31 11.10 10.26 11.91 1.15
Odyssey pcg 5.68 7.42 6.47 8.22 1.45
s86 GPU (V100) pcg 5.88 7.62 6.64 8.39 1.43
Miyabi-G (GH200) pcg 5.57 7.32 6.33 8.08 1.45
Aquarius (A100) pcg 5.99 7.74 6.75 8.50 1.42
PS-B (MI300A) pcg 5.57 7.32 6.33 8.08 1.45