13 最適化
PARCEL は, 計算 (アルゴリズムと反復回数) を変えずに速さを上げる 2 種類の最適化を持つ. 1 つは演算カーネルのループの形を環境に合わせて変える最適化 (ブロック化, 梯子分割, gemv の分解, A64FX 向けの最適化), もう 1 つはメモリを使って速くする最適化オプション (「メモリと速さの選択」) である. どちらもビルド時のマクロまたは実行時の環境変数で選ぶ.
以下の各節の効果は, 配布パッケージのコード (検証用サンプル) で, 最適化の有無だけを変えた実行ファイルを同じジョブの中で交互に実行し, 反復回数を固定して 1 反復あたりの時間を比べたものである. 問題は性能試験と同じ 3 次元 Poisson 方程式 (NX=512) で, 装置数は 4 (CPU は 4 ソケット, Odyssey は 4 ノード, GPU は 4 台. ランクとスレッドの配置は性能の章の測定条件と同じ) である. ソルバは Jacobi 前処理のpcg (100 反復) とpgmres ( = 60, 60 反復. s86 CPU のブロック化と PS-B の梯子分割は 120 反復) を主に用いた. 1 反復あたりの時間は, 初期化を除く反復計算部分 (主ループ) の時間 ÷ 反復回数 (ks_arnoldiはリスタート回数) であり, 2〜5 巡の平均である. 本文と表の区間の時間 (内積, SpMV, 前処理, Gram-Schmidt など) も主ループの中の 1 反復あたりの時間である. 各表の性能比は最適化なしの時間 ÷ 最適化ありの時間であり, 1 を超えると最適化で速くなる. 主な効果の欄は, 差の大きい区間の時間を「最適化なし → 最適化あり」で示す.
演算カーネル (内積, axpy, SpMV, 前処理, gemv など) の既定の形は, 1 行を 1 work item が受け持つ平坦なループで, GPU に向く. PARCEL は, ループの構造を CPU・A64FX などの環境に合わせて変える最適化を持ち, ビルド時のマクロで選ぶ. マクロの一覧はインストールの「最適化」に, 環境ごとのコンパイルコマンドは推奨オプションに示す. 環境ごとの既定を次節に, 各最適化の仕組みと効果を以下の各節に示す.
13.1 環境ごとの既定
推奨のビルド (推奨オプション. spack のレシピparcel-syclのkernel=autoも同じ) で有効になる最適化を環境ごとに示す. 「—」はその環境では使わないものである.
| 環境 | ブロック化 | 梯子分割 (SpMV / 前処理) | gemv の分解 | A64FX 向け | V100 のレジスタ数 | 省メモリ G / H |
|---|---|---|---|---|---|---|
| s86 CPU, Miyabi-C, PS-A, Mac, Linux Workstation (CPU) | 縮約だけ | なし / なし | なし | — | — | 有効 / 有効 |
| Odyssey | 全カーネル | あり / なし | あり | A・C・D・E・F (B は実行時) | — | 有効 / 無効 |
| s86 GPU (V100) | なし | なし / なし | なし | — | 指定する | 有効 / 有効 |
| Miyabi-G (GH200), Aquarius (A100), Linux Workstation (RTX A6000) | なし | なし / なし | なし | — | — | 有効 / 有効 |
| PS-B (MI300A) | なし | あり / あり | なし | — | — | 有効 / 有効 |
- ブロック化の「縮約だけ」は
_BLOCKING_LOOP_DOT_=1, 「全カーネル」は_BLOCKING_LOOP_=1である (ブロック化). 「A64FX 向け」は A64FX 向けの最適化 (A〜F), 「省メモリ G / H」は「メモリと速さの選択」の設定 G・H である (A64FX 向けの最適化 A〜F とは別のものである). - Linux Workstation のブロック化は, CPU (Xeon Gold 6226R) が縮約だけ, GPU (RTX A6000) がなしである. どちらも表に無い環境の既定 (次の項目) と同じである.
- 表に無い環境では, CPU は s86 CPU と, NVIDIA の GPU は Miyabi-G と, AMD の GPU は PS-B と同じである (spack の
kernel=auto). - 前処理の梯子分割, gemv の分解, A64FX 向けの最適化の C・D・F, 省メモリ設定 H の既定は, ブロック化と梯子分割のマクロから決まる (
PARCEL_PRECON_LADDERの既定はPARCEL_SPMV_LADDERの値,PARCEL_GEMV_AS_AXPY・PARCEL_CG_FUSED・PARCEL_JACOBI_ROW2の既定は_BLOCKING_LOOP_の値,PARCEL_JACOBI_ONTHEFLYの既定は_BLOCKING_LOOP_が 1 なら 0). E (PARCEL_JACOBI_NODIV_UNIT) は既定 1 で,_BLOCKING_LOOP_のビルドでだけ働く. 個別に変える場合はインストールの「最適化」のマクロを指定する. - A64FX 向けの最適化の A (
-ffp-contract=fast) はコマンドラインで, B (OMP_WAIT_POLICY=ACTIVEとKMP_BLOCKTIME=infinite) は実行時の環境変数で指定する (A64FX 向けの最適化). - V100 のレジスタ数は
-Xcuda-ptxas -maxrregcount=255である (V100 のレジスタ数の指定). - 省メモリ設定 G は実行時に
PARCEL_PSTEPで, H はビルド時にPARCEL_JACOBI_ONTHEFLYで変えられる (「メモリと速さの選択」). 「無効」は Jacobi 前処理の値を保持する (メモリを使って速くする) ことを表す.
13.2 ブロック化
_BLOCKING_LOOP_=1 は, SpMV 以外の全カーネル (内積, axpy, 前処理など) を, 1 スレッドが連続した行をまとめて受け持つブロック化版に替える. 縮約はスレッドごとの部分和を最後に足し合わせるだけなので, ワークグループ内のバリアが要らない. _BLOCKING_LOOP_DOT_=1 は縮約 (dot, dddot, max) だけをブロック化版に替える.
効果は縮約に集中する. 平坦版の縮約はワークグループ内のバリアによるツリー削減であり, CPU ではバリアの固定費が大きいためである. A64FX 以外の CPU で推奨する縮約だけのブロック化 (_BLOCKING_LOOP_DOT_=1) の効果を示す.
| 環境 | ソルバ | ブロック化なし [ms] | ブロック化あり [ms] | 性能比 | 主な効果 |
|---|---|---|---|---|---|
| s86 CPU | pcg |
172.4 | 130.5 | 1.32 | 内積 56.6 ms → 15.0 ms |
| s86 CPU | pgmres |
975.0 | 422.3 | 2.31 | Gram-Schmidt 850.3 ms → 313.1 ms |
| Miyabi-C | pcg |
40.3 | 28.4 | 1.42 | 内積 15.0 ms → 4.0 ms |
| Miyabi-C | pgmres |
220.7 | 73.4 | 3.01 | Gram-Schmidt 193.0 ms → 49.5 ms |
| PS-A | pcg |
24.0 | 22.7 | 1.06 | 内積 4.7 ms → 4.1 ms |
| PS-A | pgmres |
65.5 | 49.0 | 1.34 | Gram-Schmidt 46.8 ms → 30.6 ms |
A64FX で推奨する全カーネルのブロック化 (_BLOCKING_LOOP_=1) の効果を示す.
| 環境 | ソルバ | ブロック化なし [ms] | ブロック化あり [ms] | 性能比 | 主な効果 |
|---|---|---|---|---|---|
| Odyssey | pcg |
1603.0 | 40.0 | 40.1 | 内積 1546.2 ms → 7.7 ms |
| Odyssey | pgmres |
16437.4 | 82.0 | 200 | Gram-Schmidt 15848.4 ms → 48.8 ms |
- A64FX 以外の CPU では, 縮約だけのブロック化で十分である. s86 CPU で全カーネルのブロック化 (
_BLOCKING_LOOP_=1) は 1 反復がpcg134.5 ms (縮約だけの 1.03 倍),pgmres421.8 ms (1.00 倍) で, 縮約だけの場合と変わらない. - A64FX (富士通コンパイラによる
omp.library-only) では, ブロック化しないと内積が極端に遅く, 実用にならない. 全カーネルのブロック化を必ず指定する. Odyssey のブロック化ありは推奨のビルド (A64FX 向けの最適化の A〜F を含む) である. - macOS (Apple M4) でも縮約のブロック化は必須である. 1 台で MPI なしの 1 プロセス 4 スレッド, NX=128 で測ると, ブロック化しない場合は縮約だけのブロック化の
pcgで 33.5 倍 (325.1 ms → 9.70 ms. 内積 315.7 ms → 1.13 ms),pgmres(, 120 反復) で 112 倍 (3311 ms → 29.6 ms. Gram-Schmidt 3193 ms → 21.2 ms) 遅い. 全カーネルのブロック化の 1 反復は縮約だけのpcg0.96 倍,pgmres1.00 倍,ks_arnoldi1.04 倍 (10 スレッドでは 0.97〜0.99 倍) で差が小さく, Jacobi 前処理の値を保持する分メモリが増える (NX=128 のpcgで PARCEL が確保するメモリが 352 MiB → 464 MiB) ので, 縮約だけを用いる. - GPU には付けない (平坦な形が GPU に向く).
分割数は実行時に決まる. 環境変数 PARCEL_NBLOCK があればその値, 無ければ omp_get_max_threads() (1 ランクあたりのスレッド数) を用いる.
ブロック化した縮約では部分和の数が実行構成 (ランク数×スレッド数) で変わり, 縮約の順序も変わる. 倍精度では結果に影響しないが, 低精度の構成を環境間で比較する場合はこのフラグと実行構成を揃える.
13.3 梯子分割
CRS の SpMV の内側ループは行ごとの非零数で回数が決まるので, コンパイラは回数を知らず, 展開や先読みができない. PARCEL_SPMV_LADDER=1 は内側ループを 4 要素・2 要素・1 要素の固定長の段に分け, どの非零数でも全量が固定長の本体に入るようにする (非零数 7 なら 4+2+1). 非零数は行ごとに違ってよく, 追加のメモリも要らない. PARCEL_PRECON_LADDER は Jacobi 前処理 (PRECON_JACOBI) の反復ループに同じ分割を行う.
効果は環境によって異なり, 遅くなる環境もある. 梯子分割を推奨する PS-B (MI300A) と Odyssey (A64FX) で, 梯子分割の有無を比べた 1 反復あたりの時間を示す.
| 環境 | ソルバ | 梯子分割なし [ms] | 梯子分割あり [ms] | 性能比 | 主な効果 |
|---|---|---|---|---|---|
| PS-B (MI300A) | pcg |
11.62 | 6.95 | 1.67 | SpMV 4.9 ms → 2.6 ms 前処理 4.7 ms → 2.4 ms |
| PS-B (MI300A) | pgmres |
24.81 | 19.88 | 1.25 | SpMV 5.1 ms → 2.9 ms 前処理 4.9 ms → 2.4 ms |
| Odyssey (A64FX) | pcg |
49.35 | 40.01 | 1.23 | SpMV 23.6 ms → 14.3 ms 前処理 15.2 ms → 15.3 ms |
| Odyssey (A64FX) | pgmres |
91.41 | 82.01 | 1.11 | SpMV 24.2 ms → 14.8 ms 前処理 15.3 ms → 15.4 ms |
- PS-B は SpMV と前処理の両方の梯子分割 (
-DPARCEL_SPMV_LADDER=1 -DPARCEL_PRECON_LADDER=1) の有無を, Odyssey は前処理を梯子分割しないまま SpMV の梯子分割の有無を比べた. PS-B のpgmresは 120 反復 (2 周期) で測った. - MI300A では SpMV と前処理がともに約 2 倍速くなり, 効果が最も大きい. AMD の GPU には付ける.
- A64FX では SpMV の梯子分割が効き, 前処理の梯子分割は遅くなるので,
PARCEL_PRECON_LADDER=0を明示する. 推奨のビルドに前処理の梯子分割 (-DPARCEL_PRECON_LADDER=1) を加えると, 1 反復はpcgで 39.99 ms → 43.76 ms (0.91 倍),pgmresで 82.43 ms → 85.65 ms (0.96 倍) に遅くなる (前処理の区間 15.2 ms → 18.9 ms. 同じ条件で別の回に測った値). - NVIDIA の GPU には付けない. 同じ条件で比べると, V100 では梯子分割で
pcgの 1 反復が遅くなり (25.1 ms → 29.6 ms), GH200 と A100 では差が無い (4.70 ms → 4.68 ms, 13.15 ms → 13.13 ms).
13.4 gemv の分解
gemv (, は M 列の行列, はその第 列) は M 本の列を同時に読み, の読み書きを 1 回にまとめる. PARCEL_GEMV_AS_AXPY=1 はこれを M 回の axpy () に分解する.
分解すると を M 回読み書きするのでデータの移動は増えるが, 同時に流す列が 1 本になる. A64FX では M 本を同時に流す gemv が遅くなりうる (列の間隔が 2 の冪だと M 本の列が同じキャッシュセットに落ちる) ので分解する. x86 の CPU と GPU では分解しない.
CPU 向けのビルド (_BLOCKING_LOOP_または_BLOCKING_LOOP_DOT_) では, 分解しない gemv も行のブロックごとに 1 列ずつ読む行ブロック版 (PARCEL_CPU_ROWBLOCK. CPU の既定 1) になり, 基底の列の間隔にも詰め物 (PARCEL_BASIS_PAD. CPU の既定 8 要素) が入る. このため M 本の列のキャッシュの衝突は分解しなくても起きにくく, 分解の効果はks_arnoldiの gemv の区間で約 1.1〜1.2 倍にとどまる (Odyssey の 1 ノードで NX=128 は 1.11 倍, NX=256 は 1.20 倍).
Odyssey で, 分解しない場合 (-DPARCEL_GEMV_AS_AXPY=0) と分解した場合 (既定) を比べた. gemv を多く使うのはks_arnoldiとpcagmresである (ks_arnoldiは で 10 リスタート, pcagmresは , , Jacobi 前処理で 64 反復).
| 環境 | ソルバ | 分解なし [ms] | 分解あり [ms] | 性能比 | 主な効果 |
|---|---|---|---|---|---|
| Odyssey | ks_arnoldi (1 リスタートあたり) |
2760.9 | 2645.7 | 1.04 | gemv 888.1 ms → 738.9 ms |
| Odyssey | pcagmres (1 反復あたり) |
65.9 | 65.6 | 1.00 | gemv 0.55 ms → 0.45 ms |
ks_arnoldiのブロック直交化 (既定の CGS2) は, 部分空間の基底に対する射影を gemv で行う. gemv の区間が 1 リスタートの約 3 割 (2645.7 ms のうち 738.9 ms) を占め, 分解で gemv の区間が 1.20 倍速くなるので, 1 リスタートが 1.04 倍速くなる.pcagmresでも分解で gemv の区間は 1.22 倍速くなるが, gemv が 1 反復に占める割合は 1% 未満 (65.6 ms のうち 0.45 ms) なので, 1 反復は変わらない.pcgとpgmresでは gemv の区間が 1 反復の 1% 未満で, 差は 1% 以内である (pcg・pgmresとも 1.00 倍).
既定値は _BLOCKING_LOOP_ の値なので, A64FX 向けのビルドでは指定しなくても 1 になる. gemv は累算してから係数を 1 回掛けるが, 分解版は項ごとに係数を掛けて足すので, 丸めの順序が変わる.
13.5 A64FX 向けの最適化 (A〜F)
A64FX 向けのビルド (_BLOCKING_LOOP_=1) には, 次の 6 つの最適化がある. B〜F は計算 (各要素の式と足す順) を変えないので, 結果は使わない場合とビット単位で同じである (Odyssey で, C・D は 200 反復, E・F は収束まで (306 反復) の残差の推移が一致することを確かめた). A は積和を FMA 命令にまとめるので, 丸めが変わる. x86 の CPU と GPU のビルドでは C〜F のコードは使われず, 生成されるコードは変わらない.
| 内容 | 指定 | |
|---|---|---|
| A | 積和 () を FMA 命令にまとめる. 富士通コンパイラの clang モードは既定では積和をまとめない | ビルド時に-ffp-contract=fast (推奨オプション) |
| B | OpenMP のスレッドを, カーネルの間の待ち合わせでも休ませずに回し続ける. カーネルの起動と待ちの固定費が減る | 実行時にOMP_WAIT_POLICY=ACTIVEとKMP_BLOCKTIME=infinite (推奨. 既定ではない) |
| C | 係数を値で渡す axpy (axpy_value / axpby_value) と gemv の axpy 分解版 (gemv の分解) の書き直し: スレッド数分の連続した範囲に分け, ポインタと係数をローカル変数 (restrict 付き) に写し, 富士通コンパイラが元の式 に選ぶ融合 をstd::fmaで明示する ( の経路は掛け算を省く). 明示しないと, 周りのコードによって別の形 が選ばれ, 丸めが変わることがある |
既定 (PARCEL_A64FX_AXPY_C. -DPARCEL_A64FX_AXPY_C=0で切れる) |
| D | pcg (pstep = 1, 既定) の 1 反復のカーネルの融合: と の更新 ( と ) を 1 本に, の更新と の内積を 1 本にする. と の読み書きが 1 回ずつになり, カーネル 1 本分の起動と待ちの固定費も減る |
既定 (PARCEL_CG_FUSED. -DPARCEL_CG_FUSED=0で切れる) |
| E | Jacobi 前処理の右辺の準備 ( を作るカーネル) で, ベクトルのスケーリングが無い (割る値が 1. 倍精度・単精度の既定) ときは割り算をしない版を選ぶ. A64FX の SVE の割り算はパイプライン化されず, 前処理の区間の約 3 割を占めていた | 既定 (PARCEL_JACOBI_NODIV_UNIT. -DPARCEL_JACOBI_NODIV_UNIT=0で切れる) |
| F | 前処理行列が単精度 (precon_dataFなど) のとき, Jacobi 前処理の反復で 2 行を交互に処理し, 2 本の積和の依存の待ちを重ねる (各行の足す順は同じ). 倍精度の前処理行列では使わない (コンパイラが既に行を重ねており, 遅くなる) |
既定 (PARCEL_JACOBI_ROW2. -DPARCEL_JACOBI_ROW2=0で切れる) |
A〜F の効果を Odyssey の 4 ノード (16 ランク × 12 スレッド. 1 ランクあたり 8.4 M 行) で測った (Jacobi 前処理のpcg 100 反復とpgmres () 60 反復の 1 反復あたり [ms], 3 巡の中央値. 括弧内は性能比 (最適化なしの時間 ÷ その版の時間)). 最適化なしは A〜F をすべて使わないビルド (-ffp-contract=fastを付けず, -DPARCEL_A64FX_AXPY_C=0 -DPARCEL_CG_FUSED=0 -DPARCEL_JACOBI_NODIV_UNIT=0 -DPARCEL_JACOBI_ROW2=0) を B を付けずに実行したもの, A+B+C+D は E・F だけを外したビルドを, A+B+C+D+E+F は推奨のビルドを, B を付けて実行したものである. いずれも Jacobi 前処理の値を保持する既定のビルドである.
| 精度 | ソルバ | 最適化なし [ms] | A+B+C+D [ms] (性能比) | A+B+C+D+E+F [ms] (性能比) |
|---|---|---|---|---|
| 倍精度 | pcg |
46.64 | 44.68 (1.04) | 39.97 (1.17) |
| 倍精度 | pgmres |
90.32 | 86.85 (1.04) | 82.03 (1.10) |
precon_dataF |
pcg |
50.41 | 48.10 (1.05) | 41.06 (1.23) |
precon_dataF |
pgmres |
93.69 | 90.08 (1.04) | 83.21 (1.13) |
- A+B+C+D で短くなるのは主に SpMV (15.87 ms → 14.28 ms. A の FMA) と前処理 (20.96 ms → 19.83 ms) である (
pcg, 倍精度).pcgでは D がとの更新を 1 本にして gemv の区間 (1.27 ms) と axpy の区間の一部 (3.02 ms → 2.11 ms) を無くすが, の更新と内積を融合したカーネルで内積の区間が 4.96 ms → 7.82 ms に増える. D の損得は 1 ランクあたりの行数で決まり, この構成 (8.4 M 行) では D だけを外した方が約 3% 速い. 約 2 M 行以下では D を使う方が 1〜10% 速い.pgmresの Gram-Schmidt (約 49 ms) はどの版でも変わらない. - E・F が速くするのは前処理の区間である. 前処理の区間は, 倍精度 (E だけが働く) で 19.83 ms → 15.09 ms,
precon_dataF(E と F) で 23.56 ms → 16.49 ms になる. E・F の有無で残差の推移は一致する. - 前処理の区間は, 右辺の準備 (E が効く) と反復 1 回分の掃引 (F が効く) とハロー交換からなる.
precon_dataFの前処理の区間は倍精度 (いずれもの値を保持) の 1.09 倍である (E・F がない場合は 1.19 倍). A64FX の前処理はメモリ帯域ではなく命令の実行で決まっており, 単精度の前処理行列は型変換の命令の分だけ命令が多い.
注意:
- B ではスレッドが待ちの間もコアを使い続ける. 推奨の配置 (1 CMG に 1 ランク, 12 スレッド) では問題ないが, コアを取り合う配置 (1 コアに複数のスレッド, 同じノードにほかのプロセス) では逆効果になる.
- E は割る値 (ベクトルのスケーリングの最大値) が 1 のときだけ割り算を外す ( なので結果は同じ). スケーリングが有効な構成 (半精度の前処理など) では従来どおり割る. F は Jacobi 前処理の値を保持する版だけで働き, その場で計算する版 (
PARCEL_JACOBI_ONTHEFLY=1) と梯子分割 (PARCEL_PRECON_LADDER=1) では使わない.PARCEL_JACOBI_ROW2=1は_BLOCKING_LOOP_=1かつPARCEL_PRECON_LADDER=0でだけ指定でき, それ以外では#errorで止まる. - D の の更新と内積の融合は, CPU の MGS で使っているカーネル (
axpy_dot_value) と同じである.PARCEL_CG_FUSEDは_BLOCKING_LOOP_とPARCEL_GS_FUSEDのビルドでだけ 1 にでき, それ以外で 1 を指定するとコンパイルが#errorで止まる. 係数を値で渡せない型の組み合わせ (double-double を含むもの) とRESIDUAL_REPLACEでは融合しない.
13.6 V100 のレジスタ数の指定
V100 (cuda:sm_70) では, ビルドに-Xcuda-ptxas -maxrregcount=255を付ける. ptxas (CUDA のアセンブラ) が 1 スレッドに割り当てるレジスタ数の上限を広げる指定であり, 既定の割り当てでは Jacobi 前処理などのカーネルで行列とベクトルの読み出しが分かれて直列になり, 遅くなる. spill は出ず, 計算結果は変わらない. GH200 と A100 には付けない.
s86 GPU で, 推奨のビルド (梯子分割なし) に対して指定の有無を比べた 1 反復あたりの時間を示す.
| 環境 | ソルバ | 指定なし [ms] | 指定あり [ms] | 性能比 | 主な効果 |
|---|---|---|---|---|---|
| s86 GPU (V100) | pcg |
45.53 | 25.17 | 1.81 | SpMV 18.0 ms → 8.7 ms 前処理 20.8 ms → 9.9 ms |
| s86 GPU (V100) | pgmres |
94.63 | 74.29 | 1.27 | SpMV 18.7 ms → 9.3 ms 前処理 21.2 ms → 10.1 ms |
- SpMV と Jacobi 前処理のカーネルがともに約 2 倍速くなる.
pgmresは Gram-Schmidt の区間 (約 53 ms) が指定の有無で変わらないので, 1 反復の性能比はpcgより小さい.
13.7 メモリと速さの選択
v1.2 の既定は, メモリを少なくする 2 つの設定を有効にしている (A64FX 向けのビルドでは G だけ. 下を参照).
- G:
pcgは探索方向の履歴を持たず, 解を毎反復更新する (PARCEL_PSTEPの既定 1). - H: Jacobi 前処理 (
PRECON_JACOBI) はの値を持たず, 適用のたびにの値とから計算する (Jacobi 前処理).
メモリに余裕がある場合は, 次の最適化オプションでメモリを使って速くできる. どちらもアルゴリズムは同じで, 反復回数は変わらない.
| 最適化オプション | 指定 | 増えるメモリ (1 ランク) | 速くなる処理 | 結果への影響 |
|---|---|---|---|---|
| H なし | ビルド時に-DPARCEL_JACOBI_ONTHEFLY=0 |
の値: の非零の数 × 前処理行列の精度の大きさ (7 点差分・倍精度でベクトル約 7 本分) | Jacobi 前処理の適用. GPU で効く (CPU ではほぼ変わらない) | -ffp-contract=offならビット単位で同じ (積和の融合を許すビルドでは丸めが変わりうる) |
| G なし | 実行時にPARCEL_PSTEP=4 (またはビルド時に-DPARCEL_PCG_NO_XHIST=0) |
pcgの探索方向の履歴: 袖付きベクトル 3 本 |
pcgの解の更新 (の読み書きが 1/4) |
解の足し合わせ方が変わり, 丸めの桁で結果が変わる (反復回数は同じ) |
- G は
pcgだけに効く (固有値ソルバの内部線形ソルバをpcgにした場合を含む). H は Jacobi 前処理を使うすべてのソルバに効く (固有値ソルバの内部線形ソルバの既定の前処理を含む). - H の対象外の組み合わせ (行列スケーリングが有効, 半精度の前処理 (既定でスケーリングが有効), 係数行列・前処理行列・前処理の演算精度のいずれかが double-double) では, 既定でもの値を保持する. ソルバの演算精度だけを double-double にした構成 (
calcDD) は対象である. - A64FX 向けのビルド (
_BLOCKING_LOOP_または_BLOCKING_LOOP_SPMV_が 1. 推奨オプション) では, H は既定で無効 (PARCEL_JACOBI_ONTHEFLYの既定 0) である. A64FX ではその場の計算が隠れず, Odyssey の 4 ノード (NX=512,pcg+ Jacobi 前処理) で H なしは前処理の区間が 0.77 倍, 1 反復が 0.90 倍になるので, メモリ (1 ランクあたりの非零の数 × 前処理行列の精度の大きさ. 倍精度で非零 1 個あたり 8 バイト) を使って速さを取る. H を有効にするには-DPARCEL_JACOBI_ONTHEFLY=1を明示する.
各環境の推奨のビルドで, 省メモリ設定 G・H の有無を変えたpcgの 1 反復あたりの時間を示す (測定の条件は章の冒頭と同じ). 列の「G+H」は G と H の両方が有効, 「G」は G だけが有効 (H なし), 「H」は H だけが有効 (G なし), 「off」は両方とも無効である. 性能比は off の時間 ÷ G+H の時間であり, 1 未満なら両方とも無効にした方が速い.
| 環境 | ソルバ | G+H [ms] | G [ms] | H [ms] | off [ms] | 性能比 (off/G+H) |
|---|---|---|---|---|---|---|
| s86 CPU | pcg |
130.5 | 129.3 | 128.6 | 126.3 | 0.97 |
| Miyabi-C | pcg |
28.38 | 27.94 | 27.93 | 26.41 | 0.93 |
| PS-A | pcg |
22.69 | 22.31 | 22.16 | 21.93 | 0.97 |
| Odyssey | pcg |
44.32 | 40.01 | 44.07 | 39.59 | 0.89 |
| s86 GPU (V100) | pcg |
25.17 | 24.69 | 24.65 | 24.04 | 0.95 |
| Miyabi-G (GH200) | pcg |
4.72 | 4.60 | 4.55 | 4.55 | 0.97 |
| Aquarius (A100) | pcg |
12.91 | 12.61 | 12.47 | 12.36 | 0.96 |
| PS-B (MI300A) | pcg |
6.67 | 6.48 | 6.59 | 6.35 | 0.95 |
- 既定は, Odyssey 以外では G+H の列, Odyssey (A64FX 向けのビルド) では G の列 (H 無効) である. A64FX では H を有効にすると前処理の区間が遅くなる (15.3 ms → 19.9 ms).
- G を外す (
PARCEL_PSTEP=4) とpcgの解の更新 (gemv の区間) が約半分になる (s86 CPU で 7.7 ms → 3.7 ms, V100 で 1.10 ms → 0.55 ms). - H を外すと Jacobi 前処理の区間が速くなる (s86 CPU で 52.6 ms → 50.2 ms, V100 で 9.85 ms → 9.39 ms). 両方を外す (off) と, 1 反復は G+H の 0.89〜0.97 倍になる.
同じ測定で読んだ 1 装置あたりのメモリを, 時間の表と同じ並びで示す. メモリ比は off のメモリ ÷ G+H のメモリであり, 1 より大きければ両方とも無効にした方が多くのメモリを使う.
| 環境 | ソルバ | G+H [GiB] | G [GiB] | H [GiB] | off [GiB] | メモリ比 (off/G+H) |
|---|---|---|---|---|---|---|
| s86 CPU | pcg |
9.08 | 9.61 | 9.08 | 10.40 | 1.15 |
| Miyabi-C | pcg |
8.11 | 8.64 | 8.10 | 9.43 | 1.16 |
| PS-A | pcg |
10.31 | 11.10 | 10.26 | 11.91 | 1.15 |
| Odyssey | pcg |
5.68 | 7.42 | 6.47 | 8.22 | 1.45 |
| s86 GPU (V100) | pcg |
5.88 | 7.62 | 6.64 | 8.39 | 1.43 |
| Miyabi-G (GH200) | pcg |
5.57 | 7.32 | 6.33 | 8.08 | 1.45 |
| Aquarius (A100) | pcg |
5.99 | 7.74 | 6.75 | 8.50 | 1.42 |
| PS-B (MI300A) | pcg |
5.57 | 7.32 | 6.33 | 8.08 | 1.45 |
- 既定は, Odyssey 以外では G+H の列, Odyssey (A64FX 向けのビルド) では G の列 (H 無効) である.
- 測り方は環境によって異なる. CPU (s86 CPU, Miyabi-C, PS-A) はホストメモリ (全ランクのピーク常駐メモリの合計を 4 ソケットで割った値), s86 GPU と Aquarius はデバイスメモリ (
nvidia-smiで読んだ 1 台のピーク), Miyabi-G と PS-B は PARCEL が確保したデバイスメモリのピーク (1 台の最大) である. Odyssey はホストの常駐メモリをこの方法で正しく測れないので, PARCEL が確保したメモリのピーク (全ランクの合計を 4 ノードで割った値) を示す. PARCEL が確保したメモリは, Aquarius の G+H で 5.56 GiB と,nvidia-smiの値 (5.99 GiB) より約 0.4 GiB 小さい. - 増えるメモリは, H を外すと 1 ランクあたりの非零の数 × 前処理行列の精度の大きさ, G を外すと袖付きベクトル 3 本分であり, 1 ランクの局所の行数に比例する (装置数を 2 倍にすると半分になる). CPU で G を外してもホストメモリが変わらないのは, ピークが行列の生成時に決まるためである.
- 時間がほとんど変わらないので, 通常は既定 (メモリを少なくする設定) のまま使う. GPU のメモリに余裕があり, わずかでも速くしたい場合に指定する.
- 前処理行列の精度を下げる混合精度 (
precon_dataFなど) では, H ありのままだと適用のたびにの倍精度の値を読むので, 前処理のデータを単精度にした効果が出にくい. 混合精度で速くしたい場合は H なしと組み合わせる (NVIDIA の GPU も同じ. 増えるメモリはの非零 1 個あたり前処理行列の精度の大きさ, 単精度なら 4 バイト. 効果は「混合精度」. A64FX では既定で H なしだが, 混合精度にしても速くならない). 配布パッケージの性能試験の混合精度 (tests/perf/gen_perf_prec.py) はこの組み合わせで測る (「自分の環境で測る」).