PARCEL SYCL v1.2 / 利用者ガイド 利用者ガイド API リファレンス 検索 ダウンロード English

14 性能

 v1.2 を試験環境 8 つ (CPU は s86 CPU, PS-A, Miyabi-C, Odyssey, GPU は s86 GPU, Miyabi-G, Aquarius, PS-B) で測った結果を示す. NX=512 の 3 次元の問題を収束まで解いた時間, 前処理のデータ精度だけを下げた混合精度の効果, PETSc / SLEPc との比較, v1.0 との比較, メモリ使用量である. 値はいずれも同梱の検証用サンプル tests/verify/parcel_krylov_sample_verify.cpp による実測値であり, 利用者の問題での性能を保証するものではない. v1.2 は既定の設定と推奨オプションで測った. 条件は配布パッケージの性能試験 (tests/perf/) と同じであり, 同じ条件で自分の環境を測る方法は「自分の環境で測る」に示す.


14.1 測定条件

 本章のグラフはすべて次の条件で測った.

項目 条件
問題 3 次元 7 点差分, NX=512 (未知数 n = 134,217,728). pcg・pbicgstabと固有値ソルバは Poisson 方程式 (検証用サンプルの行列poisson. 対称), 非対称向けのpgmres・pcagmresは移流拡散方程式 (convdiff, 移流係数 c = 0.05. 非対称). 右辺 b = 1, 初期値 x = 0 (PARCEL_VERIFY=0), 倍精度
線形ソルバ 前処理なしと Jacobi 前処理 (PARCEL_PRECON=4, 反復 1 回) の 2 通り. 収束判定値 1.0e-8 (相対残差), 最大反復回数 10000. パラメータはライブラリの既定 (PARCEL_LIB_DEFAULTS=1) で, 指定したのはpgmresのリスタート周期mm = 60 (既定 30) とpcagmresの(s,t)=(8,8)(s, t) = (8, 8) (既定(8,4)(8, 4)) だけである. pcagmresはQQを作る方式 (EXPLICIT, QR はQR_MGS) と作らない方式 (IMPLICIT, QR_CHOLESKYQR) の 2 通り
固有値ソルバ 前処理なし, 収束判定値 1.0e-8. powerは最大反復回数 20000. inverse_powerは外側の最大反復回数 200, 内部線形ソルバはpcgと Jacobi 前処理 (PARCEL_LINSOLVE_SOLVER=pcg PARCEL_LINSOLVE_PRECON=4) で収束判定値 1.0e-10, 最大反復回数 5000 (既定のpgmres (周期 30) では Poisson 方程式の内部の解法が上限に達し, 遅くなるため). ks_arnoldiはmm = 40, kkeepk_{keep} = 10, nevnev = 1, 最大リスタート回数 200 (既定), 直交化は各環境のビルドの既定で, PS-A は MGS2 (PARCEL_KS_ORTHO_DEFAULT=mgs), ほかの 7 環境は CGS2 (配布パッケージの性能試験tests/perfも同じ)
装置数 4 / 8 / 16. 「1 装置」は CPU では 1 ソケット (Odyssey は A64FX 1 基 = 1 ノード), GPU では 1 台 (GH200, MI300A は 1 基)
繰り返し 各構成 3 回. 時間は 3 回の最短
計測区間 各ソルバが表示する<ソルバ名> time = ... (total solver wall time) (ランク 0 の壁時計). 前処理の準備と初期残差の計算を含み, 行列の設定 (set_crsMat()) とサンプルの行列生成を含まない
ビルド 推奨オプションのフラグ (NVIDIA の GPU は梯子分割なしで, V100 だけ-Xcuda-ptxas -maxrregcount=255. MI300A は梯子分割あり, A64FX は全カーネルのブロック化と SpMV だけの梯子分割に A64FX 向けの最適化の A〜F (B は実行時の環境変数), その他の CPU は縮約のブロック化). 配布パッケージの spack の手順で入れた環境で, 同梱のコードからビルドした
既定の設定 ライブラリの既定 (Jacobi 前処理のBBの値を保持しない. A64FX 向けのビルドは保持する. PARCEL_PSTEP 1). 混合精度のprecon_dataFだけは-DPARCEL_JACOBI_ONTHEFLY=0でビルドした

 環境ごとの 1 装置のランク数とスレッド数を次に示す (PETSc / SLEPc との比較で用いた PETSc のランク数も併記する). CPU の PETSc は 1 ソケット (Odyssey は 1 ノード) の全コアを 1 コア 1 ランクで使う (フラット MPI). GPU の PETSc は PARCEL と同じく 1 装置 1 ランクで, 各ランクに割り当てる CPU コアも PARCEL と同じにした (担当の GPU と同じソケットのコア).

環境 1 装置 PARCEL のランク数 × スレッド数 (1 装置) 4 / 8 / 16 装置のランク数 PETSc のランク数 (1 装置)
s86 CPU Xeon Gold 6242R 1 ソケット 4 × 5 16 / 32 / 64 20
PS-A Xeon 6980P 1 ソケット 9 × 14 36 / 72 / 144 128
Miyabi-C Xeon CPU Max 9480 1 ソケット 4 × 14 16 / 32 / 64 56
Odyssey A64FX 1 基 (1 ノード) 4 × 12 16 / 32 / 64 48
s86 GPU V100 1 台 1 × 12 4 / 8 / 16 1
Miyabi-G GH200 1 基 1 × 72 4 / 8 / 16 1
Aquarius A100 1 台 1 × 9 4 / 8 / 16 1
PS-B MI300A 1 基 1 × 6 4 / 8 / 16 1

 PS-A は 1 ソケット 128 コアを使い切るため, 1 NUMA に 3 ランク (14 スレッド) を置いた. このためランク数が他の CPU 環境と異なる. Odyssey は 1 CMG に 1 ランクを置いた. Odyssey の 4 装置のうち 1 ノードのメモリに収まらない構成 (PARCEL のpgmres・pcagmres・ks_arnoldiと, PETSc のpgmres) は, ランク数を保ったまま 8 ノードに広げた (1 ノード 2 ランク). PETSc / SLEPc のks_arnoldiは 4 ノードのままなので, Odyssey の 4 装置のks_arnoldiの比較はノード数が異なる. また, 8 ノードに広げた PETSc のpgmres (1 ノード 24 ランク) は, ランクを 1 ノードの 2 つの CMG に固定し, PARCEL (1 ノード 2 ランク) と同じ CMG 数で測った. 富士通 MPI の既定の配置では PETSc のランクが 1 ノードの 4 つの CMG すべてに散らばり, PARCEL の 2 倍のメモリ帯域を使うためである (既定の配置のままでは PETSc の時間 ÷ PARCEL の時間は 1.04 ではなく 0.71 になる). PETSc のメモリの測定は既定の配置で行った.


14.2 収束までの時間

 全ての構成が収束した. 反復回数は次のとおりである. 線形ソルバの反復回数は収束判定の時点の値である.

 16 装置の時間 [秒] を, 線形ソルバと固有値ソルバに分けて環境ごとに示す (3 回の最短. pgmresとpcagmresは移流拡散方程式, ほかは Poisson 方程式). 環境ごとにソルバを縦に並べ, 線形ソルバでは前処理なしと Jacobi 前処理の 2 本を示す. 横軸は処理時間の対数目盛で, 全環境で共通である. 棒の端の数値は秒である.

線形ソルバの処理時間 [秒] (16 装置) 1 1 10 10 100 100 1000 1000 処理時間 [秒] (対数目盛) s86 CPU (Xeon Gold 6242R) pcg 30.8 24.2 pbicgstab 45.7 34.2 pgmres 183 126 pcagmres (explicit) 136 96.5 pcagmres (implicit) 110 83.3 Odyssey (A64FX) pcg 12.1 9.64 pbicgstab 13.6 11.5 pgmres 48.8 35.7 pcagmres (explicit) 63.9 44.1 pcagmres (implicit) 47.7 36.9 Miyabi-C (Xeon CPU Max 9480) pcg 8.59 6.82 pbicgstab 9.30 8.65 pgmres 34.4 26.1 pcagmres (explicit) 39.1 27.9 pcagmres (implicit) 30.1 22.4 PS-A (Xeon 6980P) pcg 6.55 5.73 pbicgstab 7.44 7.79 pgmres 21.6 17.7 pcagmres (explicit) 26.6 18.7 pcagmres (implicit) 16.5 14.3 s86 GPU (V100) pcg 8.26 7.18 pbicgstab 11.7 9.12 pgmres 39.4 29.0 pcagmres (explicit) 36.6 27.2 pcagmres (implicit) 27.0 23.2 Miyabi-G (GH200) pcg 1.77 1.34 pbicgstab 2.11 1.53 pgmres 11.6 7.69 pcagmres (explicit) 12.1 7.91 pcagmres (implicit) 8.66 6.37 Aquarius (A100) pcg 4.68 3.92 pbicgstab 6.33 4.98 pgmres 24.3 17.5 pcagmres (explicit) 22.4 16.1 pcagmres (implicit) 17.7 13.4 PS-B (MI300A) pcg 2.81 2.11 pbicgstab 3.39 2.78 pgmres 14.9 10.2 pcagmres (explicit) 17.8 12.4 pcagmres (implicit) 12.3 8.65 前処理なし Jacobi 前処理
固有値ソルバの処理時間 [秒] (16 装置) 1 1 10 10 100 100 1000 1000 処理時間 [秒] (対数目盛) s86 CPU (Xeon Gold 6242R) power 307 inverse_power 154 ks_arnoldi 435 Odyssey (A64FX) power 123 inverse_power 61.7 ks_arnoldi 101 Miyabi-C (Xeon CPU Max 9480) power 79.2 inverse_power 43.5 ks_arnoldi 91.1 PS-A (Xeon 6980P) power 64.0 inverse_power 35.8 ks_arnoldi 52.7 s86 GPU (V100) power 89.1 inverse_power 45.4 ks_arnoldi 90.1 Miyabi-G (GH200) power 17.4 inverse_power 8.49 ks_arnoldi 29.6 Aquarius (A100) power 49.1 inverse_power 25.1 ks_arnoldi 56.5 PS-B (MI300A) power 29.3 inverse_power 14.4 ks_arnoldi 38.4


14.3 混合精度 (precon_dataF)

 前処理のデータ精度だけを単精度にした構成 (precon_dataF) と倍精度の時間を, Jacobi 前処理のpcg (Poisson 方程式, 16 装置) で比べる. 時間はソルバの前処理以外の部分 (左) と前処理 (前処理の準備と適用. 右) に分けて積み上げた. 横軸は各環境の倍精度の総時間を 1 とする比であり, 全環境で共通の線形目盛である. 棒の全長が倍精度に対する総時間の比, 左右の部分の長さがそれぞれの時間の割合を表す. 棒の後に総時間 [秒], 倍精度に対する比 (括弧. 1 未満ならprecon_dataFが速い) と前処理の時間を書く. 反復回数は全構成で倍精度と同じ (611) である.

 precon_dataFは Jacobi 前処理のBBの値を保持する設定 (その場計算なし. 「H なし」, -DPARCEL_JACOBI_ONTHEFLY=0) でビルドし, ライブラリの既定のビルドの倍精度と比べた. 既定 (BBを保持しない) のままでは, 前処理行列を単精度にしても適用のたびにAAの倍精度の値を読むので, 単精度にした効果が出にくいためである. A64FX 向けのビルドは既定でBBの値を保持するので, Odyssey では倍精度も値を保持している.

pcg (Jacobi 前処理) の処理時間の内訳 (16 装置. 倍精度の総時間を 1 とする) 0 0 0.25 0.25 0.5 0.5 0.75 0.75 1 1 倍精度の総時間に対する比 s86 CPU (Xeon Gold 6242R) 倍精度 24.2 秒, 前処理 9.10 混合精度 21.2 秒 (0.87), 前処理 6.09 Odyssey (A64FX) 倍精度 9.64 秒, 前処理 3.26 混合精度 9.57 秒 (0.99), 前処理 3.39 Miyabi-C (Xeon CPU Max 9480) 倍精度 6.82 秒, 前処理 2.21 混合精度 6.09 秒 (0.89), 前処理 1.78 PS-A (Xeon 6980P) 倍精度 5.73 秒, 前処理 1.63 混合精度 4.97 秒 (0.87), 前処理 1.13 s86 GPU (V100) 倍精度 7.18 秒, 前処理 2.67 混合精度 6.81 秒 (0.95), 前処理 2.18 Miyabi-G (GH200) 倍精度 1.34 秒, 前処理 0.467 混合精度 1.22 秒 (0.91), 前処理 0.351 Aquarius (A100) 倍精度 3.92 秒, 前処理 1.29 混合精度 3.52 秒 (0.90), 前処理 1.03 PS-B (MI300A) 倍精度 2.16 秒, 前処理 0.635 混合精度 2.02 秒 (0.93), 前処理 0.472 ソルバ (前処理以外) 前処理

 条件: NX=512, 収束まで解いた時間 (各 3 回の最短), グラフは 16 装置. precon_dataFはその場計算なし (-DPARCEL_JACOBI_ONTHEFLY=0), 倍精度はライブラリの既定である. 反復回数は全構成で倍精度と同じ (pcg 611, 移流拡散方程式のpgmres 1140) である. ほかの条件は「測定条件」と同じである. 下の比の範囲はpcgとpgmres, 4・8・16 装置のすべての構成のものである.

 混合精度で速くしたい場合は, precon_dataFをその場計算なし (-DPARCEL_JACOBI_ONTHEFLY=0) でビルドして使う. NVIDIA の GPU では V100 も含めて同じであり, 梯子分割は付けない (推奨オプション). その代わり GPU 1 台あたりのメモリが約 0.6〜0.9 GiB 増える (NX=512 のpcgを V100 4 台で解くと, PARCEL が確保する 1 台のメモリのピークは 6,340 MiB で, 倍精度の既定の 5,703 MiB より 0.62 GiB, その場計算ありのprecon_dataFの 5,445 MiB より 0.87 GiB 多い).


14.4 PETSc / SLEPc・v1.0 との比較

 Jacobi 前処理のpcg (Poisson 方程式) とpgmres (mm = 60, 移流拡散方程式), 前処理なしのks_arnoldi (Poisson 方程式) について, v1.2 の処理時間とメモリ使用量を PETSc 3.22 / SLEPc 3.22 と公開版 v1.0 と比べる (16 装置). 棒の長さは各環境の v1.2 に対する比で, v1.2 の棒 (破線の位置) を基準とする. 尺度は 6 つの図で共通であり, 比が 3 を超える棒は途中を省略して描く (二重斜線). 処理時間の図は青系, メモリの図は緑系の色で示す. 数値の後の括弧は v1.2 に対する比であり, 1 を超えると v1.2 が速い (メモリでは少ない). v1.0 には固有値ソルバが無いので, ks_arnoldiは SLEPc とだけ比べる.

pcg の処理時間 [秒] (16 装置. 括弧は v1.2 に対する比) s86 CPU (Xeon Gold 6242R) 24.2 秒 30.3 秒 (1.25) 42.6 秒 (1.76) Odyssey (A64FX) 9.64 秒 15.0 秒 (1.55) 11.5 秒 (1.19) Miyabi-C (Xeon CPU Max 9480) 6.82 秒 7.32 秒 (1.07) 7.77 秒 (1.14) PS-A (Xeon 6980P) 5.73 秒 6.62 秒 (1.15) 5.76 秒 (1.00) s86 GPU (V100) 7.18 秒 9.47 秒 (1.32) 7.67 秒 (1.07) Miyabi-G (GH200) 1.34 秒 1.47 秒 (1.09) 1.35 秒 (1.01) Aquarius (A100) 3.92 秒 4.02 秒 (1.02) 4.45 秒 (1.13) PS-B (MI300A) 2.11 秒 3.29 秒 (1.56) 2.13 秒 (1.01) v1.2 v1.0 PETSc 3.22
pcg の 1 装置あたりのメモリ [GiB] (16 装置. 括弧は v1.2 に対する比) s86 CPU (Xeon Gold 6242R) 2.89 GiB 3.41 GiB (1.18) 6.20 GiB (2.14) Odyssey (A64FX) 2.97 GiB 3.93 GiB (1.32) 4.55 GiB (1.53) Miyabi-C (Xeon CPU Max 9480) 2.37 GiB 2.93 GiB (1.23) 9.39 GiB (3.95) PS-A (Xeon 6980P) 4.74 GiB 4.65 GiB (0.98) 23.9 GiB (5.05) s86 GPU (V100) 1.73 GiB 2.80 GiB (1.62) 1.56 GiB (0.90) Miyabi-G (GH200) 1.97 GiB 3.05 GiB (1.55) 1.82 GiB (0.92) Aquarius (A100) 1.84 GiB 2.92 GiB (1.58) 1.69 GiB (0.92) PS-B (MI300A) 1.46 GiB 2.67 GiB (1.83) 1.50 GiB (1.03) v1.2 v1.0 PETSc 3.22
pgmres の処理時間 [秒] (16 装置. 括弧は v1.2 に対する比) s86 CPU (Xeon Gold 6242R) 126 秒 273 秒 (2.17) 160 秒 (1.27) Odyssey (A64FX) 35.7 秒 70.2 秒 (1.97) 35.3 秒 (0.99) Miyabi-C (Xeon CPU Max 9480) 26.1 秒 44.1 秒 (1.69) 23.9 秒 (0.92) PS-A (Xeon 6980P) 17.7 秒 34.3 秒 (1.94) 15.6 秒 (0.88) s86 GPU (V100) 29.0 秒 37.2 秒 (1.28) 29.2 秒 (1.01) Miyabi-G (GH200) 7.69 秒 10.7 秒 (1.39) 7.43 秒 (0.97) Aquarius (A100) 17.5 秒 19.9 秒 (1.14) 18.3 秒 (1.05) PS-B (MI300A) 10.2 秒 20.9 秒 (2.05) 10.4 秒 (1.02) v1.2 v1.0 PETSc 3.22
pgmres の 1 装置あたりのメモリ [GiB] (16 装置. 括弧は v1.2 に対する比) s86 CPU (Xeon Gold 6242R) 7.27 GiB 8.01 GiB (1.10) 10.0 GiB (1.38) Odyssey (A64FX) 7.53 GiB 8.59 GiB (1.14) 8.33 GiB (1.11) Miyabi-C (Xeon CPU Max 9480) 6.74 GiB 7.52 GiB (1.12) 13.2 GiB (1.96) PS-A (Xeon 6980P) 10.5 GiB 10.4 GiB (0.99) 28.0 GiB (2.67) s86 GPU (V100) 5.63 GiB 6.71 GiB (1.19) 5.31 GiB (0.94) Miyabi-G (GH200) 5.88 GiB 6.95 GiB (1.18) 5.41 GiB (0.92) Aquarius (A100) 5.75 GiB 6.82 GiB (1.19) 5.45 GiB (0.95) PS-B (MI300A) 5.50 GiB 6.58 GiB (1.20) 5.22 GiB (0.95) v1.2 v1.0 PETSc 3.22
ks_arnoldi の処理時間 [秒] (16 装置. 括弧は v1.2 に対する比) s86 CPU (Xeon Gold 6242R) 435 秒 557 秒 (1.28) Odyssey (A64FX) 101 秒 111 秒 (1.09) Miyabi-C (Xeon CPU Max 9480) 91.1 秒 78.0 秒 (0.86) PS-A (Xeon 6980P) 52.7 秒 45.0 秒 (0.85) s86 GPU (V100) 90.1 秒 110 秒 (1.23) Miyabi-G (GH200) 29.6 秒 34.6 秒 (1.17) Aquarius (A100) 56.5 秒 73.5 秒 (1.30) PS-B (MI300A) 38.4 秒 55.4 秒 (1.44) v1.2 SLEPc 3.22
ks_arnoldi の 1 装置あたりのメモリ [GiB] (16 装置. 括弧は v1.2 に対する比) s86 CPU (Xeon Gold 6242R) 5.72 GiB 8.53 GiB (1.49) Odyssey (A64FX) 5.92 GiB 7.04 GiB (1.19) Miyabi-C (Xeon CPU Max 9480) 5.18 GiB 11.6 GiB (2.24) PS-A (Xeon 6980P) 8.55 GiB 21.9 GiB (2.56) s86 GPU (V100) 4.17 GiB 3.84 GiB (0.92) Miyabi-G (GH200) 4.42 GiB 4.13 GiB (0.94) Aquarius (A100) 4.29 GiB 3.95 GiB (0.92) PS-B (MI300A) 4.08 GiB 3.82 GiB (0.94) v1.2 SLEPc 3.22


14.5 自分の環境で測る

 本章と同じ条件で測るには, 検証用サンプルを推奨オプションでビルドし (verify_double), 検証を省いて (PARCEL_VERIFY=0) 実行する. 検証を省くと右辺は b = 1 になり, 各ランクは担当する行だけを作る. 実行時オプションは検証用サンプルの実行時オプションに示す.

# pgmres (m = 60, Jacobi 前処理)
mpirun -n 4 ./verify_double PARCEL_NX=512 PARCEL_SOLVER=pgmres PARCEL_PRECON=4 \
  PARCEL_GMRES_RESTART=60 PARCEL_VERIFY=0 PARCEL_TOL=1.0e-8 PARCEL_MAX_ITER=10000
# ks_arnoldi (m = 40, 保持 10, nev = 1)
mpirun -n 4 ./verify_double PARCEL_NX=512 PARCEL_SOLVER=ks_arnoldi PARCEL_PRECON=0 \
  PARCEL_KS_M=40 PARCEL_KS_K_KEEP=10 PARCEL_KS_NEV=1 PARCEL_KS_RESTART=default \
  PARCEL_VERIFY=0 PARCEL_TOL=1.0e-8

 ランクの配置は「測定条件」に合わせ, CPU ではmpirunのバインド (--map-by ppr:<1 ソケットのランク数>:socket:PE=<スレッド数> --bind-to coreなど) でランクをソケットに固定する. s86 CPU と PS-A ではOMP_PROC_BINDを設定しない (「SYCL対応コンパイラのインストール方法」). メモリ使用量も見る場合はPARCEL_MEM_REPORT=1を付ける.

 ソルバの終了時に rank 0 が次の形の時間を出力する (pcgの例. 値は上の測定のうち s86 GPU の 4 装置, 3 回のうち最短の回のもの. 末尾の[MEM]・[MEMG]の行はPARCEL_MEM_REPORTを付けたときだけ出る). 同じ内容はparcel_result.txt (PARCEL_OUTPUTで変更) にも書かれる. loop gemvのpstep=1は, 既定のpcgが解を毎反復更新することを示す (「メモリと速さの選択」の「G なし」ではpstep=4).

 finish : residual true norm  || b - Ax || = 9.5999802982e-09

 -----------------
pcg time              = 1.5333772000e+01 [sec]  (total solver wall time)
  init time           = 4.3617000000e-02 [sec]  (before main loop)
    init precon       = 1.0722000000e-02 [sec]
    init convert      = 3.3840000000e-03 [sec]
    init other        = 2.9511000000e-02 [sec]  (vec alloc/zero, init SpMV/dot/precon)
  main loop time      = 1.5277877000e+01 [sec]  (sum over all CG iterations)
    loop dot          = 2.6397240000e+00 [sec]  calls = 1832
      dot comm        = 9.7834400000e-01 [sec]  (MPI_Allreduce)
      dot kernel      = 1.6613800000e+00 [sec]  (局所内積)
    loop axpy         = 4.2147000000e-02 [sec]  calls = 1222
    loop gemv         = 6.7014200000e-01 [sec]  calls = 611  (pstep=1 本まとめた x の更新)
    loop SpMV         = 5.9033560000e+00 [sec]  calls = 611
      SpMV comm       = 1.5370920000e+00 [sec]  (ハロ交換)
      SpMV kernel     = 4.3662640000e+00 [sec]  (局所行列ベクトル積)
    loop precon       = 5.9604370000e+00 [sec]  calls = 610
    loop other        = 6.2071000000e-02 [sec]  (kernel launch/sync, cout per iter)
  post-loop time      = 1.2278000000e-02 [sec]  (final r_true compute, finish print)
 converged_reason = 1 (CONVERGED_RTOL) , its = 611 , residual = 9.599865e-09 , true_residual = 9.599980e-09
[MEM] rank 0 solver 後 peak RSS = 5068 MiB
[MEM] rank 0 solver 後 device memory used = 3900 MiB
[MEM] rank 0 solver 後 PARCEL device peak = 5679 MiB
[MEMG] nranks=4 host_mib=5068,5083,5085,5068 dev_mib=3900,3910,3910,3900 parcel_devpeak_mib=5679,5703,5703,5679

 配布パッケージの性能試験 (tests/perf/gen_perf.py, 混合精度は gen_perf_prec.py) は, 本章の測定をまとめて行うジョブスクリプトを作る (使い方は tests/perf/README.ja.md). 条件は本章と同じである. 1 ジョブで 1 ソルバ × 1 装置数を測り, 各構成 3 回, 集計 (tests/perf/parse_perf.py) は最短の回である. 混合精度のprecon_dataFはtests/perf/sub_build_prec_<環境>.shが-DPARCEL_JACOBI_ONTHEFLY=0付きでbin/<環境>/perf_prec/にビルドする (比べる相手の倍精度と, 回帰試験のprecon_dataFは既定のままである).