PARCEL SYCL v1.2 / 利用者ガイド 利用者ガイド API リファレンス 検索 ダウンロード English

12 数値精度と再現性

 ソルバが返す結果の確かめ方と, 精度の指定・並列数・実行環境によって結果がどう変わるかを示す. 精度の指定方法は「精度構成」に示す.


12.1 収束状態の確かめ方

 solver()は収束しなくても例外やエラーを返さない. 結果を使う前にis_converged() (またはget_converged_reason() > 0) で確かめる. 値は全ランクで同じである.

収束状態 主な原因 対処の例
CONVERGED_RTOL (1) 収束判定値を満たした 線形ソルバでは真の残差 (次節) も確かめる
DIVERGED_ITS (-1) 最大反復回数 (ks_arnoldiは最大リスタート回数) に達した 前処理を付ける, pgmresのリスタート周期を増やす, 収束判定値が精度構成で到達できる値か確かめる
DIVERGED_NANORINF (-2) 残差や固有値の推定値が NaN / Inf になった 低精度の構成を見直す (後述), 行列と右辺に非有限値が無いか確かめる
DIVERGED_BREAKDOWN (-3) アルゴリズムの破綻 (0 による除算など) pbicgstabならpgmresに替える, 内積の精度を上げる

 各ソルバで各状態が起こる条件はAPI リファレンスの「収束状態の定数と標準出力」に, 値を文字列にするにはparcel::krylov::converged_reason_name()を用いる. 固有値ソルバのinverse_powerと shift-invert では, 内部の線形ソルバが収束しなかった回数をget_linsolve_failures()で確かめる (外側の収束状態には反映しない).


12.2 漸化式の残差と真の残差

 線形ソルバの収束判定に用いる残差は, ソルバによって次の 2 種類がある.

 どの線形ソルバも, 終了時に真の相対残差∥b−Ax∥/∥b∥\|b - Ax\| / \|b\|を計算して表示し (finish : residual true norm), get_true_residual()で返す. pcg・pbicgstabで解の精度を確かめる場合はget_true_residual()を見る. 漸化式の残差と真の残差の差は, ベクトルを低精度で保持すると大きくなる. dataF16の収束判定値の目安を 1e-2 としているのはこのためである (「精度構成」).

 -DRESIDUAL_REPLACEを付けてビルドすると, pcg・pbicgstabは反復ごとに真の残差も計算して表示する (診断用. 1 反復に SpMV が 1 回増える). pcgの解の更新はPARCEL_PSTEP (既定 1) 反復ごとに行う. 2 以上にすると間の反復ではxxが前の値のままなので, 反復ごとの真の残差を見る場合は既定の 1 のままにする (前処理付共役勾配法).

 残差が小さくても解の誤差が同じだけ小さいとは限らない. 解の相対誤差はおおよそAAの条件数と相対残差の積で抑えられるので, 条件数の大きい行列では相対残差に比べて解の誤差が大きくなる.

 固有値ソルバの収束判定は, powerとinverse_powerでは固有値の推定値の相対変化, ks_arnoldiでは Ritz 残差の推定値であり, いずれも真の残差∥Ax−λx∥\|Ax - \lambda x\|そのものではない. 固有値ソルバのget_true_residual()は NaN を返す. 固有対の精度を確かめる場合は, 返された固有ベクトルから残差を計算する.


12.3 並列数と実行環境による違い

 同じ実行環境・同じビルド・同じランク数とスレッド数・同じ精度構成で実行すれば, 結果 (反復回数と解) は実行のたびに同じになる. ランク数・スレッド数・装置を変えると, 次の理由で最後の桁が変わる.

要因 変わるもの
内積・ノルムの部分和の順序 (ランク内) CPU で_BLOCKING_LOOP_DOT_=1の場合はブロック数 (既定はスレッド数) で, GPU ではワークグループの大きさで順序が決まる
ランク間の集約 MPI_Allreduceのアルゴリズム (MPI の実装・ランク数・メッセージ長で変わる)
行の分割 ランク数によって各ランクの部分和の中身が変わる
積和 (FMA) の融合 コンパイラとデバイスで異なる. AdaptiveCpp は全ターゲットに-ffp-contract=fastを付け (omp.library-onlyではホストコンパイラに付けないので, A64FX では推奨オプションで明示する), CUDA のバックエンドは積と和を FMA に融合する

 倍精度では, この差は反復回数に表れないことが多い. NX=512 の Poisson 問題を Jacobi 前処理で解いた測定 (「性能」の章) では, pcg (611 反復) の反復回数が 8 環境・全装置数で一致した. 移流拡散方程式のpgmres (mm = 60, 1140 反復) とpcagmresの QQ を作る方式 (1152 反復) も一致した. ただし解の最後の桁まで一致するとは限らない. 同じ測定で, pbicgstab (397〜466 反復) と QQ を作らない pcagmres (1152〜1216 反復) は環境・装置数によって反復回数が変わった.

 一方, 次のものはランク数によらない.

 ブロック Jacobi 前処理はブロックがランクをまたがないため, 前処理の作用そのものがランク数と分割数nbnbで変わる. 分割数の既定は CPU ではランクあたりのスレッド数, GPU では 1 ブロック 2 行となる値であり, 倍精度でもランク数・スレッド数・装置によって反復回数が変わる. 比べる場合はset_blockjacobi()で分割数を固定するか, Jacobi 前処理を用いる.

 精度を下げた構成では, 倍精度の最後の桁の差が低精度への丸めで増幅され, 環境によって反復回数が変わる. 環境間で反復回数が揃うことは保証しない. 収束判定値への到達と解の精度は保たれ, 変わるのは到達までの反復回数である. 前処理のデータ精度だけを単精度にした構成 (precon_dataF) は, 上の NX=512 の測定で倍精度と同じ反復回数 (pcg 611, 移流拡散方程式のpgmres 1140) であった.

 低精度の構成を環境間で比べる場合は, ビルドフラグ (_BLOCKING_LOOP_DOT_など) と実行構成 (ランク数×スレッド数) を揃え, 最大反復回数に余裕を持たせる. 環境をまたいで反復回数まで揃えたい場合は, 倍精度 (または前処理のデータ精度だけを下げた構成) を用いる.

 同じソース・同じフラグでも, 実行ファイルを作り直すと結果が変わる場合がある. AdaptiveCpp は全ターゲットに-ffp-contract=fastを付けるので, 積と和を FMA に融合するかどうかをコンパイラが箇所ごとに決め, その選択がビルドごとに変わりうるためである. PS-B (MI300A, hip:gfx942) では, 作り直した実行ファイルどうしで, 単精度の構成を中心に反復回数が数回ずれた (同じ実行ファイルなら何度実行してもビット単位で一致する). s86 では起きていない. 作り直しても結果を一致させたい場合は, コンパイルに-ffp-contract=offを付ける. -ffp-contract=offで作った 2 つの実行ファイルの結果は一致した (性能への影響は測っていない). マクロPARCEL_FP_CONTRACT_OFFはヘッダの#pragma clang fp contract(off)を有効にするが, -ffp-contract=fast-honor-pragmasと併用したときだけ効くので, 通常は-ffp-contract=offを用いる.


12.4 低精度での既知の限界

 次の制約は実装の欠陥ではなく, 精度そのものの限界である (FP32・FP16 の構成の一覧は「精度構成」). FP16 を含む構成では, 精度で届く相対残差に下限 (残差の床) があり, それより小さい収束判定値を与えると停滞するか NaN で破綻する. 同梱の回帰試験 (NX=8) では, 次の組合せの収束判定値を緩めている. 自分の問題で判定値を決める目安にする.

精度構成 ソルバ 前処理 回帰試験の収束判定値
calcF16 pbicgstab ポイント Jacobi, ブロック Jacobi 3e-2
calcF16 pcg ポイント Jacobi 1e-2
calcF16, dataF16 pcg ブロック Jacobi 1e-1 (動作の確認にとどまる)
calcF16 pcagmres (QQを作る方式) 4 種 1e-2
precon_calcF16, precon_allF16 pcg, pgmres, pcagmres ポイント Jacobi 1e-5
precon_calcF16, precon_allF16 power ブロック Jacobi, Jacobi 1e-5


12.5 double-double

 double-double (parcel_doubledouble) [12,13] は 1 つの値を上位 (hi) と下位 (lo) の 2 つの倍精度数で表し, 演算の丸め誤差を誤差なし変換 (和の TwoSum, 積の TwoProd [14]) で取り出して lo に保持する. 固有値ソルバが返す固有値はホスト側で倍精度で計算するため, dd を指定しても倍精度相当にとどまる.

 積の誤差なし変換 (TwoProd) はfmaで組む (p=fma(a,b,0)p = \mathrm{fma}(a,b,0), e=fma(a,b,−p)e = \mathrm{fma}(a,b,-p)). fmaの結果はそれ以上融合されないので, コンパイラが縮約を行っても値が変わらない. あわせて, ホスト側の dd 演算の範囲ではfloat_control(precise)とfp contract(off)で式の書き換えと縮約を禁じている. -DPARCEL_DD_NO_FMAを付けると Dekker の分割 [12] を用いる. FMA 命令を持たない CPU のためのものであり, GPU (CUDA) では積と和が FMA に融合されて Dekker の分割が壊れる (dd の積が倍精度相当に落ちる) ので使わない.


12.6 -ffast-math を使わない

 -ffast-mathまたは-ffinite-math-onlyを付けてビルドすると, parcel_sycl.hppが#errorでビルドを止める (__FAST_MATH__・__FINITE_MATH_ONLY__で判定する). 理由は次の 2 つである.

 承知のうえでビルドする場合は-DPARCEL_ALLOW_FAST_MATHを付ける. このとき dd の精度と NaN の検出は保証しない. PS-B のビルドフラグでは, 値を変えない-fno-math-errno -fno-trapping-mathだけを用いる (インストールの「コンパイルオプション」). -fno-exceptionsも, 引数検査のstd::invalid_argumentと両立しないので使わない.