12 数値精度と再現性
ソルバが返す結果の確かめ方と, 精度の指定・並列数・実行環境によって結果がどう変わるかを示す. 精度の指定方法は「精度構成」に示す.
12.1 収束状態の確かめ方
solver()は収束しなくても例外やエラーを返さない. 結果を使う前にis_converged() (またはget_converged_reason() > 0) で確かめる. 値は全ランクで同じである.
| 収束状態 | 主な原因 | 対処の例 |
|---|---|---|
CONVERGED_RTOL (1) |
収束判定値を満たした | 線形ソルバでは真の残差 (次節) も確かめる |
DIVERGED_ITS (-1) |
最大反復回数 (ks_arnoldiは最大リスタート回数) に達した |
前処理を付ける, pgmresのリスタート周期を増やす, 収束判定値が精度構成で到達できる値か確かめる |
DIVERGED_NANORINF (-2) |
残差や固有値の推定値が NaN / Inf になった | 低精度の構成を見直す (後述), 行列と右辺に非有限値が無いか確かめる |
DIVERGED_BREAKDOWN (-3) |
アルゴリズムの破綻 (0 による除算など) | pbicgstabならpgmresに替える, 内積の精度を上げる |
各ソルバで各状態が起こる条件はAPI リファレンスの「収束状態の定数と標準出力」に, 値を文字列にするにはparcel::krylov::converged_reason_name()を用いる. 固有値ソルバのinverse_powerと shift-invert では, 内部の線形ソルバが収束しなかった回数をget_linsolve_failures()で確かめる (外側の収束状態には反映しない).
12.2 漸化式の残差と真の残差
線形ソルバの収束判定に用いる残差は, ソルバによって次の 2 種類がある.
pcg・pbicgstab: 反復の中で漸化式により更新した残差. 真の残差と数学的には等しいが, 丸め誤差により離れていく.get_residual()はこの値である.pgmres・pcagmres: リスタートの先頭でから計算した真の残差.
どの線形ソルバも, 終了時に真の相対残差を計算して表示し (finish : residual true norm), get_true_residual()で返す. pcg・pbicgstabで解の精度を確かめる場合はget_true_residual()を見る. 漸化式の残差と真の残差の差は, ベクトルを低精度で保持すると大きくなる. dataF16の収束判定値の目安を 1e-2 としているのはこのためである (「精度構成」).
-DRESIDUAL_REPLACEを付けてビルドすると, pcg・pbicgstabは反復ごとに真の残差も計算して表示する (診断用. 1 反復に SpMV が 1 回増える). pcgの解の更新はPARCEL_PSTEP (既定 1) 反復ごとに行う. 2 以上にすると間の反復ではが前の値のままなので, 反復ごとの真の残差を見る場合は既定の 1 のままにする (前処理付共役勾配法).
残差が小さくても解の誤差が同じだけ小さいとは限らない. 解の相対誤差はおおよその条件数と相対残差の積で抑えられるので, 条件数の大きい行列では相対残差に比べて解の誤差が大きくなる.
固有値ソルバの収束判定は, powerとinverse_powerでは固有値の推定値の相対変化, ks_arnoldiでは Ritz 残差の推定値であり, いずれも真の残差そのものではない. 固有値ソルバのget_true_residual()は NaN を返す. 固有対の精度を確かめる場合は, 返された固有ベクトルから残差を計算する.
12.3 並列数と実行環境による違い
同じ実行環境・同じビルド・同じランク数とスレッド数・同じ精度構成で実行すれば, 結果 (反復回数と解) は実行のたびに同じになる. ランク数・スレッド数・装置を変えると, 次の理由で最後の桁が変わる.
| 要因 | 変わるもの |
|---|---|
| 内積・ノルムの部分和の順序 (ランク内) | CPU で_BLOCKING_LOOP_DOT_=1の場合はブロック数 (既定はスレッド数) で, GPU ではワークグループの大きさで順序が決まる |
| ランク間の集約 | MPI_Allreduceのアルゴリズム (MPI の実装・ランク数・メッセージ長で変わる) |
| 行の分割 | ランク数によって各ランクの部分和の中身が変わる |
| 積和 (FMA) の融合 | コンパイラとデバイスで異なる. AdaptiveCpp は全ターゲットに-ffp-contract=fastを付け (omp.library-onlyではホストコンパイラに付けないので, A64FX では推奨オプションで明示する), CUDA のバックエンドは積と和を FMA に融合する |
倍精度では, この差は反復回数に表れないことが多い. NX=512 の Poisson 問題を Jacobi 前処理で解いた測定 (「性能」の章) では, pcg (611 反復) の反復回数が 8 環境・全装置数で一致した. 移流拡散方程式のpgmres ( = 60, 1140 反復) とpcagmresの を作る方式 (1152 反復) も一致した. ただし解の最後の桁まで一致するとは限らない. 同じ測定で, pbicgstab (397〜466 反復) と を作らない pcagmres (1152〜1216 反復) は環境・装置数によって反復回数が変わった.
一方, 次のものはランク数によらない.
power・inverse_powerの初期ベクトルと,ks_arnoldiの置き換え用の初期ベクトル・乱数方向. いずれも大域行番号から作る.ks_arnoldiの Hessenberg 行列の固有分解・Schur 分解. rank 0 が計算して全ランクに配るので, ランクごとに分岐が割れることはない.- ポイント Jacobi 前処理と Jacobi 前処理の作用 (丸め誤差を除く).
ブロック Jacobi 前処理はブロックがランクをまたがないため, 前処理の作用そのものがランク数と分割数で変わる. 分割数の既定は CPU ではランクあたりのスレッド数, GPU では 1 ブロック 2 行となる値であり, 倍精度でもランク数・スレッド数・装置によって反復回数が変わる. 比べる場合はset_blockjacobi()で分割数を固定するか, Jacobi 前処理を用いる.
精度を下げた構成では, 倍精度の最後の桁の差が低精度への丸めで増幅され, 環境によって反復回数が変わる. 環境間で反復回数が揃うことは保証しない. 収束判定値への到達と解の精度は保たれ, 変わるのは到達までの反復回数である. 前処理のデータ精度だけを単精度にした構成 (precon_dataF) は, 上の NX=512 の測定で倍精度と同じ反復回数 (pcg 611, 移流拡散方程式のpgmres 1140) であった.
低精度の構成を環境間で比べる場合は, ビルドフラグ (_BLOCKING_LOOP_DOT_など) と実行構成 (ランク数×スレッド数) を揃え, 最大反復回数に余裕を持たせる. 環境をまたいで反復回数まで揃えたい場合は, 倍精度 (または前処理のデータ精度だけを下げた構成) を用いる.
同じソース・同じフラグでも, 実行ファイルを作り直すと結果が変わる場合がある. AdaptiveCpp は全ターゲットに-ffp-contract=fastを付けるので, 積と和を FMA に融合するかどうかをコンパイラが箇所ごとに決め, その選択がビルドごとに変わりうるためである. PS-B (MI300A, hip:gfx942) では, 作り直した実行ファイルどうしで, 単精度の構成を中心に反復回数が数回ずれた (同じ実行ファイルなら何度実行してもビット単位で一致する). s86 では起きていない. 作り直しても結果を一致させたい場合は, コンパイルに-ffp-contract=offを付ける. -ffp-contract=offで作った 2 つの実行ファイルの結果は一致した (性能への影響は測っていない). マクロPARCEL_FP_CONTRACT_OFFはヘッダの#pragma clang fp contract(off)を有効にするが, -ffp-contract=fast-honor-pragmasと併用したときだけ効くので, 通常は-ffp-contract=offを用いる.
12.4 低精度での既知の限界
次の制約は実装の欠陥ではなく, 精度そのものの限界である (FP32・FP16 の構成の一覧は「精度構成」). FP16 を含む構成では, 精度で届く相対残差に下限 (残差の床) があり, それより小さい収束判定値を与えると停滞するか NaN で破綻する. 同梱の回帰試験 (NX=8) では, 次の組合せの収束判定値を緩めている. 自分の問題で判定値を決める目安にする.
| 精度構成 | ソルバ | 前処理 | 回帰試験の収束判定値 |
|---|---|---|---|
calcF16 |
pbicgstab |
ポイント Jacobi, ブロック Jacobi | 3e-2 |
calcF16 |
pcg |
ポイント Jacobi | 1e-2 |
calcF16, dataF16 |
pcg |
ブロック Jacobi | 1e-1 (動作の確認にとどまる) |
calcF16 |
pcagmres (を作る方式) |
4 種 | 1e-2 |
precon_calcF16, precon_allF16 |
pcg, pgmres, pcagmres |
ポイント Jacobi | 1e-5 |
precon_calcF16, precon_allF16 |
power |
ブロック Jacobi, Jacobi | 1e-5 |
- FP16 のデータ精度・計算精度 (
calcF16,dataF16) では,pcagmresの Cholesky QR 系 (set_explicit_q(CAGMRES_Q_IMPLICIT)とモーメント法QR_CAGMRES_CHOLESKYQR) を使わない. , によらず NaN または未収束になる. を作る方式 (既定のCAGMRES_Q_AUTOで QR 分解がQR_CGS・QR_MGSの場合, またはCAGMRES_Q_EXPLICIT) は既定ので使える. pgmres・pcagmresはリスタートの先頭でしか収束を判定しない. 収束判定値が残差の床に近いと, 残差が判定値のそばで停滞し, リスタート周期が長いほど止まるまでの反復が長くなる. 収束判定値は床より余裕をもって決める. FP16 の演算ではpgmresのリスタート周期を短くすると早く止まる場合がある (回帰試験ではcalcF16のpgmresを周期 15 で解いている).- 残差の床は構成と装置で異なる. GPU の FP16 の演算は CPU より床が高い. CPU でもブロック Jacobi 前処理は分割 (ランク数とスレッド数) によって FP16 の
pcg・pbicgstabが破綻する場合がある. 前処理の計算精度が FP16 の場合, ポイント Jacobi 前処理は Jacobi 前処理より床が高い. - FP16 を含む構成の
inverse_powerでは, 内部の線形ソルバが床で停滞し, 外側の反復が遅くなる (回帰試験では内部の収束判定値を緩めている). 内部の線形ソルバが非有限値で失敗した場合は, 外側もDIVERGED_NANORINFで止まる. 内部の収束の確かめ方は「収束状態の確かめ方」に示す. 前処理を FP16 にした構成では,set_linsolve_precon_algo(parcel::PRECON_NONE)で内部の前処理を外した方が速い場合がある. - FP16 を使うなら前処理のデータ精度だけを下げる.
precon_dataF16(演算は倍精度) は, 回帰試験で倍精度と同じ収束判定値 (1e-9) で全ソルバ・前処理 4 種の組合せが合格している ( モードのinverse_powerとブロック Jacobi 前処理の組合せだけ, 内部の判定値を緩めている). - 単精度の
powerに前処理を付けると, 前処理で作るの丸めがそのまま固有値の誤差になる (回帰試験では,calcF・dataFのpowerとブロック Jacobi・Jacobi 前処理の組合せの誤差の許容値を 5e-4 に緩めている).
12.5 double-double
double-double (parcel_doubledouble) [12,13] は 1 つの値を上位 (hi) と下位 (lo) の 2 つの倍精度数で表し, 演算の丸め誤差を誤差なし変換 (和の TwoSum, 積の TwoProd [14]) で取り出して lo に保持する. 固有値ソルバが返す固有値はホスト側で倍精度で計算するため, dd を指定しても倍精度相当にとどまる.
積の誤差なし変換 (TwoProd) はfmaで組む (, ). fmaの結果はそれ以上融合されないので, コンパイラが縮約を行っても値が変わらない. あわせて, ホスト側の dd 演算の範囲ではfloat_control(precise)とfp contract(off)で式の書き換えと縮約を禁じている. -DPARCEL_DD_NO_FMAを付けると Dekker の分割 [12] を用いる. FMA 命令を持たない CPU のためのものであり, GPU (CUDA) では積と和が FMA に融合されて Dekker の分割が壊れる (dd の積が倍精度相当に落ちる) ので使わない.
12.6 -ffast-math を使わない
-ffast-mathまたは-ffinite-math-onlyを付けてビルドすると, parcel_sycl.hppが#errorでビルドを止める (__FAST_MATH__・__FINITE_MATH_ONLY__で判定する). 理由は次の 2 つである.
- double-double の誤差なし変換は, 丸め誤差をそのまま取り出す計算で成り立っている. 結合則による式の書き換えを許すと誤差項が 0 に簡約され, dd が黙って倍精度に落ちる. 特に dd の内積 (
dot) と行列ベクトル積 (gemv) で精度が失われる. - NaN / Inf の検査 (
std::isfinite) が消され,DIVERGED_NANORINFが働かなくなる.
承知のうえでビルドする場合は-DPARCEL_ALLOW_FAST_MATHを付ける. このとき dd の精度と NaN の検出は保証しない. PS-B のビルドフラグでは, 値を変えない-fno-math-errno -fno-trapping-mathだけを用いる (インストールの「コンパイルオプション」). -fno-exceptionsも, 引数検査のstd::invalid_argumentと両立しないので使わない.