2 基本構成
2.1 データ構造
一般に疎行列反復解法のプログラムでは, メモリ節約のため, 非零要素についての情報(値, 行位置, 列位置) のみを格納するデータ構造を採用する. ここでは, 本ライブラリルーチンで用いている疎行列格納法について説明する.
2.1.1 Compressed Row Storage (CRS)形式
CRS形式(圧縮行格納形式)は, 非零要素を行ごとに詰めて, その値と列番号を 1 次元配列に格納する方法である. そのため, 1 次元配列中での各行の開始位置を記録した行ポインタ (rowptr) を用いる. 添字はすべて 0 始まりである (C言語・Fortran の API では 1 始まりも選べる. 使用方法). 並列処理の場合には行列を行方向に分割し, 各プロセスが連続する行を格納する (詳細は使用方法の「MPI 分割」を参照). このときrowptrは各プロセスの担当行の先頭を 0 とする局所の番号, 列番号 (crsCol) は行列全体での大域の番号で与える. 各行の列番号は昇順を想定している.
- 行列構造 (行番号・列番号は 0 から数える)
1プロセスの場合
- ランク0プロセス (行 0〜3)
行列の非零要素 ::
行ポインタ ::
非零要素の列番号 ::
2プロセスの場合
- ランク0プロセス (行 0〜1)
行列の非零要素 ::
行ポインタ ::
非零要素の列番号 ::
- ランク1プロセス (行 2〜3)
行列の非零要素 ::
行ポインタ ::
非零要素の列番号 ::
2.2 GPU・MPI ランク・データの対応
PARCEL は MPI の 1 ランクを 1 つの計算資源に対応させ, 係数行列とベクトルを行方向に分割して各ランクに持たせる. ランク間の通信は MPI が, ランク内の並列化は SYCL (GPU ではデバイスのカーネル, CPU では OpenMP バックエンドのスレッド) が受け持つ. MPI ありのビルド (C++・C言語・Fortran の既定) では, 1 プロセスで実行する場合もこの構成である. MPI を使わない 1 プロセス版もビルドできる (「MPI なしのビルド」).
1 ランクが受け持つ計算資源 (以下, デバイス) は次のいずれかである. 装置と環境の名前は用語集を参照.
- GPU 1 台
- MIG で分割した GPU の 1 区画 (NVIDIA. 下記)
- APU の GPU 部 (AMD Instinct MI300A. 下記)
- CPU のコアの一群 (OpenMP バックエンド)
2.2.1 行ブロック分割
大域の行数をとする. ランクは連続した行〜 (0 始まり, 両端を含む) を担当し, その局所行数はである. 各ランクが持つものは次のとおりである.
| データ | 各ランクが持つ部分 | 長さ |
|---|---|---|
| 係数行列 | 担当行の CRS (rowptr, 列番号, 値). 列番号は大域の番号で渡す |
rowptr は, 列番号と値は担当行の非零数 |
| 解ベクトル・右辺・固有ベクトル | 担当行に対応する部分 | (ks_arnoldiのEigenVecは以上. 書くのは本) |
| 前処理行列 | 担当行の部分 (ソルバがの局所行から作る) | — |
ランクごとの行数は異なってよい (不均等分割). 行ブロックは全ランクを合わせてを重複・欠落なく覆わなければならない. ランク番号の順に並んでいる必要はない. 各ランクの行数は 1 以上とする (0 行のランクは扱えない). C++ のset_crsMat()と C言語・Fortran の API はこれを検査する (使用方法の「MPI 分割」). 局所行数はparcel::matrix::n_local()で取得できる.
2.2.2 1 ランクと 1 デバイスの対応
各ランクは自分の SYCL キュー (in-order キュー) を 1 つ作り, 行列とベクトルをそのキューのデバイスに置く. 同梱のサンプルはsycl::queue q{sycl::default_selector_v, sycl::property::queue::in_order{}};で既定のデバイスを選ぶ. GPU が複数あるノードでは, 既定のままだと全ランクが同じ GPU を選びうるので, 起動前にランクごとに見える GPU を 1 台に絞る. 例えば次のラッパをmpirunとプログラムの間に挟む.
#!/bin/bash
# gpu_bind.sh: ノード内のランク番号 R に GPU R を割り当てる
R=${OMPI_COMM_WORLD_LOCAL_RANK:-${PMIX_RANK:-0}}
export CUDA_VISIBLE_DEVICES=$R # NVIDIA
export HIP_VISIBLE_DEVICES=$R # AMD (MI300A)
unset ROCR_VISIBLE_DEVICES
exec "$@"mpirun -n 4 ./gpu_bind.sh ./run AMD の GPU ではHIP_VISIBLE_DEVICESとROCR_VISIBLE_DEVICESを同時に設定しない. 2 つは多段に効き, ROCR_VISIBLE_DEVICESで 1 台に絞った後でHIP_VISIBLE_DEVICESがその中の R 番目を選ぼうとして失敗し, そのランクは GPU を取れずに CPU の OpenMP バックエンドで動く.
各ランクが意図したデバイスを使っているかは, デバイス名で確かめる (検証用サンプルparcel_krylov_sample_verify.cppは, 開始時に各ランクがデバイス名を 1 行表示する). 1 ランクでも CPU の OpenMP バックエンドに落ちると, 数値は正しいまま, 内積のMPI_Allreduceで全ランクがそのランクを待ち, 全体が桁違いに遅くなる. 例えば 1 ノードに GPU が 1 台の環境 (Miyabi-G) で 1 ノードに 2 ランクを載せると, 2 ランク目が CPU に落ちる. 結果の数値だけではこの誤りに気付けない.
2.2.2.1 MIG (NVIDIA Multi-Instance GPU)
MIG は 1 台の GPU を SM とメモリごとに区画 (インスタンス) に分け, 各区画を独立した GPU として見せる機能である. PARCEL から見ると 1 区画が 1 デバイスであり, GPU 1 台の場合と同じく 1 ランクに 1 区画を対応させる. 区画のデバイス名はNVIDIA GH200 120GB MIG 2g.24gbのように区画の大きさ (プロファイル) を含む.
複数の区画を使う場合も, 上のgpu_bind.shで各ランクを区画に対応させる. 割り当てによっては, 同じジョブの中に大きさ (プロファイル) の異なる区画が混在する (Miyabi-G では2g.24gbと1g.24gb). 区画の大きさが違えば速さも違い, 遅い区画のランクを他のランクが内積の集約で待つので, 性能を測る場合は区画の大きさをそろえるか GPU 全体を使う.
2.2.2.2 APU (AMD Instinct MI300A)
MI300A は CPU のコアと GPU を 1 つのパッケージに載せ, HBM を両者で共有する APU である. PS-B では 1 NUMA ノード = 1 vnode = 1 APU (24 コア, GPU 1 台, 124 GB) として扱われるので, 1 ランクに 1 APU を対応させ, PBS ではselect=<ランク数>:ncpus=24:mpiprocs=1:ngpus=1とランクごとに 1 チャンクを取る. select=1:ngpus=4では 1 vnode しか割り当てられず, GPU は 1 台になる.
SYCL からは APU の GPU 部が 1 デバイスとして見える. PARCEL は他の GPU と同じく行列とベクトルを SYCL のバッファでデバイスに置き, 袖通信ではホストのバッファとの間で複写する (APU 向けの別の経路は無い). ホストとデバイスの記憶領域は物理的には同じ HBM なので, 利用者のプログラムが持つホスト側の配列 (CRS の配列など) とデバイス側の複製は, 1 APU あたり同じ容量から取られる.
CPU では 1 ランクが OpenMP のスレッドの一群を受け持つ. ランクのスレッドを 1 つの NUMA ノード (またはソケット) の中に収めるように配置する. ブロック化カーネルの分割数とブロック Jacobi 前処理の既定のブロック数は, ランクあたりのスレッド数から決まる (「最適化」の章の「ブロック化」).
各環境で推奨する対応を次に示す.
| 環境 | 1 ランクの受け持ち | ランクあたりのスレッド数 |
|---|---|---|
| s86 GPU (V100 ×4 / ノード) | GPU 1 台 | 12 |
| Aquarius (A100) | GPU 1 台 | 9 |
| Miyabi-G (GH200. GPU 1 台 / ノード) | GPU 1 台 (= 1 ノード). MIG では 1 区画 (2g.24gbまたは1g.24gb) と 18 コア |
72 (MIG では 18) |
| PS-B (MI300A ×4 / ノード) | APU 1 基 (GPU 部 1 台と 24 コア) | 6 |
| s86 CPU (Xeon Gold 6242R 20 コア ×2) | 5 コア | 5 |
| Miyabi-C (Xeon Max 9480) | 14 コア | 14 |
| PS-A (Xeon 6980P) | 14 コア (Intel MPI のI_MPI_PIN_DOMAINで NUMA ノードに固定) |
14 |
| Odyssey (A64FX) | 1 CMG (12 コア) | 12 |
2.2.3 set_crsMat() が行うこと
parcel::matrix::set_crsMat() (MPI 版) は, 担当行の CRS を受け取って次の処理を行う (API リファレンスのset_crsMat()). いずれも全ランクで呼ぶ集団操作である. その前に入力を検査し (使用方法の「行列の設定」), 崩れていれば全ランクが同じstd::invalid_argumentを投げる.
- 列番号を局所の番号に付け替える. 各行の非零要素を, 自ランクの列 (番号. 0〜) を先に, 他ランクの列を後に並べ替える. 他ランクの列は, 担当行が参照する他ランクの列番号を昇順に並べて重複を除いた一覧での位置を用いて, と付け替える. このとき呼び出し側の列番号と値の配列を書き換える (使用方法の「行列の設定」).
- 全ランクの担当範囲 (, ) を
MPI_Alltoallで交換し, 1. の一覧と照らして, どのランクにどの行の値を送り, どのランクから受け取るかの表 (袖通信表) を作る.
この後, 値と列番号がデバイスに転送される.
2.2.4 疎行列ベクトル積と袖通信
ソルバの内部でを掛けるベクトルは, 局所の要素の後ろに, 他ランクから受け取る値の領域 (袖) を持つ. 袖の要素数は上の 1. の一覧の長さである (pcgとpowerは開始時にnadd =として表示する). 疎行列ベクトル積の前に毎回次の袖通信を行う.
- 送る値をデバイス上で送信バッファに詰め, ホストに複写する.
- ホストのバッファで
MPI_Isend・MPI_Irecvを行い, 完了を待つ. - 受け取った値をデバイスに複写し, ベクトルの袖 (番目以降) に書き込む.
通信はホストのバッファを介するので, GPU 対応 (CUDA-aware など) の MPI は要らない. 1 ランクで実行する場合は袖が空であり, 通信は起こらない. Jacobi 前処理は Jacobi 反復ごとに同じ袖通信を行い, ポイント Jacobi 前処理とブロック Jacobi 前処理は通信しない (前処理の章). 内積とノルムは各ランクの部分和をMPI_Allreduceで集約する.
2.3 精度構成
PARCEL は, データを保持する精度 (データ精度) と演算の精度 (計算精度) を別々に, さらに前処理とそれ以外を別々に指定できる. 型はparcel_fp16 (半精度), parcel_float (単精度), parcel_double (倍精度), parcel_doubledouble (double-double [12,13], 4 倍精度相当) の 4 つである. 精度のテンプレート引数は省略でき, 既定の精度はparcel_doubleである (省略できるのはparcel::matrix<>・parcel::vector<>の型, クラスの演算精度の 4 引数, solver()のうち実引数から推論できないデータ精度. pcagmresのTodd_basis・Teven_basisの既定はTbasisと同じ型). 指定の書式は使用方法の「精度の指定」に, 各テンプレート引数の意味は API リファレンスの「クラステンプレート引数 (演算精度)」と「solver() のテンプレート引数 (データ精度)」に示す. ここでは指定の全体像と, 代表的な構成をまとめる.
2.3.1 精度を指定する箇所
| 分類 | 指定する場所 | サンプルのマクロ |
|---|---|---|
| 計算精度 (SpMV・ベクトル演算・内積) | クラスのテンプレート引数Tspmv, Taxpy, Tdot |
parcel_solver_calc_type (3 つに同じ型を与える) |
| 前処理の計算精度 | クラスのテンプレート引数Tprecon |
parcel_solver_calc_precon_type |
| データ精度 (行列・ベクトル) | parcel::matrix<T>, parcel::vector<T>のTと, solver()のテンプレート引数Tmat, Tvecx, Tvecb, Tvec (固有値ソルバはTeigen_val, Teigen_vec) |
parcel_solver_data_type |
| 前処理のデータ精度 | solver()のテンプレート引数Tprecon_mat (前処理行列), Tprecon_vec (前処理のベクトル) |
parcel_solver_data_precon_mat_type, parcel_solver_data_precon_vec_type |
マクロは同梱の検証用サンプル (tests/verify/parcel_default.hppで既定値はすべてparcel_double) と C言語・Fortran のラッパ (capi/wrapper_parcel_sycl.cpp. 既定値はcapi/parcel_capi_default.hpp) が用いるもので, ライブラリ本体はテンプレート引数だけを見る. C++ から直接使う場合は, テンプレート引数に演算ごとに異なる型を与えてもよい. pgmres・pcagmresには直交化・基底・Hessenberg 行列の精度の引数が加わる. これらは線形ソルバの章の「直交化の精度と基底の精度」で説明する.
2.3.2 代表的な 13 の構成
回帰試験で用いている 13 の構成と, 回帰試験の収束判定値を次に示す. 表の「下げる」「上げる」は倍精度 (double) に対する変化である. 空欄はparcel_doubleのままである.
| 構成 | 計算精度 | 前処理の計算精度 | データ精度 | 前処理のデータ精度 | 下げる / 上げるもの | 回帰試験の収束判定値 |
|---|---|---|---|---|---|---|
double |
(基準) | 1e-9 | ||||
calcF16 |
FP16 | 演算を FP16 に下げる | 1e-3 | |||
dataF16 |
FP16 | FP16 | 演算と行列・ベクトルの保持を FP16 に下げる | 1e-2 | ||
precon_calcF16 |
FP16 | 前処理の演算だけを FP16 に下げる | 1e-9 (一部のソルバは緩める) | |||
precon_dataF16 |
FP16 | 前処理の行列・ベクトルの保持だけを FP16 に下げる | 1e-9 | |||
precon_allF16 |
FP16 | FP16 | 前処理の演算と保持を FP16 に下げる | 1e-9 (一部のソルバは緩める) | ||
calcF |
FP32 | 演算を FP32 に下げる | 1e-6 | |||
dataF |
FP32 | FP32 | 演算と保持を FP32 に下げる | 1e-6 | ||
precon_calcF |
FP32 | 前処理の演算だけを FP32 に下げる | 1e-9 (ks_arnoldiは 1e-6) |
|||
precon_dataF |
FP32 | 前処理の保持だけを FP32 に下げる | 1e-9 | |||
precon_allF |
FP32 | FP32 | 前処理の演算と保持を FP32 に下げる | 1e-9 (ks_arnoldiは 1e-6) |
||
calcDD |
dd | 演算を double-double に上げる | 1e-9 | |||
dataDD |
dd | dd | 演算と保持を double-double に上げる | 1e-9 |
各構成の性質は次のとおりである. 到達できる精度と制約の詳細は「低精度での既知の限界」と「double-double」に示す.
- データ精度を下げると, 行列・ベクトルのメモリ量と, 袖通信・ホストとデバイスの間の転送量が減る. 計算精度だけを下げてもメモリ量は変わらない.
data*の構成では計算精度も同じ型に下げている. - 収束判定値を構成ごとに変えているのは, 低精度では倍精度の判定値に到達できないためである.
dataF16だけcalcF16より 1 桁緩いのは, ベクトルを FP16 で保持すると漸化式の残差が真の残差から離れるためである (「漸化式の残差と真の残差」). - 前処理だけを下げる 6 構成は, 本体を倍精度のまま前処理を近似として扱うもので, 多くのソルバで倍精度と同じ判定値に到達する. ただし前処理の計算精度を FP16 にすると
pbicgstabとks_arnoldiは 1e-9 に届かない (目安はpbicgstabで 1e-5,ks_arnoldiで 1e-3). - 速さのために前処理のデータを単精度にする (
precon_dataF) 場合は, Jacobi 前処理をその場計算なし (-DPARCEL_JACOBI_ONTHEFLY=0) でビルドする. NVIDIA の GPU (V100 を含む) でも同じで, 梯子分割は付けない. 効果と増えるメモリは「性能」の章の「混合精度」に示す (A64FX では速くならない). - double-double は演算の丸め誤差を小さくするための指定であり, 収束判定値の目安は倍精度と同じである.
- FP16 のデータ精度・計算精度では
pcagmresの Cholesky QR 系 (を作らない方式CAGMRES_Q_IMPLICITとモーメント法) を使わない. を作る方式は使える (「低精度での既知の限界」).
検証用サンプルを-DPARCEL_RUNTIME_PRECISION付きでビルドすると, 上の構成のうち 9 つ (double, calcF16, dataF16, precon_calcF16, calcF, dataF, precon_calcF, calcDD, dataDD) を 1 つの実行ファイルに入れ, 環境変数PARCEL_PRECISIONで選べる (検証用サンプルの実行時オプション). 前処理のデータ精度を変える 4 構成はコンパイル時のマクロで指定する.
2.3.3 言語ごとに使える精度
精度の指定方法と, 使える構成は言語によって異なる.
| 言語 | 指定の方法 | 使える精度 |
|---|---|---|
| C++ | クラスとsolver()のテンプレート引数 (使用方法の「精度の指定」) |
上の 13 の構成を含むすべての組合せ. ソルバごと・呼び出しごとに変えられる |
| C言語・Fortran | ラッパ capi/wrapper_parcel_sycl.cpp のコンパイル時のマクロ (parcel_solver_data_type など) |
ビルドしたラッパにつき 1 つの構成. 実行時には変えられない. 入出力の配列は倍精度 (double / real(c_double)) |
| Python | なし | 倍精度だけ (データ・演算ともparcel_double). 入出力の配列は float64 |
Python のパッケージが倍精度だけなのは, 精度が C++ のテンプレート引数としてビルド時に決まり, 実体化した組合せしか使えないためである. Python のネイティブ層 (python/src/parcel_py.cpp) は倍精度の組合せ 1 つだけを実体化している. 13 の構成をすべて Python から選べるようにすると, 構成の数だけ実体化が要り, ビルド時間とライブラリの大きさがその分増える. また NumPy には double-double に当たる型が無い. 混合精度を Python から使う場合は, C++ で書くか, 精度のマクロを付けてビルドした C言語の API を ctypes などで呼ぶ.
2.3.4 整数型
行番号・列番号・行数・非零要素数などの整数は, 浮動小数点の精度とは別に, 次の 2 つの型で持つ. 大域の量はPARCEL_INT, 1 つのランクの中の添字はPARCEL_LINTである. どちらもビルドごとに 1 つで, ソルバや行列ごとには選べない (指定方法はインストールの「整数型」).
| 型 | 既定 | 用途 |
|---|---|---|
PARCEL_INT (大域の添字) |
int64_t |
大域の行数, 各ランクの行範囲 (nstart, nend), set_crsMat()に渡す行ポインタと列番号 (大域の列番号) の配列, ベクトルの確保, 袖通信の表を作るための大域の列番号, C言語・Fortran の API |
PARCEL_LINT (ランク内の添字) |
int32_t |
デバイス上の CRS (行ポインタと, ランク内の番号に置き換えた列番号), 袖通信で送る要素の番号, SpMV・前処理のカーネル |
利用者のプログラムが扱うのはPARCEL_INTだけである. set_crsMat()はPARCEL_INTの配列を受け取り, 列番号をランク内の番号 (自ランクの行が 0 から局所行数 - 1, 袖がその後) に置き換えてからPARCEL_LINTの配列に写してデバイスへ送る. 写す間, ホスト側で一時的に 4 (n + nnz) バイト (n は局所行数, nnz はそのランクの非零要素数) を余分に使う. 利用者のプログラムで CRS の行ポインタ・列番号の配列をPARCEL_INT型で宣言しておけば, ソースを変えずに型を切り替えられる.
既定の構成では, デバイス上の CRS の列番号と行ポインタは 1 要素 4 バイトであり, 倍精度の行列では 1 非零要素あたり 12 バイト (値 8 バイトと列番号 4 バイト), 3 次元 7 点ステンシルの行列では 1 格子点あたり 88 バイトである. 大域の量を 64 ビットで持っても, SpMV・前処理の転送量は増えない.
扱える行列の範囲は次のとおりである.
- 大域の行数と非零要素数:
PARCEL_INTの範囲. 既定の 64 ビットでは実用上の制限はない - 1 つのランクが持つ非零要素数, および局所行数と袖の要素数の和: それぞれ
PARCEL_LINTの範囲. 既定の 32 ビットでは (約 21 億) 以下
1 つのランクでもPARCEL_LINTの範囲を超えると, set_crsMat()は全ランクで同じstd::overflow_errorを投げて止まる. メッセージは-DPARCEL_LOCAL_INT64を付けてビルドし直すか, MPI のランク数を増やすよう求める. 通常は, ランク数を増やして 1 ランクあたりの非零要素数を減らす. ランク数を増やせない場合は-DPARCEL_LOCAL_INT64を付けてPARCEL_LINTを 64 ビットにする. このときデバイス上の CRS は 1 要素 8 バイトになり, 倍精度の行列では 1 非零要素あたり 16 バイト, 3 次元 7 点ステンシルの行列では 1 格子点あたり 120 バイトになる. SpMV のメモリ転送量が増えるので, 帯域律速の SpMV・Jacobi 前処理は遅くなる. 前処理が作る CRS (ブロック Jacobi の L・U など) の非零要素数が元の行列より増えて範囲を超えた場合もstd::overflow_errorを投げる (この場合は超えたランクだけが投げる).
-DPARCEL_INT32を付けると, PARCEL_INTとPARCEL_LINTがともに 32 ビットになる. ホスト側でset_crsMat()に渡す配列が半分になり, 写しも作らない. デバイス上の CRS と性能は既定の構成と同じである. 大域の行数 (列番号の最大値) が以下でなければならず, 超える行列を渡すとset_crsMat()などがstd::overflow_errorを投げて止まる (メッセージは-DPARCEL_INT32を外すよう求める).
C言語・Fortran の API は, PARCEL_INTによらず整数を 64 ビット (C のparcel_int = int64_t, Fortran のinteger(parcel_int_kind)) で受け取る (使用方法の C言語の「行列の設定」). ラッパを-DPARCEL_INT32でビルドして値が 32 ビットに収まらない場合はPARCEL_ERR_ARGを返す.
大規模な問題では, 整数の桁あふれ (オーバーフロー) に注意する. 32 ビットの符号付き整数で表せるのは (約 21.5 億) までである. 3 次元 7 点ステンシルの行列では非零要素数が行数の約 7 倍なので, 大域の非零要素数は行数が約 3.1 億 (NX = 675 程度) で, 大域の行数は約 21.5 億 (NX = 1290 程度) で 32 ビットの範囲を超える. 行ポインタの値は非零要素の通し番号なので, 行数より先に非零要素数で範囲を超える. 32 ビットのまま計算すると負の値や小さな値に化けて, 配列の範囲外を読み書きするか, 誤った結果を黙って返す. このため v1.2 では大域の添字PARCEL_INTの既定を 64 ビットにし, 範囲を超える値はset_crsMat()などがstd::overflow_errorで検出する. 利用者のプログラムでも, 大域の行数・非零要素数・行ポインタと, それらを使う添字の計算 (nstart + i, 格子点の番号など) はPARCEL_INT (64 ビット) で行う. 32 ビットのint同士の積は, 64 ビットの変数に代入しても, 積の時点で桁あふれする.
一方, ランク内の添字PARCEL_LINTは既定で 32 ビットのままにしている. 局所カーネル (SpMV, 前処理) の速さのためである.
- 帯域律速のカーネルで読む量が少ない. 倍精度の CRS は 1 非零要素あたり 12 バイト (値 8 + 列番号 4) で, 64 ビットの列番号では 16 バイトになる. 3 次元 7 点ステンシルの行列の SpMV では, 1 格子点あたりの行列の読み出しが 88 バイトから 120 バイトに増える (約 1.4 倍). SpMV と Jacobi 前処理の時間はおおむね読み出し量に比例するので, その分遅くなる.
- GPU では 32 ビットの整数演算が速い. NVIDIA・AMD の GPU の整数演算器は 32 ビットが基本で, 64 ビットの整数の積や加算は複数の命令に分かれる. 添字の計算がカーネルの命令の多くを占める SpMV では, 64 ビットの添字は命令数とレジスタの使用量を増やす.
- 1 ランクの非零要素数がを超えない限り, 32 ビットで足りる. 例えば 3 次元 7 点ステンシルでは, 1 ランクの局所行数が約 3 億まで扱える. これを超える場合は, まずランク数を増やす (1 ランクの行数を減らす) ことを勧める.