3 SYCL対応コンパイラのインストール方法
SYCL版PARCELはヘッダーファイルのみで構成されており, 利用にはSYCL対応コンパイラが必要である. v1.2 の試験では, すべての環境で AdaptiveCpp (旧名 hipSYCL / Open SYCL) を用いた. AdaptiveCpp は LLVM (clang) をフロントエンドとし, 1 つのソースから CPU (OpenMP) ・NVIDIA GPU (CUDA) ・AMD GPU (HIP) 向けのコードを生成できる.
- AdaptiveCpp: https://github.com/AdaptiveCpp/AdaptiveCpp
- インストール手順 (公式): https://github.com/AdaptiveCpp/AdaptiveCpp/blob/develop/doc/installing.md
- spack: https://spack.readthedocs.io/
ソースコードからビルドすることもできるが, 本版の試験環境ではいずれも spack で導入した. spack 上のパッケージ名は hipsycl である. spack 環境 (spack env) を使うかどうかと環境名, spack のインストール先は利用者が決める. 以下の例ではこれらを<spack 環境名>・<spack のインストール先>と書く (試験で用いた名前は各環境の表に示す). spack 環境を使わない場合はspack env activateの行を省き, spack installの--addを外す. コンパイラドライバは acpp で, 生成するコードの種類は --acpp-targets= で指定する.
本章の手順は既存の spack に AdaptiveCpp を入れる方法である. このほか, 配布パッケージの spack/stack/install_stack.sh を使えば, spack の取得から LLVM・AdaptiveCpp・OpenBLAS・Python, PARCEL 本体と C言語・Fortran・Python の API までを, 既存の spack と切り離した新しい spack 環境にまとめて入れられる (MPI・CUDA / ROCm・コンパイラは各環境の既存品を使う. インストールの章の「spack によるインストール」). macOS では spack を使わず, Homebrew で AdaptiveCpp を入れる (「macOS (Homebrew)」). 試験環境以外の Linux の計算機での手順は「一般的な Linux」に, LAPACKE の入れ方は「LAPACKE の入れ方」に示す.
試験時の環境の構成例を, 次節以降の環境ごとの節の冒頭の表に示す (環境と装置の名前は用語集を参照. 装置欄は計算ノードの構成である). モジュールの版などはサイトの更新で変わりうる. 8 環境の AdaptiveCpp はいずれも同じコミット 7677cf6e (24.10.0+git.7677cf6e.20241220) である.
ログインノードと計算ノードでCPUアーキテクチャが異なる場合 (Odyssey など) には, AdaptiveCpp も PARCEL も計算ノード上でビルドする. 両者のアーキテクチャが一致する環境ではログインノードでビルドしてよい. ただし -march=native を付ける場合は, ログインノードと計算ノードの CPU 世代が一致していることを確認する.
--acpp-targets=omp で OpenMP バックエンドを使う場合, リンクされる libomp の版によって実行時のスレッド固定の挙動が異なる. LLVM 18.1.8 の libomp (s86 CPU, PS-A) では OMP_PROC_BIND を設定すると全ワーカースレッドが 1 コアに集約され, 大幅に遅くなる. 対処として, 実行時にOMP_PROC_BINDを設定しないかfalseにする (spreadなど他の値でも同じ症状になる). ランクごとのコアの割り当てはmpirunのバインド (--bind-to coreなど) で行えば, スレッドはその範囲に収まる.
3.1 s86 (SGI8600)
| 項目 | 値 |
|---|---|
| 装置 (CPU / GPU) | Xeon Gold 6242R ×2 |
| OS | RHEL 8.10 (x86_64) |
| ホストコンパイラ | GCC 9.5.0 (gnu/9.5.0) |
| MPI | Open MPI 4.1.6 + UCX 1.16.0 (openmpi/cur) |
| CUDA / ROCm | — |
| AdaptiveCpp | 24.10.0 (+cuda. GPU と共用) |
| LLVM (clang) | 18.1.8 (spack, GCC 9.5.0 でビルド) |
| 導入方法 (spack 環境) | spack, sycl (~/spack) |
| BLAS / LAPACK | OpenBLAS 0.3.15 (OS) |
--acpp-targets |
omp |
| 項目 | 値 |
|---|---|
| 装置 (CPU / GPU) | Xeon Gold 6248R ×2 + V100-SXM2-32GB ×4 |
| OS | RHEL 8.10 (x86_64) |
| ホストコンパイラ | GCC 9.5.0 |
| MPI | Open MPI 4.1.6 + UCX 1.16.0 (openmpi/cur) |
| CUDA / ROCm | CUDA 12.6 (/home/app/cuda/12.6) |
| AdaptiveCpp | 24.10.0 (+cuda. CPU と共用) |
| LLVM (clang) | 18.1.8 (spack) |
| 導入方法 (spack 環境) | spack, sycl (CPU と共用) |
| BLAS / LAPACK | OpenBLAS 0.3.15 (OS) |
--acpp-targets |
cuda:sm_70 |
s86 の CPU ノードは Intel Xeon Gold 6242R (20 コア ×2), GPU ノードは Intel Xeon Gold 6248R (24 コア ×2) + NVIDIA V100-SXM2-32GB ×4 である. spack で LLVM 18 と AdaptiveCpp を導入する. CPU 用と GPU 用を別々に導入する必要はなく, CUDA バックエンド付き (+cuda) の AdaptiveCpp 1 つを spack 環境 (試験では sycl) に置き, --acpp-targets=omp と --acpp-targets=cuda:sm_70 の両方に使う.
インストール (最初に 1 回. CPU・GPU 共通)
module purge
module load gnu/9.5.0
module load openmpi/cur
. <spack のインストール先>/share/spack/setup-env.sh
spack env create <spack 環境名> # 初回のみ
spack env activate <spack 環境名>
spack compiler find
spack external find
spack install --add llvm@18
spack install --add hipsycl +cuda % llvm@18 この hipsycl の既定の CUDA パスは spack の cuda@12.9.0 を指しているが, V100 用のビルドではサイトの CUDA 12.6 を ACPP_CUDA_PATH で指定して上書きする.
使用時の設定 (CPU)
module purge
module load gnu/9.5.0
module load openmpi/cur
. <spack のインストール先>/share/spack/setup-env.sh
spack env activate <spack 環境名>
spack load hipsycl
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm`
export LD_LIBRARY_PATH=$sycl_root/lib/:$llvm_root/lib/:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp使用時の設定 (GPU)
module purge
module load gnu/9.5.0
module load openmpi/cur
module load cuda/12.6
. <spack のインストール先>/share/spack/setup-env.sh
spack env activate <spack 環境名>
spack load hipsycl
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm`
export cuda_root=/home/app/cuda/12.6
export ACPP_CUDA_PATH=$cuda_root
export LD_LIBRARY_PATH=$sycl_root/lib/:$llvm_root/lib/:$cuda_root/lib64:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp3.2 Odyssey (Wisteria-Odyssey, A64FX)
| 項目 | 値 |
|---|---|
| 装置 (CPU / GPU) | A64FX (48 コア) |
| OS | RHEL 8 (計算ノード) |
| ホストコンパイラ | 富士通 FCC tcsds-1.2.43 (fj/1.2.43, clang モード) |
| MPI | 富士通 MPI 1.2.43 (fjmpi/1.2.43) |
| CUDA / ROCm | — |
| AdaptiveCpp | 24.10.0 (~cuda) |
| LLVM (clang) | 18.1.8 (spack, GCC 8.3.1 でビルド) |
| 導入方法 (spack 環境) | spack, odyssey (計算ノードでビルド) |
| BLAS / LAPACK | 富士通 LAPACK (-lfjlapack) |
--acpp-targets |
omp.library-only |
Odyssey の計算ノードは A64FX (48 コア, 4 CMG) で, ログインノードとアーキテクチャが異なる. このため AdaptiveCpp のインストールも PARCEL のビルドも計算ノード上で行う (バッチジョブまたは対話ジョブで spack を実行する).
Odyssey では --acpp-targets=omp.library-only を用いる. このモードでは AdaptiveCpp は SYCL のランタイムライブラリとしてのみ働き, カーネルを含むコード全体をホスト側の C++ コンパイラがコンパイルする. ホストコンパイラには富士通コンパイラ (FCC, clang モード) を ACPP_CPU_CXX で指定する. これにより富士通コンパイラの A64FX 向けの最適化と富士通の OpenMP ランタイムが使われる. ただし AdaptiveCpp はACPP_OMP_CXX_FLAGSの後ろに-O3を付けるので, -Kfastは効かない. 積和の FMA へのまとめは推奨オプションのとおりコマンドラインの-ffp-contract=fastで指定する. LLVM は 18.1.8 を spack で導入し, spack 環境 (試験では odyssey) に置いた. MPI は富士通 MPI (mpiFCC), LAPACK は富士通 LAPACK (-lfjlapack) を用いる.
インストール (最初に 1 回. 計算ノードで行う)
A64FX 向けの LLVM と AdaptiveCpp は計算ノードでビルドする. 試験で用いた spack 環境の定義はllvm@18とhipsycl %clang@18の 2 つであり, OS 付属の GCC 8.3.1 で LLVM 18.1.8 をビルドし, その clang で AdaptiveCpp 24.10.0 (CUDA なし. ~cudaは既定) をビルドした. 次のバッチジョブで同じものを作れる (spack は 1.1.0.dev0 を用いた).
計算ノードでのビルドでは, 並列数, メモリの上限, 処理時間に注意する.
- 並列数:
spack installの-jで同時に動かすコンパイルの数を決める. 既定 (論理 CPU 数. A64FX では 48) や-j32では LLVM のビルドでメモリが足りなくなる. 試験では-j12とした. - メモリの上限: A64FX の 1 ノードのメモリは HBM2 の 32 GiB で, 利用者のジョブが使えるのはそのうち約 28 GiB である. LLVM のコンパイルとリンクは 1 本あたりのメモリが大きい.
-j32ではピークが約 29 GiB に達し, メモリ不足でジョブが止まった. 止まった場合は-jを下げて同じコマンドを流し直せば, 入ったものは使い回される. - 処理時間: A64FX の 1 コアは x86 の 1 コアより遅く, LLVM 18.1.8 のビルドに
-j12で約 3 時間 (ビルド 1 時間 30 分, インストール 1 時間 25 分) かかった. LLVM を含む依存パッケージの全体には約 4 時間 30 分かかった. 経過時間の上限 (elapse) を十分に取り, 長時間の資源グループを使う. 試験ではelapse=24:00:00とした. 上限で止まった場合も, 同じジョブを流し直せば続きから入る.
#!/bin/bash
#PJM -L "rscgrp=<リソースグループ>"
#PJM -L "node=1"
#PJM -L "elapse=24:00:00" # LLVM のビルドに約 3 時間 (-j12). 長時間の資源グループを使う
#PJM -g <グループ>
#PJM -j
. /etc/profile.d/modules.sh
module purge
module load odyssey
JOBS=12 # 同時コンパイル数. 32 以上では LLVM のビルドでメモリ (約 28 GiB) が足りない
export SPACK_ROOT=<spack のインストール先>
# (任意) spack の利用者設定とキャッシュをホーム以外に置く場合
export SPACK_USER_CONFIG_PATH=<spack の利用者設定の置き場所>
export SPACK_USER_CACHE_PATH=<spack のキャッシュの置き場所>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env create <spack 環境名> # 初回のみ
spack env activate <spack 環境名>
spack compiler find # OS の GCC 8.3.1 などを登録する
spack install -j ${JOBS} --add llvm@18
spack install -j ${JOBS} --add hipsycl %clang@18使用時の設定
Odyssey では, 次の設定もビルドと同じく計算ノード (ジョブの中) で行う.
. /etc/profile.d/modules.sh
module purge
module load odyssey
export SPACK_ROOT=<spack のインストール先>
# (任意) spack の利用者設定とキャッシュをホーム以外に置く場合
export SPACK_USER_CONFIG_PATH=<spack の利用者設定の置き場所>
export SPACK_USER_CACHE_PATH=<spack のキャッシュの置き場所>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env activate <spack 環境名>
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm@18`
export fj_root=/opt/FJSVxtclanga/tcsds-1.2.43
export LD_LIBRARY_PATH=$sycl_root/lib/:$llvm_root/lib/:$fj_root/lib64/:${LD_LIBRARY_PATH}
export MPICXX_CXX=acpp
export OMPI_CXX=acpp
export ACPP_CPU_CXX="$fj_root/bin/FCC"
export ACPP_OMP_CXX_FLAGS="-O3 -Kopenmp -Kfast -std=c++17 -Nclang"3.3 Aquarius (Wisteria-Aquarius, A100)
| 項目 | 値 |
|---|---|
| 装置 (CPU / GPU) | Xeon Platinum 8360Y ×2 + A100-SXM4-40GB ×8 |
| OS | RHEL 8.10 (ログインノード) |
| ホストコンパイラ | GCC 8.3.1 (gcc/8.3.1) |
| MPI | Open MPI 4.1.1 (ompi/4.1.1, CUDA 非対応版) |
| CUDA / ROCm | CUDA 12.2 (cuda/12.2) |
| AdaptiveCpp | 24.10.0 (+cuda) |
| LLVM (clang) | 18.1.8 (spack). 13.0.1 も併存 |
| 導入方法 (spack 環境) | spack, aquarius |
| BLAS / LAPACK | OpenBLAS 0.3.15 (OS) |
--acpp-targets |
cuda:sm_80 |
spack 環境に llvm@13.0.1 と llvm@18.1.8 が併存するので, spack location -i llvm@18 のように版を明示する. CUDA 対応の Open MPI は別に ompi-cuda/4.1.5-12.2 がある.
Aquarius の計算ノードは Intel Xeon Platinum 8360Y (36 コア ×2) + NVIDIA A100-SXM4-40GB ×8 である. spack 環境 (試験では aquarius) に AdaptiveCpp (CUDA バックエンド付き) と LLVM 18.1.8 を導入し, CUDA は 12.2 を用いた. ホストコンパイラは OS 付属の GCC 8.3.1 である. OpenMPI はサイトの ompi モジュール (試験時の既定は CUDA 非対応版の 4.1.1) を使い, spack 側の hwloc を LD_LIBRARY_PATH に加える.
インストール (最初に 1 回)
試験で用いた spack 環境の定義はllvm@18 %gccとhipsycl+cuda %clang@18の 2 つであり, OS 付属の GCC 8.3.1 で LLVM 18.1.8 をビルドし, その clang で CUDA バックエンド付きの AdaptiveCpp 24.10.0 をビルドした. CUDA はcudaモジュールのサイトの CUDA 12.2 を spack の外部パッケージとして使い, OS の cmake・perl・python などのツールも外部パッケージとして登録した. 次の手順で同じものを作れる (spack は 1.1.0.dev0 を用いた).
. /etc/profile.d/modules.sh
module purge
module load aquarius
module load cuda
export SPACK_ROOT=<spack のインストール先>
# (任意) spack の利用者設定とキャッシュをホーム以外に置く場合
export SPACK_USER_CONFIG_PATH=<spack の利用者設定の置き場所>
export SPACK_USER_CACHE_PATH=<spack のキャッシュの置き場所>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env create <spack 環境名> # 初回のみ
spack env activate <spack 環境名>
spack compiler find # OS の GCC 8.3.1 などを登録する
spack external find # OS のツール群と cuda モジュールの CUDA 12.2 を外部パッケージとして登録する
spack install --add llvm@18 %gcc
spack install --add hipsycl+cuda %clang@18使用時の設定
. /etc/profile.d/modules.sh
module purge
module load aquarius
module load cuda
module load ompi
export SPACK_ROOT=<spack のインストール先>
# (任意) spack の利用者設定とキャッシュをホーム以外に置く場合
export SPACK_USER_CONFIG_PATH=<spack の利用者設定の置き場所>
export SPACK_USER_CACHE_PATH=<spack のキャッシュの置き場所>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env activate <spack 環境名>
export cuda_root=/work/opt/local/x86_64/cores/cuda/12.2
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm@18`
export hwloc_root=`spack location -i hwloc`
export ACPP_CUDA_PATH=$cuda_root
export LD_LIBRARY_PATH=$hwloc_root/lib:$sycl_root/lib/:$llvm_root/lib/:$cuda_root/lib64:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp LD_LIBRARY_PATHの先頭に spack の hwloc ($hwloc_root/lib) を置くのは, ライブラリの版の食い違いを避けるためである. サイトの Open MPI 4.1.1 は古い hwloc を使うので, それが先に読み込まれると, 新しい hwloc に合わせてビルドされた LLVM の OpenMP ランタイム (libomp.so) が読み込みに失敗し, AdaptiveCpp の CPU のバックエンドが使えなくなる (GPU 向けのビルドでも MPI ありの実行が止まる). spack の hwloc を先に探させると, 両者とも新しい hwloc を使う. spack のレシピ parcel-sycl も, spack loadのときに同じ設定を行う (インストールの「spack によるインストール」).
Aquarius の OpenMPI 4.1 では, 同時に始まったジョブの mpirun が /tmp のセッションディレクトリを奪い合って起動に失敗することがある. 実行ジョブでは, mpirun の前にセッションディレクトリをジョブごとに分ける.
PARCEL_SESS=/tmp/parcel_${PJM_JOBID:-$$}
mkdir -p ${PARCEL_SESS}
export OMPI_MCA_orte_tmpdir_base=${PARCEL_SESS}
export OMPI_MCA_btl_vader_backing_directory=${PARCEL_SESS}
trap 'rm -rf ${PARCEL_SESS}' EXIT3.4 Miyabi-C (Xeon Max)
| 項目 | 値 |
|---|---|
| 装置 (CPU / GPU) | Xeon CPU Max 9480 ×2 |
| OS | RHEL 9.8 (x86_64) |
| ホストコンパイラ | GCC 11.4.1 (gcc/11.4.1) |
| MPI | Open MPI 4.1.6 (ompi/4.1.6) |
| CUDA / ROCm | — |
| AdaptiveCpp | 24.10.0 (~cuda. oneAPI 2023.2.0 でビルド) |
| LLVM (clang) | 17.0.6 (OS 付属 /usr/bin/clang++) |
| 導入方法 (spack 環境) | spack, miyc |
| BLAS / LAPACK | OpenBLAS 0.3.21 (OS) |
--acpp-targets |
omp |
Miyabi-C の計算ノードは Intel Xeon CPU Max 9480 (56 コア ×2, HBM2e) である. サイトの gcc / ompi モジュールの上に, spack 環境 (試験では miyc) として AdaptiveCpp を導入した. AdaptiveCpp 本体は oneAPI 2023.2.0 でビルドし, カーネルのコンパイルには OS (RHEL9) 付属の clang 17.0.6 (/usr/bin/clang++. spack には external として登録) を使う. spack の LLVM は使わず, OpenMP ランタイムも OS 付属の libomp 17.0.6 が使われるので, LLVM を LD_LIBRARY_PATH に加える必要はない.
インストール (最初に 1 回)
試験で用いた spack 環境の定義はhipsycl %oneapiの 1 つであり, サイトの Intel oneAPI 2023.2.0 で AdaptiveCpp 24.10.0 (CUDA なし) をビルドした. oneAPI のコンパイラ, OS の clang 17.0.6 (/usr/bin/clang, /usr/bin/clang++) と Open MPI は, spack 環境の定義 (spack.yaml) に外部パッケージとして次のように書く. 次の手順で同じものを作れる (spack は 1.1.0.dev0 を用いた). ログインノードで実行してよい.
packages:
intel-oneapi-compilers:
externals:
- spec: intel-oneapi-compilers@2023.2.0
prefix: /work/opt/local/x86_64/cores/intel/2023.2.0
llvm:
externals:
- spec: llvm@17.0.6+clang~flang+lld~lldb
prefix: /usr
openmpi:
externals:
- spec: openmpi@4.1.6~cuda fabrics=ucx schedulers=slurm
prefix: /work/opt/local/x86_64/apps/gcc/11.4.1/ompi/4.1.6
buildable: false
hipsycl:
require: '%oneapi'. /etc/profile.d/modules.sh
module purge
module load gcc
module load ompi
export SPACK_ROOT=<spack のインストール先>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env create <spack 環境名> # 初回のみ. 上の packages を spack.yaml に書き加える
spack env activate <spack 環境名>
spack compiler find # OS の GCC 11.4.1 などを登録する
spack install --add hipsycl %oneapi使用時の設定
. /etc/profile.d/modules.sh
module purge
module load gcc
module load ompi
export SPACK_ROOT=<spack のインストール先>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env activate <spack 環境名>
spack load hipsycl
export sycl_root=`spack location -i hipsycl`
export LD_LIBRARY_PATH=$sycl_root/lib/:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp3.5 Miyabi-G (GH200)
| 項目 | 値 |
|---|---|
| 装置 (CPU / GPU) | GH200 (Grace 72 コア + H100 96GB) |
| OS | RHEL 9.8 (aarch64) |
| ホストコンパイラ | GCC 11.4.1 (gcc/11.4.1) |
| MPI | Open MPI 4.1.6 CUDA 対応版 (ompi-cuda/4.1.6-12.6) |
| CUDA / ROCm | CUDA 12.6 (cuda/12.6) |
| AdaptiveCpp | 24.10.0 (+cuda) |
| LLVM (clang) | 18.1.8 (spack, GCC 11.4.1 でビルド) |
| 導入方法 (spack 環境) | spack, miyg |
| BLAS / LAPACK | OpenBLAS 0.3.21 (OS) |
--acpp-targets |
cuda:sm_90 |
Miyabi-G の計算ノードは NVIDIA GH200 (Grace 72 コア + H100 96GB) を 1 ノードに 1 基持つ. CPU は Arm (Neoverse V2) である. サイトの gcc / cuda / ompi-cuda モジュール (試験時の既定は cuda/12.6, ompi-cuda/4.1.6-12.6) の上に, spack 環境 (試験では miyg) として AdaptiveCpp (CUDA バックエンド付き) と LLVM 18.1.8 を導入した. AdaptiveCpp が使う CUDA は ACPP_CUDA_PATH で 12.6 を明示している.
インストール (最初に 1 回)
試験で用いた spack 環境の定義はllvm@18とhipsycl+cuda %clang@18の 2 つであり, サイトの GCC 11.4.1 で LLVM 18.1.8 をビルドし, その clang で CUDA バックエンド付きの AdaptiveCpp 24.10.0 をビルドした. CUDA と CUDA 対応の Open MPI はサイトのものを外部パッケージとして使う (spack.yaml に次のように書く). 次の手順で同じものを作れる (spack は 1.1.0.dev0 を用いた). ログインノード (Grace, aarch64) で実行してよく, LLVM のビルドに数時間かかる.
packages:
cuda:
externals:
- spec: cuda@12.6.85
prefix: /work/opt/local/aarch64/cores/cuda/12.6
openmpi:
externals:
- spec: openmpi@4.1.6+cuda fabrics=ucx schedulers=slurm
prefix: /work/opt/local/aarch64/apps/gcc/11.4.1/openmpi-cuda/4.1.6-12.6
buildable: false. /etc/profile.d/modules.sh
module purge
module load gcc
module load cuda
module load ompi-cuda
export SPACK_ROOT=<spack のインストール先>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env create <spack 環境名> # 初回のみ. 上の packages を spack.yaml に書き加える
spack env activate <spack 環境名>
spack compiler find # サイトの GCC 11.4.1 などを登録する
spack external find # OS のツール群を外部パッケージとして登録する
spack install --add llvm@18
spack install --add hipsycl+cuda %clang@18使用時の設定
. /etc/profile.d/modules.sh
module purge
module load gcc
module load cuda
module load ompi-cuda
export SPACK_ROOT=<spack のインストール先>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env activate <spack 環境名>
spack load hipsycl
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm`
export cuda_root=/work/opt/local/aarch64/cores/cuda/12.6
export ACPP_CUDA_PATH=$cuda_root
export LD_LIBRARY_PATH=$sycl_root/lib/:$llvm_root/lib/:$cuda_root/lib64:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp3.6 PS-A (Plasma Simulator サブシステム A)
| 項目 | 値 |
|---|---|
| 装置 (CPU / GPU) | Xeon 6980P ×2 |
| OS | RHEL 9.6 (x86_64) |
| ホストコンパイラ | Intel oneAPI DPC++/C++ 2026.1.0 (intel/2026.1). OS の GCC 11.5.0 |
| MPI | Intel MPI 2021.18.1 (intel / intelmpi) |
| CUDA / ROCm | — |
| AdaptiveCpp | 24.10.0 (~cuda~rocm) |
| LLVM (clang) | 18.1.8 (spack, GCC 11.5.0 でビルド) |
| 導入方法 (spack 環境) | spack, sysa (~/spack) |
| BLAS / LAPACK | OpenBLAS 0.3.26 (OS の OpenMP 版 libopenblaso) + nvhpc 25.3 の lapacke.h |
--acpp-targets |
omp |
PS-A の計算ノードは Intel Xeon 6980P (128 コア ×2) である. MPI は Intel MPI を用いる. サイトの intel / intelmpi モジュールの上に, spack 環境 (試験では sysa) として AdaptiveCpp と LLVM 18 系を導入した.
インストール (最初に 1 回)
試験で用いた spack 環境には LLVM 18.1.8 と AdaptiveCpp 24.10.0 (CUDA・ROCm なし) を入れ, いずれも OS 付属の GCC 11.5.0 でビルドした. 次の手順で同じものを作れる (spack は 1.1.0.dev0 を用いた).
. /etc/profile.d/modules.sh
module purge
module load intel
module load intelmpi
. <spack のインストール先>/share/spack/setup-env.sh
spack env create <spack 環境名> # 初回のみ
spack env activate <spack 環境名>
spack compiler find # OS の GCC 11.5.0 と oneAPI のコンパイラなどを登録する
spack external find # OS のツール群を外部パッケージとして登録する
spack install --add llvm@18 %gcc
spack install --add hipsycl %gcc使用時の設定
. /etc/profile.d/modules.sh
module purge
module load intel
module load intelmpi
. <spack のインストール先>/share/spack/setup-env.sh
spack env activate <spack 環境名>
spack load hipsycl
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm`
export LD_LIBRARY_PATH=$sycl_root/lib/:$llvm_root/lib/:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp
export I_MPI_CXX=acpp
export OPENBLAS_NUM_THREADS=13.7 PS-B (Plasma Simulator サブシステム B)
| 項目 | 値 |
|---|---|
| 装置 (CPU / GPU) | MI300A ×4 |
| OS | RHEL 9.6 (x86_64) |
| ホストコンパイラ | GCC 11.5.0 (OS) |
| MPI | Open MPI 5.0.7 (openmpi/5.0.7/rocm6.3.3) |
| CUDA / ROCm | ROCm 6.3.3 (rocm/6.3.3, /opt/rocm-6.3.3) |
| AdaptiveCpp | 24.10.0 (+rocm, amdgpu_target=gfx942) |
| LLVM (clang) | 18.1.8 (spack, GCC 11.5.0 でビルド. PS-A と共用) |
| 導入方法 (spack 環境) | spack, sysb (~/spack) |
| BLAS / LAPACK | OpenBLAS 0.3.26 (OS の OpenMP 版 libopenblaso) + nvhpc 25.3 の lapacke.h |
--acpp-targets |
hip:gfx942 |
PS-B の計算ノードは AMD Instinct MI300A (APU, 24 コア + GPU) を 1 ノードに 4 基持つ. AdaptiveCpp は HIP バックエンドで使い, ターゲットは hip:gfx942 である. ROCm 6.3.3 対応の OpenMPI モジュールの上に, spack 環境 (試験では sysb) として AdaptiveCpp を導入した.
インストール (最初に 1 回)
試験で用いた spack 環境には, PS-A と共有する LLVM 18.1.8 と, HIP バックエンド付きの AdaptiveCpp 24.10.0 (+rocm amdgpu_target=gfx942) を入れた. いずれも OS 付属の GCC 11.5.0 でビルドし, ROCm 6.3.3 (/opt/rocm-6.3.3) の hip・hsa-rocr-dev・comgr・llvm-amdgpu を外部パッケージとして使う. ログインノードには複数の版の ROCm があるので, 版を明示する. 次の手順で同じものを作れる (spack は 1.1.0.dev0 を用いた). LLVM は PS-A と同じものを使う.
. /etc/profile.d/modules.sh
module purge
module load openmpi/5.0.7/rocm6.3.3 # rocm/6.3.3 も読み込まれる
. <spack のインストール先>/share/spack/setup-env.sh
spack env create <spack 環境名> # 初回のみ
spack env activate <spack 環境名>
spack compiler find # OS の GCC 11.5.0 などを登録する
spack external find # OS のツール群を外部パッケージとして登録する
spack external find hip hsa-rocr-dev comgr llvm-amdgpu # ROCm 6.3.3 を外部パッケージとして登録する
spack install --add llvm@18.1.8+clang~cuda+lld+lldb~python
spack install --add hipsycl@24.10.0~cuda+rocm amdgpu_target=gfx942 ^hip@6.3.3 ^llvm@18.1.8 ^llvm-amdgpu@6.3.3使用時の設定
. /etc/profile.d/modules.sh
module purge
module load openmpi/5.0.7/rocm6.3.3
. <spack のインストール先>/share/spack/setup-env.sh
spack env activate <spack 環境名>
spack load hipsycl
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm`
export LD_LIBRARY_PATH=$sycl_root/lib/:$llvm_root/lib/:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp
export OPENBLAS_NUM_THREADS=13.8 macOS (Homebrew)
| 項目 | 値 |
|---|---|
| 装置 (CPU / GPU) | Apple M4 (10 コア: 高性能 4, 高効率 6), メモリ 32 GB |
| OS | macOS 15 (arm64) |
| ホストコンパイラ | Apple clang 17 (Xcode Command Line Tools) |
| MPI | Open MPI 5.0 (Homebrew open-mpi) |
| CUDA / ROCm | — |
| AdaptiveCpp | 25.10 (Homebrew adaptivecpp. LLVM を組み込まない構成) |
| LLVM (clang) | — (ホストの Apple clang を使う) |
| 導入方法 | Homebrew (ビルド済みのバイナリ) |
| BLAS / LAPACK | OpenBLAS (Homebrew openblas) |
| Fortran | gfortran (Homebrew gcc) |
| Python | Homebrew の Python 3.14 と NumPy・SciPy |
--acpp-targets |
omp.library-only |
macOS では spack を使わず, Homebrew で必要なものをすべてビルド済みのバイナリとして入れる. Homebrew の AdaptiveCpp は LLVM を組み込まない構成で, カーネルを含むコード全体をホストの C++ コンパイラ (Apple clang) がコンパイルする. このため Odyssey と同じく --acpp-targets=omp.library-only を用い (ompと書いても同じコンパイルになる), 他の CPU と同じく縮約をブロック化 (-D_BLOCKING_LOOP_DOT_=1. 「最適化」の章の「ブロック化」) する. 1 行を 1 work item が受け持つ既定の形のままでは, 内積などが極端に遅くなる. GPU (Apple の GPU) は使えない.
インストール (最初に 1 回)
Xcode Command Line Tools (xcode-select --install) と Homebrew を入れておく. Homebrew の既定の入れ先 (/opt/homebrew) を使うと, 次のパッケージはビルド済みのバイナリで数分で入る. 別の場所に入れた Homebrew では, AdaptiveCpp・GCC・Open MPI・Python がソースからのビルドになり, 長い時間がかかる.
brew install adaptivecpp open-mpi openblas gcc numpy scipy使用時の設定
Homebrew のbinをPATHに置き, MPI のラッパがacppを呼ぶようにする. 配布パッケージの python/envs/mac_brew.sh を読み込むと, この設定に加えて, OpenBLAS の場所, Fortran の実行時ライブラリの場所, Python のパッケージと examples/build_examples.sh が使うビルドの設定 (omp.library-only, -D_BLOCKING_LOOP_DOT_=1) が環境変数に設定される. 既定は MPI なしで, PARCEL_MPI=1 を与えてから読み込むと MPI ありの設定になる.
eval "$(/opt/homebrew/bin/brew shellenv)"
export OMPI_CXX=acpp
# Python と examples のビルドの設定もまとめて与える場合は, 代わりに次を読み込む
# (Homebrew の場所が /opt/homebrew でなければ PARCEL_BREW に与える. MPI ありは PARCEL_MPI=1)
# export PARCEL_MPI=0
# . python/envs/mac_brew.sh macOS の Open MPI 5 はプロセスをコアに固定できない (--bind-to coreは「binding not supported」で止まる) ので, mpirun -n 4 --bind-to noneのように起動する. GNU coreutils のtimeoutコマンドは無い. 動作は上の表の 1 環境 (CPU) で, C++・C言語・Fortran・Python のサンプル (クイックスタート) と回帰試験 (MPI あり・なし) で確かめた. 回帰試験をこの環境で流す設定の例は配布パッケージのtests/site_config.pyのmacである.
3.9 一般的な Linux (RHEL 系・Ubuntu 系)
本書の試験環境以外の Linux の計算機に AdaptiveCpp を入れる手順を示す. 方法は次の 2 通りである.
- PARCEL ごと入れる: 配布パッケージの雛形
spack/stack/envs/generic/を書き換えてinstall_stack.shで入れる (インストールの「試験環境以外の計算機」). - AdaptiveCpp だけを入れる: 以下の手順で spack を取得し, LLVM と AdaptiveCpp を入れる. PARCEL はヘッダだけなので, その後は「インストール」の章のとおりにコンパイルする.
以下の手順は, 試験環境の手順 (各環境の「インストール (最初に 1 回)」) を一般化したものである. Ubuntu 24.04 と Rocky Linux 9.8 (RHEL 9 互換) で, この節の手順と雛形genericによる方法の両方を試した (いずれも WSL2, x86_64, NVIDIA RTX A6000. CPU と GPU, MPI なしとあり). パッケージ名はこの 2 つで確かめたものであり, OS の版によって異なりうる.
3.9.1 前もって用意するもの
| もの | RHEL 系の例 | Ubuntu 系の例 | 備考 |
|---|---|---|---|
| C・C++・Fortran のコンパイラ | dnf install gcc gcc-c++ gcc-gfortran |
apt install build-essential gfortran |
LLVM 18 をビルドする. 試験では GCC 8.3.1〜13.3.0 を用いた |
| spack が使うツール | dnf install git python3 make patch bzip2 xz unzip libcurl-devel zlib-devel perl |
apt install git python3 make patch bzip2 xz-utils unzip libcurl4-openssl-dev |
spack external findは OS の curl, zlib, perl などを登録し, spack はそれらを使って cmake などを作る. そのため curl と zlib の開発用ファイルと, モジュールを含む perl (RHEL 系の最小構成ではインタプリタだけのことがある) が要る |
| MPI (MPI ありで使う場合) | 計算機の MPI (Open MPI など). OS のパッケージならdnf install openmpi-develで入れ, module load mpi/openmpi-x86_64で読む |
計算機の MPI. OS のパッケージならapt install openmpi-bin libopenmpi-dev |
計算機のネットワークと結び付くので, 計算機に入っているものを使う |
| CUDA (NVIDIA の GPU を使う場合) | 計算機の CUDA. OS に入れるなら NVIDIA のdnfリポジトリ (RHEL 9 系はrhel9) のcuda-toolkit-12-6など (WSL2 も同じリポジトリ) |
計算機の CUDA. OS に入れるなら NVIDIA のaptリポジトリのcuda-toolkit-12-6など (WSL2 は WSL 用のリポジトリ) |
ドライバが対応する版以下 (「GPU で動かす」) |
| LAPACKE | 「LAPACKE の入れ方」 | 同左 | spack の OpenBLAS を使ってもよい |
RHEL 9 系では, OpenBLAS の開発用パッケージ (openblas-devel) が標準では無効のリポジトリ CRB にある. 次のように有効にしてから入れる (CRB は Rocky Linux・AlmaLinux での名前. RHEL 本体では CodeReady Linux Builder のリポジトリにあたり, dnf config-managerではなくsubscription-managerで有効にする. リポジトリ名は Red Hat の文書の例による). EPEL は要らない. NVIDIA の CUDA のリポジトリの登録にもdnf config-managerを使う.
dnf install dnf-plugins-core # dnf config-manager を使えるようにする
dnf config-manager --set-enabled crb # CRB を有効にする (Rocky Linux・AlmaLinux)
# subscription-manager repos --enable codeready-builder-for-rhel-9-$(arch)-rpms # RHEL 本体の場合 (上の行の代わり)
dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel9/x86_64/cuda-rhel9.repo # CUDA を OS に入れる場合 組織のプロキシの下では, http_proxy・https_proxy (とno_proxy) を設定する (spack, git, curl, apt が使う. dnf は/etc/dnf/dnf.confにproxy=<URL>と書く). TLS を検査するプロキシでは, プロキシの証明書 (組織の CA) を OS に登録する. Ubuntu 系では CA の証明書 (PEM 形式) を/usr/local/share/ca-certificates/<名前>.crtに置いてupdate-ca-certificatesを, RHEL 系では/etc/pki/ca-trust/source/anchors/に置いてupdate-ca-trustを実行する.
3.9.2 spack の取得と登録
spack は 1.x を対象とする (install_stack.shで用いる版はその先頭に固定してある. この節の手順は, 取得した時点の開発版 1.3.0.dev0 で確かめた). spack の取得, 環境の作成, コンパイラと OS のツールの登録を行う.
git clone -c feature.manyFiles=true https://github.com/spack/spack.git <spack のインストール先>
export SPACK_ROOT=<spack のインストール先>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env create <spack 環境名> # 初回のみ
spack env activate <spack 環境名>
spack compiler find # PATH にある GCC などを登録する
spack external find # cmake, perl, python などの OS のツールを外部パッケージとして登録する spack external find で登録した OS のツールは spack がビルドせずに使うので, インストールの時間が短くなる.
3.9.3 MPI と CUDA を登録する
MPI と CUDA は計算機に入っているものを使い, spack では作らない. spack external find openmpi cuda で見つかることもあるが, モジュールで入れている計算機では見つからないことがあるので, spack 環境の定義 (spack.yaml. spack config edit で開く) に直接書く. 版と場所は自分の計算機に合わせる.
spack:
packages:
mpi:
require: [openmpi]
openmpi:
buildable: false
externals:
- spec: openmpi@4.1.6~cuda
prefix: /path/to/openmpi/4.1.6 # bin/mpicc がある場所の 1 つ上
cuda:
buildable: false
externals:
- spec: cuda@12.6.20
prefix: /path/to/cuda/12.6buildable: falseは, spack がそのパッケージを自分で作らず, 登録したものだけを使う指定である.- MPI は環境の中で 1 つにそろえる. 外部登録の MPI が複数あると, 意図しない構成 (CUDA 版など) が選ばれることがある.
- CUDA は, 計算ノードのドライバが対応する版以下を登録する (「GPU で動かす」).
- OS のパッケージで入れた場合の例 (Ubuntu 24.04): Open MPI 4.1.6 は
prefix: /usr, NVIDIA のリポジトリの CUDA 12.6 はspec: cuda@12.6.85とprefix: /usr/local/cuda-12.6. 版はmpirun --version,nvcc --versionで調べる. - OS のパッケージで入れた場合の例 (Rocky Linux 9): Open MPI 4.1.1 (
openmpi-devel) はspec: openmpi@4.1.1~cuda, CUDA は Ubuntu と同じ. RHEL 系の OS の Open MPI は,bin/とlib/が/usr/lib64/openmpiに, ヘッダが/usr/include/openmpi-x86_64にある. spack はprefixの下のinclude/でヘッダを探すので,prefix: /usr/lib64/openmpiと書くと MPI に依存するパッケージ (MPI ありの PARCEL) のインストールがQuery of package 'openmpi' for 'headers' failedで止まる. 次のように 1 つのディレクトリに並べ, それをprefixに書く.
O=$HOME/openmpi-rhel # 置き場所は任意. OS のファイルは変えない
mkdir -p $O
ln -s /usr/lib64/openmpi/bin $O/bin
ln -s /usr/lib64/openmpi/lib $O/lib
ln -s /usr/lib64/openmpi/share $O/share
ln -s /usr/include/openmpi-x86_64 $O/include3.9.4 LLVM と AdaptiveCpp のインストール
OS の GCC で LLVM 18 をビルドし, その clang で AdaptiveCpp (spack のパッケージ名 hipsycl) をビルドする. GPU を使う場合は バックエンドをバリアントで指定する.
spack install --add llvm@18 %gcc
spack install --add hipsycl %clang@18 # CPU だけ
# spack install --add hipsycl+cuda %clang@18 # NVIDIA の GPU も使う場合 (上の代わり)
# spack install --add hipsycl+rocm amdgpu_target=gfx942 %clang@18 # AMD の GPU (MI300A の例) も使う場合 LLVM のビルドは長い時間と多くのメモリを使う. 同時に動かすコンパイルの数はspack install -j <数>で決める. メモリが足りずに止まった場合は数を下げて同じコマンドを流し直す (入ったものは使い回す. Odyssey での例は「Odyssey」の節).
3.9.5 使用時の設定
export SPACK_ROOT=<spack のインストール先>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env activate <spack 環境名>
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm@18`
export LD_LIBRARY_PATH=$sycl_root/lib:$llvm_root/lib:${LD_LIBRARY_PATH}
export ACPP_CUDA_PATH=<CUDA の場所> # NVIDIA の GPU を使う場合
export OMPI_CXX=acpp MPICXX_CXX=acpp # MPI のラッパ (Open MPI) に acpp を呼ばせるLD_LIBRARY_PATHに LLVM のlib/を加えるのは, CPU 向けの実行ファイルが LLVM の OpenMP ランタイム (libomp.so) を使うためである. 代わりにリンク時に-Wl,-rpath,$llvm_root/libを付けてもよい (RPATH).- RHEL 系の OS の Open MPI は環境モジュールで読む (
module load mpi/openmpi-x86_64. 読むまではmpicxx・mpirunがPATHに無い). - MPI のコンパイララッパに
acppを呼ばせる変数は MPI によって異なる. Open MPI はOMPI_CXX, MPICH 系はMPICH_CXX, Intel MPI はI_MPI_CXXである (PS-A の例は「PS-A」の節). - LAPACKE の場所を調べ, コンパイルのフラグに与える (「LAPACKE の入れ方」).
入ったことは, クイックスタートの C++ のプログラムをビルドして実行して確かめる. GPU では, 使われたデバイスの名前も確かめる (「GPU で動かす」).
3.9.6 Windows の WSL2
Windows の WSL2 の Linux (Ubuntu, Rocky Linux) でも, この節の手順とinstall_stack.shで, CPU と NVIDIA の GPU を使える (Ubuntu 24.04 と Rocky Linux 9 で, RTX A6000 2 台を使って確かめた). Linux の計算機と違う点を示す.
- 仮想ディスクの大きさ: OS, CUDA,
install_stack.shの入れ先で 20〜30 GB を使った.wsl --installは既定でシステムドライブに置くので, 空きが少なければwsl --install --location <場所>か, 配布元の WSL 用のイメージ (Ubuntu のルートファイルシステム, Rocky Linux のRocky-9-WSL-Base-<版>.x86_64.wslなど) を取得してwsl --import <名前> <場所> <ファイル>で別のドライブに置く. - メモリと CPU: WSL2 が使う上限は Windows 側の
%UserProfile%\.wslconfig([wsl2]のmemory=,processors=) で決まる. LLVM のビルドの並列数はこのmemoryに合わせる (memory=24GBで-j 16で入った). - GPU: ドライバは Windows 側に入れ, WSL2 の中には入れない. CUDA は NVIDIA の WSL 用の
aptリポジトリ (wsl-ubuntu) からツールキットだけを入れる (apt install cuda-toolkit-12-6. 入れ先は/usr/local/cuda-12.6). RHEL 系 (Rocky Linux 9) には WSL 用のリポジトリが無いので, 通常のrhel9のリポジトリのcuda-toolkit-12-6を入れる (ドライバのパッケージは入らず,libcuda.soは WSL のものが使われる. 入れ先は同じ).nvidia-smiとドライバのライブラリは/usr/lib/wsl/libにある. 通常のシェルではPATHに入っているが, systemd のサービスなどでは入っていない. - 複数の GPU:
gpu_bind.sh(「1 ランクと 1 デバイスの対応」) で各ランクに別の GPU を割り当てられる. 挟まないと全ランクが同じ GPU を使う. - 長いビルド: WSL2 は, そのディストリビューションを使うシェルがすべて終わるとしばらくして止まり, 中で動いているビルドも止まる. 端末を開いたまま流すか, Windows 側で
wsl -d <名前> -- sleep infinityのようなプロセスを残しておく.
3.10 LAPACKE の入れ方
PARCEL の固有値ソルバ ks_arnoldi は LAPACKE (LAPACK の C 言語の呼び出し口) を使う. 既定では全ソルバがビルドに入るので, 線形ソルバだけを使う場合もヘッダ lapacke.h とライブラリが要る (-DPARCEL_ENABLE_KS_ARNOLDI=0 で外せば不要. 「ビルドするソルバの取捨」). 入れ方の例を示す. パッケージ名は OS の版や追加のリポジトリ (RHEL 系の CRB など) によって異なりうる. RHEL 系の行は Rocky Linux 9, Ubuntu 系の行は Ubuntu 24.04 で確かめた.
| OS など | 入れ方の例 |
|---|---|
| RHEL 系 | dnf install openblas-devel (CRB を有効にしてから. 「前もって用意するもの」) |
| Ubuntu 系 | apt install libopenblas-dev liblapacke-dev |
| macOS | brew install openblas (「macOS (Homebrew)」) |
| spack | spack install openblas (OpenBLAS は LAPACKE を含む) |
| 富士通の環境 (Odyssey) | 入れる必要はない. 実装は富士通 LAPACK (-lfjlapack. 富士通の言語環境に含まれる) を使い, ヘッダは OS の OpenBLAS のlapacke.hを借りる (下を参照) |
入れたヘッダとライブラリの場所は次のように調べる.
find / -name lapacke.h 2>/dev/null # ヘッダを探す
rpm -ql openblas-devel | grep -E 'lapacke.h|\.so$' # RHEL 系: パッケージが入れたファイル
dpkg -L liblapacke-dev | grep -E 'lapacke.h|\.so$' # Ubuntu 系: パッケージが入れたファイル
ldconfig -p | grep -E 'liblapacke|libopenblas' # Ubuntu 系: OpenBLAS の .so は別のパッケージにあるので, 読める場所から探す
ls $(spack location -i openblas)/include $(spack location -i openblas)/lib # spack- ヘッダが
/usr/include/openblas/lapacke.hにあれば-I/usr/include/openblasを付ける./usr/include/lapacke.hのように標準の場所にあれば-Iは要らない. - ライブラリは, OpenBLAS が LAPACKE を含む場合 (spack の OpenBLAS など) は
-lopenblasだけでよい. LAPACKE が別のライブラリ (liblapacke.so) の場合は-llapacke -lopenblasのように両方を付ける. 標準の場所に無いライブラリは-L<場所>と-Wl,-rpath,<場所>も付ける. - Rocky Linux 9 (RHEL 9 系) では,
openblas-develでヘッダは/usr/include/openblas/lapacke.h, OpenBLAS (libopenblas.so) が LAPACKE を含むので,-I/usr/include/openblas -lopenblas(クイックスタートの指定のまま) でよい.lapack-develは要らない (入れると別に/usr/include/lapacke/lapacke.hとliblapacke.soが入る). - Ubuntu 24.04 では,
libopenblas-devとliblapacke-devでヘッダは/usr/include/lapacke.h(-Iは不要), OpenBLAS は LAPACKE を含まないので-llapacke -lopenblasとする.-lopenblasだけでは,ks_arnoldiを使うプログラムのリンクでLAPACKE_dgeevなどが見つからない (使わないプログラムはリンクできてしまうので気付きにくい). install_stack.shで入れた環境 (setup.shを読んだシェル) では, spack の OpenBLAS (spack location -i openblasのinclude/とlib/) を使う.setup.shは spack の環境のビューのlib/をLD_LIBRARY_PATHに加えるので, OS の LAPACKE とリンクすると, OS の BLAS が spack のlibopenblas.so.0を読み, 実行時にsymbol lookup error: ... undefined symbol: sgemv_thread_nなどで止まる.- 富士通の環境 (Odyssey) では, ヘッダに OS の OpenBLAS の
lapacke.h(-I/usr/include/openblas) を, 実装に富士通 LAPACK (-lfjlapack) を指定する. 富士通 LAPACK は富士通の言語環境のlib64/にあるので, その場所を-Lと-Wl,-rpathで与える (例:-L$fj_root/lib64 -Wl,-rpath,$fj_root/lib64 -lfjlapack.fj_rootは「Odyssey」の「使用時の設定」で定義する). ビルドの全体はインストールの「推奨オプション」の「Odyssey」にある. - Python のパッケージでは, 同じ値をビルドの設定
LAPACKE_INCLUDE_DIR(ヘッダのディレクトリ) とLAPACK_LIBS(リンクのフラグ) で与える (「ビルドの設定」). - spack のレシピ
parcel-syclを使う場合は, レシピが OpenBLAS の場所を自動で与える.