PARCEL SYCL v1.2 / 利用者ガイド 利用者ガイド API リファレンス 検索 ダウンロード English

3 SYCL対応コンパイラのインストール方法

 SYCL版PARCELはヘッダーファイルのみで構成されており, 利用にはSYCL対応コンパイラが必要である. v1.2 の試験では, すべての環境で AdaptiveCpp (旧名 hipSYCL / Open SYCL) を用いた. AdaptiveCpp は LLVM (clang) をフロントエンドとし, 1 つのソースから CPU (OpenMP) ・NVIDIA GPU (CUDA) ・AMD GPU (HIP) 向けのコードを生成できる.

 ソースコードからビルドすることもできるが, 本版の試験環境ではいずれも spack で導入した. spack 上のパッケージ名は hipsycl である. spack 環境 (spack env) を使うかどうかと環境名, spack のインストール先は利用者が決める. 以下の例ではこれらを<spack 環境名>・<spack のインストール先>と書く (試験で用いた名前は各環境の表に示す). spack 環境を使わない場合はspack env activateの行を省き, spack installの--addを外す. コンパイラドライバは acpp で, 生成するコードの種類は --acpp-targets= で指定する.

 本章の手順は既存の spack に AdaptiveCpp を入れる方法である. このほか, 配布パッケージの spack/stack/install_stack.sh を使えば, spack の取得から LLVM・AdaptiveCpp・OpenBLAS・Python, PARCEL 本体と C言語・Fortran・Python の API までを, 既存の spack と切り離した新しい spack 環境にまとめて入れられる (MPI・CUDA / ROCm・コンパイラは各環境の既存品を使う. インストールの章の「spack によるインストール」). macOS では spack を使わず, Homebrew で AdaptiveCpp を入れる (「macOS (Homebrew)」). 試験環境以外の Linux の計算機での手順は「一般的な Linux」に, LAPACKE の入れ方は「LAPACKE の入れ方」に示す.

 試験時の環境の構成例を, 次節以降の環境ごとの節の冒頭の表に示す (環境と装置の名前は用語集を参照. 装置欄は計算ノードの構成である). モジュールの版などはサイトの更新で変わりうる. 8 環境の AdaptiveCpp はいずれも同じコミット 7677cf6e (24.10.0+git.7677cf6e.20241220) である.

 ログインノードと計算ノードでCPUアーキテクチャが異なる場合 (Odyssey など) には, AdaptiveCpp も PARCEL も計算ノード上でビルドする. 両者のアーキテクチャが一致する環境ではログインノードでビルドしてよい. ただし -march=native を付ける場合は, ログインノードと計算ノードの CPU 世代が一致していることを確認する.

 --acpp-targets=omp で OpenMP バックエンドを使う場合, リンクされる libomp の版によって実行時のスレッド固定の挙動が異なる. LLVM 18.1.8 の libomp (s86 CPU, PS-A) では OMP_PROC_BIND を設定すると全ワーカースレッドが 1 コアに集約され, 大幅に遅くなる. 対処として, 実行時にOMP_PROC_BINDを設定しないかfalseにする (spreadなど他の値でも同じ症状になる). ランクごとのコアの割り当てはmpirunのバインド (--bind-to coreなど) で行えば, スレッドはその範囲に収まる.

3.1 s86 (SGI8600)

s86 CPU

項目 値
装置 (CPU / GPU) Xeon Gold 6242R ×2
OS RHEL 8.10 (x86_64)
ホストコンパイラ GCC 9.5.0 (gnu/9.5.0)
MPI Open MPI 4.1.6 + UCX 1.16.0 (openmpi/cur)
CUDA / ROCm —
AdaptiveCpp 24.10.0 (+cuda. GPU と共用)
LLVM (clang) 18.1.8 (spack, GCC 9.5.0 でビルド)
導入方法 (spack 環境) spack, sycl (~/spack)
BLAS / LAPACK OpenBLAS 0.3.15 (OS)
--acpp-targets omp

s86 GPU

項目 値
装置 (CPU / GPU) Xeon Gold 6248R ×2 + V100-SXM2-32GB ×4
OS RHEL 8.10 (x86_64)
ホストコンパイラ GCC 9.5.0
MPI Open MPI 4.1.6 + UCX 1.16.0 (openmpi/cur)
CUDA / ROCm CUDA 12.6 (/home/app/cuda/12.6)
AdaptiveCpp 24.10.0 (+cuda. CPU と共用)
LLVM (clang) 18.1.8 (spack)
導入方法 (spack 環境) spack, sycl (CPU と共用)
BLAS / LAPACK OpenBLAS 0.3.15 (OS)
--acpp-targets cuda:sm_70

 s86 の CPU ノードは Intel Xeon Gold 6242R (20 コア ×2), GPU ノードは Intel Xeon Gold 6248R (24 コア ×2) + NVIDIA V100-SXM2-32GB ×4 である. spack で LLVM 18 と AdaptiveCpp を導入する. CPU 用と GPU 用を別々に導入する必要はなく, CUDA バックエンド付き (+cuda) の AdaptiveCpp 1 つを spack 環境 (試験では sycl) に置き, --acpp-targets=omp と --acpp-targets=cuda:sm_70 の両方に使う.

インストール (最初に 1 回. CPU・GPU 共通)

module purge
module load gnu/9.5.0
module load openmpi/cur
. <spack のインストール先>/share/spack/setup-env.sh
spack env create <spack 環境名>      # 初回のみ
spack env activate <spack 環境名>
spack compiler find
spack external find
spack install --add llvm@18
spack install --add hipsycl +cuda % llvm@18

 この hipsycl の既定の CUDA パスは spack の cuda@12.9.0 を指しているが, V100 用のビルドではサイトの CUDA 12.6 を ACPP_CUDA_PATH で指定して上書きする.

使用時の設定 (CPU)

module purge
module load gnu/9.5.0
module load openmpi/cur
. <spack のインストール先>/share/spack/setup-env.sh
spack env activate <spack 環境名>
spack load hipsycl
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm`
export LD_LIBRARY_PATH=$sycl_root/lib/:$llvm_root/lib/:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp

使用時の設定 (GPU)

module purge
module load gnu/9.5.0
module load openmpi/cur
module load cuda/12.6
. <spack のインストール先>/share/spack/setup-env.sh
spack env activate <spack 環境名>
spack load hipsycl
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm`
export cuda_root=/home/app/cuda/12.6
export ACPP_CUDA_PATH=$cuda_root
export LD_LIBRARY_PATH=$sycl_root/lib/:$llvm_root/lib/:$cuda_root/lib64:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp

3.2 Odyssey (Wisteria-Odyssey, A64FX)

項目 値
装置 (CPU / GPU) A64FX (48 コア)
OS RHEL 8 (計算ノード)
ホストコンパイラ 富士通 FCC tcsds-1.2.43 (fj/1.2.43, clang モード)
MPI 富士通 MPI 1.2.43 (fjmpi/1.2.43)
CUDA / ROCm —
AdaptiveCpp 24.10.0 (~cuda)
LLVM (clang) 18.1.8 (spack, GCC 8.3.1 でビルド)
導入方法 (spack 環境) spack, odyssey (計算ノードでビルド)
BLAS / LAPACK 富士通 LAPACK (-lfjlapack)
--acpp-targets omp.library-only

 Odyssey の計算ノードは A64FX (48 コア, 4 CMG) で, ログインノードとアーキテクチャが異なる. このため AdaptiveCpp のインストールも PARCEL のビルドも計算ノード上で行う (バッチジョブまたは対話ジョブで spack を実行する).

 Odyssey では --acpp-targets=omp.library-only を用いる. このモードでは AdaptiveCpp は SYCL のランタイムライブラリとしてのみ働き, カーネルを含むコード全体をホスト側の C++ コンパイラがコンパイルする. ホストコンパイラには富士通コンパイラ (FCC, clang モード) を ACPP_CPU_CXX で指定する. これにより富士通コンパイラの A64FX 向けの最適化と富士通の OpenMP ランタイムが使われる. ただし AdaptiveCpp はACPP_OMP_CXX_FLAGSの後ろに-O3を付けるので, -Kfastは効かない. 積和の FMA へのまとめは推奨オプションのとおりコマンドラインの-ffp-contract=fastで指定する. LLVM は 18.1.8 を spack で導入し, spack 環境 (試験では odyssey) に置いた. MPI は富士通 MPI (mpiFCC), LAPACK は富士通 LAPACK (-lfjlapack) を用いる.

インストール (最初に 1 回. 計算ノードで行う)

 A64FX 向けの LLVM と AdaptiveCpp は計算ノードでビルドする. 試験で用いた spack 環境の定義はllvm@18とhipsycl %clang@18の 2 つであり, OS 付属の GCC 8.3.1 で LLVM 18.1.8 をビルドし, その clang で AdaptiveCpp 24.10.0 (CUDA なし. ~cudaは既定) をビルドした. 次のバッチジョブで同じものを作れる (spack は 1.1.0.dev0 を用いた).

 計算ノードでのビルドでは, 並列数, メモリの上限, 処理時間に注意する.

#!/bin/bash
#PJM -L "rscgrp=<リソースグループ>"
#PJM -L "node=1"
#PJM -L "elapse=24:00:00"           # LLVM のビルドに約 3 時間 (-j12). 長時間の資源グループを使う
#PJM -g <グループ>
#PJM -j

. /etc/profile.d/modules.sh
module purge
module load odyssey
JOBS=12                               # 同時コンパイル数. 32 以上では LLVM のビルドでメモリ (約 28 GiB) が足りない
export SPACK_ROOT=<spack のインストール先>
# (任意) spack の利用者設定とキャッシュをホーム以外に置く場合
export SPACK_USER_CONFIG_PATH=<spack の利用者設定の置き場所>
export SPACK_USER_CACHE_PATH=<spack のキャッシュの置き場所>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env create <spack 環境名>      # 初回のみ
spack env activate <spack 環境名>
spack compiler find                  # OS の GCC 8.3.1 などを登録する
spack install -j ${JOBS} --add llvm@18
spack install -j ${JOBS} --add hipsycl %clang@18

使用時の設定

 Odyssey では, 次の設定もビルドと同じく計算ノード (ジョブの中) で行う.

. /etc/profile.d/modules.sh
module purge
module load odyssey
export SPACK_ROOT=<spack のインストール先>
# (任意) spack の利用者設定とキャッシュをホーム以外に置く場合
export SPACK_USER_CONFIG_PATH=<spack の利用者設定の置き場所>
export SPACK_USER_CACHE_PATH=<spack のキャッシュの置き場所>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env activate <spack 環境名>
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm@18`
export fj_root=/opt/FJSVxtclanga/tcsds-1.2.43
export LD_LIBRARY_PATH=$sycl_root/lib/:$llvm_root/lib/:$fj_root/lib64/:${LD_LIBRARY_PATH}
export MPICXX_CXX=acpp
export OMPI_CXX=acpp
export ACPP_CPU_CXX="$fj_root/bin/FCC"
export ACPP_OMP_CXX_FLAGS="-O3 -Kopenmp -Kfast -std=c++17 -Nclang"

3.3 Aquarius (Wisteria-Aquarius, A100)

項目 値
装置 (CPU / GPU) Xeon Platinum 8360Y ×2 + A100-SXM4-40GB ×8
OS RHEL 8.10 (ログインノード)
ホストコンパイラ GCC 8.3.1 (gcc/8.3.1)
MPI Open MPI 4.1.1 (ompi/4.1.1, CUDA 非対応版)
CUDA / ROCm CUDA 12.2 (cuda/12.2)
AdaptiveCpp 24.10.0 (+cuda)
LLVM (clang) 18.1.8 (spack). 13.0.1 も併存
導入方法 (spack 環境) spack, aquarius
BLAS / LAPACK OpenBLAS 0.3.15 (OS)
--acpp-targets cuda:sm_80

 spack 環境に llvm@13.0.1 と llvm@18.1.8 が併存するので, spack location -i llvm@18 のように版を明示する. CUDA 対応の Open MPI は別に ompi-cuda/4.1.5-12.2 がある.

 Aquarius の計算ノードは Intel Xeon Platinum 8360Y (36 コア ×2) + NVIDIA A100-SXM4-40GB ×8 である. spack 環境 (試験では aquarius) に AdaptiveCpp (CUDA バックエンド付き) と LLVM 18.1.8 を導入し, CUDA は 12.2 を用いた. ホストコンパイラは OS 付属の GCC 8.3.1 である. OpenMPI はサイトの ompi モジュール (試験時の既定は CUDA 非対応版の 4.1.1) を使い, spack 側の hwloc を LD_LIBRARY_PATH に加える.

インストール (最初に 1 回)

 試験で用いた spack 環境の定義はllvm@18 %gccとhipsycl+cuda %clang@18の 2 つであり, OS 付属の GCC 8.3.1 で LLVM 18.1.8 をビルドし, その clang で CUDA バックエンド付きの AdaptiveCpp 24.10.0 をビルドした. CUDA はcudaモジュールのサイトの CUDA 12.2 を spack の外部パッケージとして使い, OS の cmake・perl・python などのツールも外部パッケージとして登録した. 次の手順で同じものを作れる (spack は 1.1.0.dev0 を用いた).

. /etc/profile.d/modules.sh
module purge
module load aquarius
module load cuda
export SPACK_ROOT=<spack のインストール先>
# (任意) spack の利用者設定とキャッシュをホーム以外に置く場合
export SPACK_USER_CONFIG_PATH=<spack の利用者設定の置き場所>
export SPACK_USER_CACHE_PATH=<spack のキャッシュの置き場所>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env create <spack 環境名>      # 初回のみ
spack env activate <spack 環境名>
spack compiler find                  # OS の GCC 8.3.1 などを登録する
spack external find                  # OS のツール群と cuda モジュールの CUDA 12.2 を外部パッケージとして登録する
spack install --add llvm@18 %gcc
spack install --add hipsycl+cuda %clang@18

使用時の設定

. /etc/profile.d/modules.sh
module purge
module load aquarius
module load cuda
module load ompi
export SPACK_ROOT=<spack のインストール先>
# (任意) spack の利用者設定とキャッシュをホーム以外に置く場合
export SPACK_USER_CONFIG_PATH=<spack の利用者設定の置き場所>
export SPACK_USER_CACHE_PATH=<spack のキャッシュの置き場所>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env activate <spack 環境名>
export cuda_root=/work/opt/local/x86_64/cores/cuda/12.2
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm@18`
export hwloc_root=`spack location -i hwloc`
export ACPP_CUDA_PATH=$cuda_root
export LD_LIBRARY_PATH=$hwloc_root/lib:$sycl_root/lib/:$llvm_root/lib/:$cuda_root/lib64:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp

 LD_LIBRARY_PATHの先頭に spack の hwloc ($hwloc_root/lib) を置くのは, ライブラリの版の食い違いを避けるためである. サイトの Open MPI 4.1.1 は古い hwloc を使うので, それが先に読み込まれると, 新しい hwloc に合わせてビルドされた LLVM の OpenMP ランタイム (libomp.so) が読み込みに失敗し, AdaptiveCpp の CPU のバックエンドが使えなくなる (GPU 向けのビルドでも MPI ありの実行が止まる). spack の hwloc を先に探させると, 両者とも新しい hwloc を使う. spack のレシピ parcel-sycl も, spack loadのときに同じ設定を行う (インストールの「spack によるインストール」).

 Aquarius の OpenMPI 4.1 では, 同時に始まったジョブの mpirun が /tmp のセッションディレクトリを奪い合って起動に失敗することがある. 実行ジョブでは, mpirun の前にセッションディレクトリをジョブごとに分ける.

PARCEL_SESS=/tmp/parcel_${PJM_JOBID:-$$}
mkdir -p ${PARCEL_SESS}
export OMPI_MCA_orte_tmpdir_base=${PARCEL_SESS}
export OMPI_MCA_btl_vader_backing_directory=${PARCEL_SESS}
trap 'rm -rf ${PARCEL_SESS}' EXIT

3.4 Miyabi-C (Xeon Max)

項目 値
装置 (CPU / GPU) Xeon CPU Max 9480 ×2
OS RHEL 9.8 (x86_64)
ホストコンパイラ GCC 11.4.1 (gcc/11.4.1)
MPI Open MPI 4.1.6 (ompi/4.1.6)
CUDA / ROCm —
AdaptiveCpp 24.10.0 (~cuda. oneAPI 2023.2.0 でビルド)
LLVM (clang) 17.0.6 (OS 付属 /usr/bin/clang++)
導入方法 (spack 環境) spack, miyc
BLAS / LAPACK OpenBLAS 0.3.21 (OS)
--acpp-targets omp

 Miyabi-C の計算ノードは Intel Xeon CPU Max 9480 (56 コア ×2, HBM2e) である. サイトの gcc / ompi モジュールの上に, spack 環境 (試験では miyc) として AdaptiveCpp を導入した. AdaptiveCpp 本体は oneAPI 2023.2.0 でビルドし, カーネルのコンパイルには OS (RHEL9) 付属の clang 17.0.6 (/usr/bin/clang++. spack には external として登録) を使う. spack の LLVM は使わず, OpenMP ランタイムも OS 付属の libomp 17.0.6 が使われるので, LLVM を LD_LIBRARY_PATH に加える必要はない.

インストール (最初に 1 回)

 試験で用いた spack 環境の定義はhipsycl %oneapiの 1 つであり, サイトの Intel oneAPI 2023.2.0 で AdaptiveCpp 24.10.0 (CUDA なし) をビルドした. oneAPI のコンパイラ, OS の clang 17.0.6 (/usr/bin/clang, /usr/bin/clang++) と Open MPI は, spack 環境の定義 (spack.yaml) に外部パッケージとして次のように書く. 次の手順で同じものを作れる (spack は 1.1.0.dev0 を用いた). ログインノードで実行してよい.

  packages:
    intel-oneapi-compilers:
      externals:
      - spec: intel-oneapi-compilers@2023.2.0
        prefix: /work/opt/local/x86_64/cores/intel/2023.2.0
    llvm:
      externals:
      - spec: llvm@17.0.6+clang~flang+lld~lldb
        prefix: /usr
    openmpi:
      externals:
      - spec: openmpi@4.1.6~cuda fabrics=ucx schedulers=slurm
        prefix: /work/opt/local/x86_64/apps/gcc/11.4.1/ompi/4.1.6
      buildable: false
    hipsycl:
      require: '%oneapi'
. /etc/profile.d/modules.sh
module purge
module load gcc
module load ompi
export SPACK_ROOT=<spack のインストール先>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env create <spack 環境名>      # 初回のみ. 上の packages を spack.yaml に書き加える
spack env activate <spack 環境名>
spack compiler find                  # OS の GCC 11.4.1 などを登録する
spack install --add hipsycl %oneapi

使用時の設定

. /etc/profile.d/modules.sh
module purge
module load gcc
module load ompi
export SPACK_ROOT=<spack のインストール先>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env activate <spack 環境名>
spack load hipsycl
export sycl_root=`spack location -i hipsycl`
export LD_LIBRARY_PATH=$sycl_root/lib/:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp

3.5 Miyabi-G (GH200)

項目 値
装置 (CPU / GPU) GH200 (Grace 72 コア + H100 96GB)
OS RHEL 9.8 (aarch64)
ホストコンパイラ GCC 11.4.1 (gcc/11.4.1)
MPI Open MPI 4.1.6 CUDA 対応版 (ompi-cuda/4.1.6-12.6)
CUDA / ROCm CUDA 12.6 (cuda/12.6)
AdaptiveCpp 24.10.0 (+cuda)
LLVM (clang) 18.1.8 (spack, GCC 11.4.1 でビルド)
導入方法 (spack 環境) spack, miyg
BLAS / LAPACK OpenBLAS 0.3.21 (OS)
--acpp-targets cuda:sm_90

 Miyabi-G の計算ノードは NVIDIA GH200 (Grace 72 コア + H100 96GB) を 1 ノードに 1 基持つ. CPU は Arm (Neoverse V2) である. サイトの gcc / cuda / ompi-cuda モジュール (試験時の既定は cuda/12.6, ompi-cuda/4.1.6-12.6) の上に, spack 環境 (試験では miyg) として AdaptiveCpp (CUDA バックエンド付き) と LLVM 18.1.8 を導入した. AdaptiveCpp が使う CUDA は ACPP_CUDA_PATH で 12.6 を明示している.

インストール (最初に 1 回)

 試験で用いた spack 環境の定義はllvm@18とhipsycl+cuda %clang@18の 2 つであり, サイトの GCC 11.4.1 で LLVM 18.1.8 をビルドし, その clang で CUDA バックエンド付きの AdaptiveCpp 24.10.0 をビルドした. CUDA と CUDA 対応の Open MPI はサイトのものを外部パッケージとして使う (spack.yaml に次のように書く). 次の手順で同じものを作れる (spack は 1.1.0.dev0 を用いた). ログインノード (Grace, aarch64) で実行してよく, LLVM のビルドに数時間かかる.

  packages:
    cuda:
      externals:
      - spec: cuda@12.6.85
        prefix: /work/opt/local/aarch64/cores/cuda/12.6
    openmpi:
      externals:
      - spec: openmpi@4.1.6+cuda fabrics=ucx schedulers=slurm
        prefix: /work/opt/local/aarch64/apps/gcc/11.4.1/openmpi-cuda/4.1.6-12.6
      buildable: false
. /etc/profile.d/modules.sh
module purge
module load gcc
module load cuda
module load ompi-cuda
export SPACK_ROOT=<spack のインストール先>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env create <spack 環境名>      # 初回のみ. 上の packages を spack.yaml に書き加える
spack env activate <spack 環境名>
spack compiler find                  # サイトの GCC 11.4.1 などを登録する
spack external find                  # OS のツール群を外部パッケージとして登録する
spack install --add llvm@18
spack install --add hipsycl+cuda %clang@18

使用時の設定

. /etc/profile.d/modules.sh
module purge
module load gcc
module load cuda
module load ompi-cuda
export SPACK_ROOT=<spack のインストール先>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env activate <spack 環境名>
spack load hipsycl
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm`
export cuda_root=/work/opt/local/aarch64/cores/cuda/12.6
export ACPP_CUDA_PATH=$cuda_root
export LD_LIBRARY_PATH=$sycl_root/lib/:$llvm_root/lib/:$cuda_root/lib64:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp

3.6 PS-A (Plasma Simulator サブシステム A)

項目 値
装置 (CPU / GPU) Xeon 6980P ×2
OS RHEL 9.6 (x86_64)
ホストコンパイラ Intel oneAPI DPC++/C++ 2026.1.0 (intel/2026.1). OS の GCC 11.5.0
MPI Intel MPI 2021.18.1 (intel / intelmpi)
CUDA / ROCm —
AdaptiveCpp 24.10.0 (~cuda~rocm)
LLVM (clang) 18.1.8 (spack, GCC 11.5.0 でビルド)
導入方法 (spack 環境) spack, sysa (~/spack)
BLAS / LAPACK OpenBLAS 0.3.26 (OS の OpenMP 版 libopenblaso) + nvhpc 25.3 の lapacke.h
--acpp-targets omp

 PS-A の計算ノードは Intel Xeon 6980P (128 コア ×2) である. MPI は Intel MPI を用いる. サイトの intel / intelmpi モジュールの上に, spack 環境 (試験では sysa) として AdaptiveCpp と LLVM 18 系を導入した.

インストール (最初に 1 回)

 試験で用いた spack 環境には LLVM 18.1.8 と AdaptiveCpp 24.10.0 (CUDA・ROCm なし) を入れ, いずれも OS 付属の GCC 11.5.0 でビルドした. 次の手順で同じものを作れる (spack は 1.1.0.dev0 を用いた).

. /etc/profile.d/modules.sh
module purge
module load intel
module load intelmpi
. <spack のインストール先>/share/spack/setup-env.sh
spack env create <spack 環境名>      # 初回のみ
spack env activate <spack 環境名>
spack compiler find                  # OS の GCC 11.5.0 と oneAPI のコンパイラなどを登録する
spack external find                  # OS のツール群を外部パッケージとして登録する
spack install --add llvm@18 %gcc
spack install --add hipsycl %gcc

使用時の設定

. /etc/profile.d/modules.sh
module purge
module load intel
module load intelmpi
. <spack のインストール先>/share/spack/setup-env.sh
spack env activate <spack 環境名>
spack load hipsycl
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm`
export LD_LIBRARY_PATH=$sycl_root/lib/:$llvm_root/lib/:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp
export I_MPI_CXX=acpp
export OPENBLAS_NUM_THREADS=1

3.7 PS-B (Plasma Simulator サブシステム B)

項目 値
装置 (CPU / GPU) MI300A ×4
OS RHEL 9.6 (x86_64)
ホストコンパイラ GCC 11.5.0 (OS)
MPI Open MPI 5.0.7 (openmpi/5.0.7/rocm6.3.3)
CUDA / ROCm ROCm 6.3.3 (rocm/6.3.3, /opt/rocm-6.3.3)
AdaptiveCpp 24.10.0 (+rocm, amdgpu_target=gfx942)
LLVM (clang) 18.1.8 (spack, GCC 11.5.0 でビルド. PS-A と共用)
導入方法 (spack 環境) spack, sysb (~/spack)
BLAS / LAPACK OpenBLAS 0.3.26 (OS の OpenMP 版 libopenblaso) + nvhpc 25.3 の lapacke.h
--acpp-targets hip:gfx942

 PS-B の計算ノードは AMD Instinct MI300A (APU, 24 コア + GPU) を 1 ノードに 4 基持つ. AdaptiveCpp は HIP バックエンドで使い, ターゲットは hip:gfx942 である. ROCm 6.3.3 対応の OpenMPI モジュールの上に, spack 環境 (試験では sysb) として AdaptiveCpp を導入した.

インストール (最初に 1 回)

 試験で用いた spack 環境には, PS-A と共有する LLVM 18.1.8 と, HIP バックエンド付きの AdaptiveCpp 24.10.0 (+rocm amdgpu_target=gfx942) を入れた. いずれも OS 付属の GCC 11.5.0 でビルドし, ROCm 6.3.3 (/opt/rocm-6.3.3) の hip・hsa-rocr-dev・comgr・llvm-amdgpu を外部パッケージとして使う. ログインノードには複数の版の ROCm があるので, 版を明示する. 次の手順で同じものを作れる (spack は 1.1.0.dev0 を用いた). LLVM は PS-A と同じものを使う.

. /etc/profile.d/modules.sh
module purge
module load openmpi/5.0.7/rocm6.3.3    # rocm/6.3.3 も読み込まれる
. <spack のインストール先>/share/spack/setup-env.sh
spack env create <spack 環境名>      # 初回のみ
spack env activate <spack 環境名>
spack compiler find                  # OS の GCC 11.5.0 などを登録する
spack external find                  # OS のツール群を外部パッケージとして登録する
spack external find hip hsa-rocr-dev comgr llvm-amdgpu   # ROCm 6.3.3 を外部パッケージとして登録する
spack install --add llvm@18.1.8+clang~cuda+lld+lldb~python
spack install --add hipsycl@24.10.0~cuda+rocm amdgpu_target=gfx942 ^hip@6.3.3 ^llvm@18.1.8 ^llvm-amdgpu@6.3.3

使用時の設定

. /etc/profile.d/modules.sh
module purge
module load openmpi/5.0.7/rocm6.3.3
. <spack のインストール先>/share/spack/setup-env.sh
spack env activate <spack 環境名>
spack load hipsycl
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm`
export LD_LIBRARY_PATH=$sycl_root/lib/:$llvm_root/lib/:${LD_LIBRARY_PATH}
export KMP_STACKSIZE=1G
export MPICXX_CXX=acpp
export OMPI_CXX=acpp
export OPENBLAS_NUM_THREADS=1

3.8 macOS (Homebrew)

項目 値
装置 (CPU / GPU) Apple M4 (10 コア: 高性能 4, 高効率 6), メモリ 32 GB
OS macOS 15 (arm64)
ホストコンパイラ Apple clang 17 (Xcode Command Line Tools)
MPI Open MPI 5.0 (Homebrew open-mpi)
CUDA / ROCm —
AdaptiveCpp 25.10 (Homebrew adaptivecpp. LLVM を組み込まない構成)
LLVM (clang) — (ホストの Apple clang を使う)
導入方法 Homebrew (ビルド済みのバイナリ)
BLAS / LAPACK OpenBLAS (Homebrew openblas)
Fortran gfortran (Homebrew gcc)
Python Homebrew の Python 3.14 と NumPy・SciPy
--acpp-targets omp.library-only

 macOS では spack を使わず, Homebrew で必要なものをすべてビルド済みのバイナリとして入れる. Homebrew の AdaptiveCpp は LLVM を組み込まない構成で, カーネルを含むコード全体をホストの C++ コンパイラ (Apple clang) がコンパイルする. このため Odyssey と同じく --acpp-targets=omp.library-only を用い (ompと書いても同じコンパイルになる), 他の CPU と同じく縮約をブロック化 (-D_BLOCKING_LOOP_DOT_=1. 「最適化」の章の「ブロック化」) する. 1 行を 1 work item が受け持つ既定の形のままでは, 内積などが極端に遅くなる. GPU (Apple の GPU) は使えない.

インストール (最初に 1 回)

 Xcode Command Line Tools (xcode-select --install) と Homebrew を入れておく. Homebrew の既定の入れ先 (/opt/homebrew) を使うと, 次のパッケージはビルド済みのバイナリで数分で入る. 別の場所に入れた Homebrew では, AdaptiveCpp・GCC・Open MPI・Python がソースからのビルドになり, 長い時間がかかる.

brew install adaptivecpp open-mpi openblas gcc numpy scipy

使用時の設定

 Homebrew のbinをPATHに置き, MPI のラッパがacppを呼ぶようにする. 配布パッケージの python/envs/mac_brew.sh を読み込むと, この設定に加えて, OpenBLAS の場所, Fortran の実行時ライブラリの場所, Python のパッケージと examples/build_examples.sh が使うビルドの設定 (omp.library-only, -D_BLOCKING_LOOP_DOT_=1) が環境変数に設定される. 既定は MPI なしで, PARCEL_MPI=1 を与えてから読み込むと MPI ありの設定になる.

eval "$(/opt/homebrew/bin/brew shellenv)"
export OMPI_CXX=acpp
# Python と examples のビルドの設定もまとめて与える場合は, 代わりに次を読み込む
#   (Homebrew の場所が /opt/homebrew でなければ PARCEL_BREW に与える. MPI ありは PARCEL_MPI=1)
# export PARCEL_MPI=0
# . python/envs/mac_brew.sh

 macOS の Open MPI 5 はプロセスをコアに固定できない (--bind-to coreは「binding not supported」で止まる) ので, mpirun -n 4 --bind-to noneのように起動する. GNU coreutils のtimeoutコマンドは無い. 動作は上の表の 1 環境 (CPU) で, C++・C言語・Fortran・Python のサンプル (クイックスタート) と回帰試験 (MPI あり・なし) で確かめた. 回帰試験をこの環境で流す設定の例は配布パッケージのtests/site_config.pyのmacである.

3.9 一般的な Linux (RHEL 系・Ubuntu 系)

 本書の試験環境以外の Linux の計算機に AdaptiveCpp を入れる手順を示す. 方法は次の 2 通りである.

 以下の手順は, 試験環境の手順 (各環境の「インストール (最初に 1 回)」) を一般化したものである. Ubuntu 24.04 と Rocky Linux 9.8 (RHEL 9 互換) で, この節の手順と雛形genericによる方法の両方を試した (いずれも WSL2, x86_64, NVIDIA RTX A6000. CPU と GPU, MPI なしとあり). パッケージ名はこの 2 つで確かめたものであり, OS の版によって異なりうる.

3.9.1 前もって用意するもの

もの RHEL 系の例 Ubuntu 系の例 備考
C・C++・Fortran のコンパイラ dnf install gcc gcc-c++ gcc-gfortran apt install build-essential gfortran LLVM 18 をビルドする. 試験では GCC 8.3.1〜13.3.0 を用いた
spack が使うツール dnf install git python3 make patch bzip2 xz unzip libcurl-devel zlib-devel perl apt install git python3 make patch bzip2 xz-utils unzip libcurl4-openssl-dev spack external findは OS の curl, zlib, perl などを登録し, spack はそれらを使って cmake などを作る. そのため curl と zlib の開発用ファイルと, モジュールを含む perl (RHEL 系の最小構成ではインタプリタだけのことがある) が要る
MPI (MPI ありで使う場合) 計算機の MPI (Open MPI など). OS のパッケージならdnf install openmpi-develで入れ, module load mpi/openmpi-x86_64で読む 計算機の MPI. OS のパッケージならapt install openmpi-bin libopenmpi-dev 計算機のネットワークと結び付くので, 計算機に入っているものを使う
CUDA (NVIDIA の GPU を使う場合) 計算機の CUDA. OS に入れるなら NVIDIA のdnfリポジトリ (RHEL 9 系はrhel9) のcuda-toolkit-12-6など (WSL2 も同じリポジトリ) 計算機の CUDA. OS に入れるなら NVIDIA のaptリポジトリのcuda-toolkit-12-6など (WSL2 は WSL 用のリポジトリ) ドライバが対応する版以下 (「GPU で動かす」)
LAPACKE 「LAPACKE の入れ方」 同左 spack の OpenBLAS を使ってもよい

 RHEL 9 系では, OpenBLAS の開発用パッケージ (openblas-devel) が標準では無効のリポジトリ CRB にある. 次のように有効にしてから入れる (CRB は Rocky Linux・AlmaLinux での名前. RHEL 本体では CodeReady Linux Builder のリポジトリにあたり, dnf config-managerではなくsubscription-managerで有効にする. リポジトリ名は Red Hat の文書の例による). EPEL は要らない. NVIDIA の CUDA のリポジトリの登録にもdnf config-managerを使う.

dnf install dnf-plugins-core                      # dnf config-manager を使えるようにする
dnf config-manager --set-enabled crb              # CRB を有効にする (Rocky Linux・AlmaLinux)
# subscription-manager repos --enable codeready-builder-for-rhel-9-$(arch)-rpms   # RHEL 本体の場合 (上の行の代わり)
dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel9/x86_64/cuda-rhel9.repo   # CUDA を OS に入れる場合

 組織のプロキシの下では, http_proxy・https_proxy (とno_proxy) を設定する (spack, git, curl, apt が使う. dnf は/etc/dnf/dnf.confにproxy=<URL>と書く). TLS を検査するプロキシでは, プロキシの証明書 (組織の CA) を OS に登録する. Ubuntu 系では CA の証明書 (PEM 形式) を/usr/local/share/ca-certificates/<名前>.crtに置いてupdate-ca-certificatesを, RHEL 系では/etc/pki/ca-trust/source/anchors/に置いてupdate-ca-trustを実行する.

3.9.2 spack の取得と登録

 spack は 1.x を対象とする (install_stack.shで用いる版はその先頭に固定してある. この節の手順は, 取得した時点の開発版 1.3.0.dev0 で確かめた). spack の取得, 環境の作成, コンパイラと OS のツールの登録を行う.

git clone -c feature.manyFiles=true https://github.com/spack/spack.git <spack のインストール先>
export SPACK_ROOT=<spack のインストール先>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env create <spack 環境名>      # 初回のみ
spack env activate <spack 環境名>
spack compiler find                  # PATH にある GCC などを登録する
spack external find                  # cmake, perl, python などの OS のツールを外部パッケージとして登録する

 spack external find で登録した OS のツールは spack がビルドせずに使うので, インストールの時間が短くなる.

3.9.3 MPI と CUDA を登録する

 MPI と CUDA は計算機に入っているものを使い, spack では作らない. spack external find openmpi cuda で見つかることもあるが, モジュールで入れている計算機では見つからないことがあるので, spack 環境の定義 (spack.yaml. spack config edit で開く) に直接書く. 版と場所は自分の計算機に合わせる.

spack:
  packages:
    mpi:
      require: [openmpi]
    openmpi:
      buildable: false
      externals:
      - spec: openmpi@4.1.6~cuda
        prefix: /path/to/openmpi/4.1.6     # bin/mpicc がある場所の 1 つ上
    cuda:
      buildable: false
      externals:
      - spec: cuda@12.6.20
        prefix: /path/to/cuda/12.6
O=$HOME/openmpi-rhel                              # 置き場所は任意. OS のファイルは変えない
mkdir -p $O
ln -s /usr/lib64/openmpi/bin $O/bin
ln -s /usr/lib64/openmpi/lib $O/lib
ln -s /usr/lib64/openmpi/share $O/share
ln -s /usr/include/openmpi-x86_64 $O/include

3.9.4 LLVM と AdaptiveCpp のインストール

 OS の GCC で LLVM 18 をビルドし, その clang で AdaptiveCpp (spack のパッケージ名 hipsycl) をビルドする. GPU を使う場合は バックエンドをバリアントで指定する.

spack install --add llvm@18 %gcc
spack install --add hipsycl %clang@18                              # CPU だけ
# spack install --add hipsycl+cuda %clang@18                       # NVIDIA の GPU も使う場合 (上の代わり)
# spack install --add hipsycl+rocm amdgpu_target=gfx942 %clang@18  # AMD の GPU (MI300A の例) も使う場合

 LLVM のビルドは長い時間と多くのメモリを使う. 同時に動かすコンパイルの数はspack install -j <数>で決める. メモリが足りずに止まった場合は数を下げて同じコマンドを流し直す (入ったものは使い回す. Odyssey での例は「Odyssey」の節).

3.9.5 使用時の設定

export SPACK_ROOT=<spack のインストール先>
. $SPACK_ROOT/share/spack/setup-env.sh
spack env activate <spack 環境名>
export sycl_root=`spack location -i hipsycl`
export llvm_root=`spack location -i llvm@18`
export LD_LIBRARY_PATH=$sycl_root/lib:$llvm_root/lib:${LD_LIBRARY_PATH}
export ACPP_CUDA_PATH=<CUDA の場所>       # NVIDIA の GPU を使う場合
export OMPI_CXX=acpp MPICXX_CXX=acpp        # MPI のラッパ (Open MPI) に acpp を呼ばせる

 入ったことは, クイックスタートの C++ のプログラムをビルドして実行して確かめる. GPU では, 使われたデバイスの名前も確かめる (「GPU で動かす」).

3.9.6 Windows の WSL2

 Windows の WSL2 の Linux (Ubuntu, Rocky Linux) でも, この節の手順とinstall_stack.shで, CPU と NVIDIA の GPU を使える (Ubuntu 24.04 と Rocky Linux 9 で, RTX A6000 2 台を使って確かめた). Linux の計算機と違う点を示す.

3.10 LAPACKE の入れ方

 PARCEL の固有値ソルバ ks_arnoldi は LAPACKE (LAPACK の C 言語の呼び出し口) を使う. 既定では全ソルバがビルドに入るので, 線形ソルバだけを使う場合もヘッダ lapacke.h とライブラリが要る (-DPARCEL_ENABLE_KS_ARNOLDI=0 で外せば不要. 「ビルドするソルバの取捨」). 入れ方の例を示す. パッケージ名は OS の版や追加のリポジトリ (RHEL 系の CRB など) によって異なりうる. RHEL 系の行は Rocky Linux 9, Ubuntu 系の行は Ubuntu 24.04 で確かめた.

OS など 入れ方の例
RHEL 系 dnf install openblas-devel (CRB を有効にしてから. 「前もって用意するもの」)
Ubuntu 系 apt install libopenblas-dev liblapacke-dev
macOS brew install openblas (「macOS (Homebrew)」)
spack spack install openblas (OpenBLAS は LAPACKE を含む)
富士通の環境 (Odyssey) 入れる必要はない. 実装は富士通 LAPACK (-lfjlapack. 富士通の言語環境に含まれる) を使い, ヘッダは OS の OpenBLAS のlapacke.hを借りる (下を参照)

 入れたヘッダとライブラリの場所は次のように調べる.

find / -name lapacke.h 2>/dev/null               # ヘッダを探す
rpm -ql openblas-devel | grep -E 'lapacke.h|\.so$'   # RHEL 系: パッケージが入れたファイル
dpkg -L liblapacke-dev | grep -E 'lapacke.h|\.so$'   # Ubuntu 系: パッケージが入れたファイル
ldconfig -p | grep -E 'liblapacke|libopenblas'        # Ubuntu 系: OpenBLAS の .so は別のパッケージにあるので, 読める場所から探す
ls $(spack location -i openblas)/include $(spack location -i openblas)/lib   # spack