高度計算機技術開発室

高度計算機技術開発室では原子力計算科学を支える計算機科学および計算科学に係る研究開発を推進しています。

研究トピックス

2023年

2023.12.01: "任期付技術員の公募を開始しました。"
2023.11.09: 2次元等方乱流のアンサンブルデータ同化実験に関する成果がFluid Dynamics Research誌に掲載されました。
2023.09.15: 大規模シミュレーションのIn-Situ可視化とパラメータステアリングに関する成果がJournal of Visualizationに掲載されました。
2023.06.01: 杉原研究員が第28回計算工学講演会で発表した気泡流解析結果に関する成果が「グラフィックスアワード特別賞」を受賞しました。
2023.03.29: 粒子ベースのVR遠隔可視化ソフトウェアVR-PBVRを公開しました。
2023.03.03: 国際会議HPC ASIA 2023で発表した低精度データを利用したクリロフ部分空間法の前処理に関する成果がACM Digital Libraryで公開されました。
2023.02.28: 粒子ベース可視化技術を利用したVR遠隔可視化ソフトウェアに関する成果がJournal of Advanced Simulation in Science and Engineeringに掲載されました。
2023.01.31: GPU版拡張を含む行列計算ライブラリPARCEL v1.2を公開しました。
2023.01.30: 国際会議ScalAH22で発表したアンサンブルデータ同化のGPU最適化に関する成果がIEEE Xploreに掲載されました。
2023.01.30: 国際会議P3HPC2022で発表したC++ parallel algorithmによる性能可搬性評価に関する成果がIEEE Xploreに掲載されました。
2023.01.11: 2次元アンサンブルデータコード: LBM2D-LETKF v2.4.4を公開しました。
2023.01.04: 機械学習による都市区画汚染物質濃度予測モデルに関する成果がBoundary-Layer Meteorology誌に掲載されました。

過去の研究トピックスは"こちら"

メンバー

井戸村泰宏: 副センター長/室長, research map, google scholar
小野寺直幸: 研究副主幹, research map
河村拓馬: 研究副主幹, research map, 遠隔可視化ソフトウェア, In-Situ可視化フレームワーク
長谷川雄太: 研究員, research map
杉原健太: 研究員, research map
Yos Sitompul: 研究員, research map, google scholar
伊奈拓也: 主査, research map
真弓明恵: 技術員, research map
下村和也: 技術員, research map

研究テーマ

高性能計算技術

エクサスケール計算で必要とされるアクセラレータ利用技術、並列処理技術等の高性能計算技術を開発しています。

(行列計算ライブラリPARCEL: https://ccse.jaea.go.jp/software/PARCEL/ )

HPE SGI8600における32CPU/GPUを用いたPARCEL、PETSc、AmgXの前処理付共役勾配法ソルバによる３次元ポアソン方程式（768x768x768）の処理性能。各ソルバで異なる前処理（Jacobi前処理、Block Jacobi前処理、細分化Block Jacobi前処理、Neumann展開前処理）および異なるデータ型（CRS、DDM）を比較した。

	PETSc CPU CRS Block Jacobi all-MPI	PARCEL CPU CRS Block Jacobi MPI+OpenMP	PARCEL CPU DDM Fine Block MPI+OpenMP	AmgX GPU CRS Jacobi MPI+CUDA	PARCEL GPU CRS Neumann MPI+CUDA	PARCEL GPU DDM Neumann MPI+CUDA
Elapse Time [s]	137.03	125.45	83.03	9.45	11.88	7.89
Memory [GB]	379	158	126	167	269	151

(省通信マルチグリッド前処理付CG法による1000億格子規模のポアソンソルバ処理)

・T.Ina, Y.Idomura, T.Imamura, N.Onodera,"A new data conversion method for mixed precision Krylov solvers with FP16/BF16 Jacobi preconditioners", HPC Asia '23: Proceedings of the International Conference on High Performance Computing in Asia-Pacific Region,2023,pp. 29-34,doi:/10.1145/3578178.3578222.

・T. Ina, Y. Idomura, T. Imamura, S. Yamashita and N. Onodera, "Iterative methods with mixed-precision preconditioning for ill-conditioned linear systems in multiphase CFD simulations," 2021 12th Workshop on Latest Advances in Scalable Algorithms for Large-Scale Systems (ScalA), 2021, pp. 1-8, doi: 10.1109/ScalA54577.2021.00006.

・Y. Idomura, T. Ina, Y. Ali and T. Imamura, "Acceleration of Fusion Plasma Turbulence Simulations using the Mixed-Precision Communication-Avoiding Krylov Method," SC20: International Conference for High Performance Computing, Networking, Storage and Analysis, 2020, pp. 1-13, doi: 10.1109/SC41405.2020.00097.

・Y. Ali, N. Onodera, Y. Idomura, T. Ina and T. Imamura, "GPU Acceleration of Communication Avoiding Chebyshev Basis Conjugate Gradient Solver for Multiphase CFD Simulations," 2019 IEEE/ACM 10th Workshop on Latest Advances in Scalable Algorithms for Large-Scale Systems (ScalA), 2019, pp. 1-8, doi: 10.1109/ScalA49573.2019.00006.

・Y. Idomura, T. Ina, S. Yamashita, N. Onodera, S. Yamada and T. Imamura, "Communication Avoiding Multigrid Preconditioned Conjugate Gradient Method for Extreme Scale Multiphase CFD Simulations," 2018 IEEE/ACM 9th Workshop on Latest Advances in Scalable Algorithms for Large-Scale Systems (scalA), 2018, pp. 17-24, doi: 10.1109/ScalA.2018.00006.

流体計算技術

緊急時の汚染物質拡散予測やスマートシティの設計・運用に必要となるリアルタイム風況・汚染物質拡散解析に向けてGPUを用いたエクサスケール流体計算技術を開発しています。

・東京都心部に対する風況解析（動画：https://youtu.be/VD-FMbNvzhs ）

・GPUスーパーコンピュータでの弱スケーリング性能

・米国オクラホマシティの野外拡散実験解析：汚染物質の可視化（動画：https://youtu.be/dCJnx30ky6s）および各観測点濃度の実験値との比較

・N. Onodera, Y. Idomura, Y. Hasegawa et al., “Real-time tracer dispersion simulation in Oklahoma City using locally mesh-refined lattice Boltzmann mthod”, Boundary-Layer Meteorology, 179, 2021, pp. 187-208, doi: 10.1007/s10546-020-00594-x.

・N. Onodera, Y. Idomura, et al., “Communication Reduced Multi-time-step Algorithm for Real-Time Wind Simulation on GPU-based Supercomputers”, Proc of 2018 IEEE/ACM 9th Workshop in SlA, 2018, pp. 9-16, doi: 10.1109/ScalA.2018.00005.

データ同化技術

流体計算の予測精度向上に向けて、計算と現実の観測値を融合するデータ同化技術を開発しています。

(2次元等方乱流におけるデータ同化実験)

(データ同化手法（LETKF）のGPU実装における高速化：https://github.com/hasegawa-yuta-jaea/LBM2D-LETKF )

・Y. Hasegawa, T. Imamura, T. Ina, N. Onodera, Y. Asahi and Y. Idomura, "GPU Optimization of Lattice Boltzmann Method with Local Ensemble Transform Kalman Filter," 2022 IEEE/ACM Workshop on Latest Advances in Scalable Algorithms for Large-Scale Heterogeneous Systems (ScalAH), 2022, pp. 10-17, doi: 10.1109/ScalAH56622.2022.00007.

・Y. Hasegawa, N. Onodera, Y. Asahi, T. Ina, T. Imamura, and Y. Idomura, "Continuous data assimilation of large eddy simulation by lattice Boltzmann method and local ensemble transform Kalman filter (LBM-LETKF)", Fluid Dynamics Research, 2023, vol. 55, no. 6, p. 065501, doi:10.1088/1873-7005/ad06bd.

データ可視化技術

粒子ベースの可視化技術（PBVR）を活用して、エクサスケール計算に対応した大規模可視化技術の開発をしています。また、複雑なシミュレーションから得られる多変量データを効率よく可視化する技術を開発しています。

〇遠隔可視化ソフトウェアPBVR：https://ccse.jaea.go.jp/software/PBVR/index.html

遠隔地のストレージ上にある大規模データをクライアント・サーバ型で可視化するCS-PBVRを開発しています。粒子ベースの可視化技術により大規模データを小さな可視化用粒子データに圧縮（サーバ処理）して、ユーザPCに転送して可視化（クライアント処理）することで、対話的な可視化が可能です。

〇VR遠隔可視化ソフトウェアVR-PBVR

CS-PBVRを拡張し、遠隔地のストレージ上にある大規模データをヘッドマウントディスプレイでVR可視化するVR?PBVRを開発しています。

〇粒子ベースのIn-Situ可視化フレームワーク：https://ccse.jaea.go.jp/software/In-Situ_PBVR/

In-Situ可視化とはスーパーコンピュータ上のシミュレーションに可視化コードを結合することで、大規模シミュレーションのI/Oボトルネックを回避できる技術です。粒子ベースのIn-Situ可視化フレームワークIS-PBVRは可視化用粒子データをファイルベースで転送することで、バッチ処理実行時の対話的可視化が可能です。

〇代数式による多変数データ向け可視化

多変量データ向け可視化のために、複数の物理値を関連づける色・不透明度関数をユーザ入力の代数式によって設計する技術です。これによって多変量データに対する専門家のイメージを形にする可視化が可能です。

・Takuma Kawamura, Yuta Hasegawa, Yasuhiro Idomura, "Interactive Steering on In-Situ Particle-based Volume Rendering Framework", Journal of Visualization, 2023. doi: 10.1007/s12650-023-00945-z.

・Takuma Kawamura, Naohisa Sakamoto, Tsukasa Osaki, "VR Extension of Client Server Type Particle-based Volume Visualization Application", Journal of Advanced Simulation in Science and Engineering, Vol. 10, No. 1, pp. 31-39, 2023.

・Takuma Kawamura, Yasuhiro Idomura, "Improvement of Interactive Remote In-Situ Visualization using SIMD-aware Function Parser and Asynchronous Data I/O", Journal of Visualization, Vol. 23, pp. 695?706, 2020. doi: 10.1007/s12650-020-00652-z.

・Takuma Kawamura, Tomoyuki Noda, Yasuhiro Idomura, “Performance Evaluation of Runtime Data Exploration Framework based on In-Situ Particle Based Volume Rendering”, Supercomputing Frontierand Innovations, Vol. 4, No. 3, pp. 43-54, 2017. doi: 10.14529/jsfi170302.

・Takuma Kawamura, Yasuhiro Idomura, Hiroko Miyamura, Hiroshi Takemiya, "Algebraic design of multi-dimensional transfer function using transfer function synthesizer." Journal of Visualization, Vol. 20, pp. 151?162, 2017. doi:10.1007/s12650-016-0387-1.

機械学習技術

深層学習と数値流体計算の活用による、都市区画汚染物質濃度の即時予測モデルの開発を行っています。大量の数値流体シミュレーションから様々な風況場における都市区画における汚染物質濃度分布のデータセットを構築し、それを学習した機械学習モデルによって高速な都市区画汚染物質濃度予測を行います。

(数値流体シミュレーションによって計算された汚染物質濃度（左）と機械学習モデルによって予測された汚染物質濃度（右）: https://github.com/yasahi-hpc/CityTransformer )

・Y. Asahi, N. Onodera, Y. Hasegawa, T. Shimokawabe, H. Shiba and Y. Idomura, "CityTransformer: A Transformer-Based Model for Contaminant Dispersion Prediction in a Realistic Urban Area.", Boundary-Layer Meteorol (2023). doi: 10.1007/s10546-022-00777-8.

・Y. Asahi, S. Hatayama, T. Shimokawabe, N. Onodera, Y. Hasegawa and Y. Idomura, "AMR-Net: Convolutional Neural Networks for Multi-resolution Steady Flow Prediction," 2nd Workshop on Artificial Intelligence and Machine Learning for Scientific Applications (AI4S), 2021, pp. 686-691, doi: 10.1109/Cluster48925.2021.00102.

住所

国立研究開発法人　日本原子力研究開発機構　システム計算科学センター

〒277-0871　千葉県柏市若柴178-4-4