1. TSUBAME4.0概要¶

1.1. システム概念¶

本システムは、東京工業大学における種々の研究・開発部門から利用可能な共有計算機です。本システムの倍精度総理論演算性能は66.8PFLOPS、半精度総理論演算性能は952PFLOPS、総主記憶容量は180TiB、総SSD容量は327TB、総ハードディスク容量は44.2PBです。各計算ノード及びストレージシステムは InfiniBand による高速ネットワークに接続され、SINET6を経由し100Gbpsの速度で東工大すずかけ台キャンパスから直接インターネットに接続されます。

TSUBAME4.0の全体概念を以下に示します。

TSUBAME4 Concept

TSUBAME4 Image

1.2. 計算ノードの構成¶

本システムの計算ノードはHPE Cray XD665 240ノードで構成された大規模クラスタシステムです。 1台の計算ノードには、AMD EPYC 9654 (96コア, 2.4GHz) を2基搭載し、総コア数は23,040コアとなります。また、主記憶容量は計算ノードあたり768GiBを搭載し、総主記憶容量は、180TiBとなります。各計算ノードは、InfiniBand NDR200 インタフェースを4ポート有しており、InfiniBand スイッチによりファットツリーで接続されます。

TSUBAME4 Block Diagram

TSUBAME4.0は240台の HPE Cray XD665 計算ノードからなり、各計算ノードの基本スペックは次の通りです。

構成要素	製品・性能
CPU	AMD EPYC 9654 2.4GHz × 2 Socket
コア数/スレッド数	96コア / 192スレッド × 2 Socket
メモリ	768GiB (DDR5-4800)
GPU	NVIDIA H100 SXM5 94GB HBM2e × 4
SSD	1.92TB NVMe U.2 SSD
インターコネクト	InfiniBand NDR200 200Gbps × 4

1.3. ソフトウェア構成¶

本システムのオペレーティングシステム(OS)は、下記の環境を有しています。

RedHat Enterprise Linux Server 9.3

OS構成は、サービス実行形態に応じて動的に変更されます。

また、本システムで利用可能なアプリケーションソフトウェアに関しては、商用アプリケーション、フリーウェアを参照ください。

1.4. ストレージ構成¶

本システムでは、様々なシミュレーション結果を保存するための高速・大容量のストレージを備えています。計算ノードでは、高速ストレージ領域、大容量ストレージ領域、Homeディレクトリ、および共通アプリケーション配備は、Lustre ファイルシステムによりファイル共有されています。また、各計算ノードにローカルスクラッチ領域として1.92TBのNVMe SSDが搭載されています。

本システムで利用可能な、各ファイルシステムの一覧を以下に示します。

用途	マウント	容量	ファイルシステム
高速ストレージ領域 Homeディレクトリ	/gs/fs /home	372TB	Lustre
大容量ストレージ領域共有アプリケーション配備	/gs/bs /apps	44.2PB	Lustre
ローカルスクラッチ領域	/local	各ノード1.92TB	xfs（SSD)

ローカルスクラッチ領域の容量については、利用可能な資源タイプをご覧下さい。