3. 各種環境¶
3.1. ストレージ¶
TSUBAME4.0 では、ホームディレクトリと2種類のグループディスク（高速ストレージ領域、大容量ストレージ領域）が利用できます。
ホームディレクトリと高速ストレージ領域はSSDの共有ストレージ上に、大容量ストレージ領域はHDDの共有ストレージ上に構築されています。
| 用途 | マウント | 容量 | ファイルシステム |
|---|---|---|---|
| 高速ストレージ領域 Homeディレクトリ |
/gs/fs /home |
372TB | Lustre |
| 大容量ストレージ領域 共有アプリケーション配備 |
/gs/bs /apps |
44.2PB | Lustre |
| ローカルスクラッチ領域 | /local | 各ノード1.92TB | xfs（SSD) |
ローカルスクラッチ領域は各計算ノードのNVMe SSD上にあり、計算途中のテンポラリファイル等に利用できます。
Info
利用可能なローカルスクラッチ領域の容量は、獲得した資源により決まります。
| 資源タイプ名 | ローカルスクラッチ領域 (GB) |
|---|---|
| node_f | 1920 |
| node_h | 960 |
| node_q | 480 |
| node_o | 240 |
| gpu_1 | 240 |
| gpu_h | 120 |
| cpu_160 | 96 |
| cpu_80 | 48 |
| cpu_40 | 24 |
| cpu_16 | 9.6 |
| cpu_8 | 4.8 |
| cpu_4 | 2.4 |
3.2. 計算ノード¶
TSUBAME4.0 の計算ノードは、Zen4 アーキテクチャの第4世代 AMD EPYC 9654 で、1台あたりのコア数が TSUBAME3.0 比で6倍以上と大幅増強されました。
GPU は NVIDIA H100 Tensor Core GPU を4基搭載しています。
| TSUBAME3.0 | TSUBAME4.0 | |
|---|---|---|
| 演算部名 | 計算ノード HPE SGI ICE-XA 540台 | 計算ノード HPE Cray XD665 240台 |
| ノード構成（１台あたり） | ||
| CPU | Intel Xeon E5-2680 v4 2.4GHz × 2 Socket | AMD EPYC 9654 2.4GHz × 2 Socket |
| コア数/スレッド | 14コア / 28スレッド×2CPU | 96コア / 192スレッド×2CPU |
| メモリ | 256GiB | 768GiB (DDR5-4800) |
| GPU | NVIDIA TESLA P100 for NVlink-Optimized Servers ×4 | NVIDIA H100 SXM5 94GB HBM2e × 4 |
| SSD | 2TB | 1.92TB NVMe U.2 SSD |
| インターコネクト | Intel Omni-Path HFI 100Gbps ×4 | InfiniBand NDR200 200Gbps × 4 |
Info
TSUBAME4.0の計算ノードは、r1n1～r23n11までです。 r: 1～23 n: 1～10 or 11
3.3. ジョブスケジューラ¶
TSUBAME4.0 では、TSUBAME3.0 の UNIVA Grid Engine (UGE) の後継にあたる Altair Grid Engine (AGE) が採用されています。
TSUBAME4.0 の資源タイプは下記の通りです。
資源タイプの種類が増え、各資源タイプで使用できるコア数も増えました。
| 資源タイプ | 使用物理CPUコア数 | メモリ (GB) | GPU 数 | ローカルスクラッチ領域 (GB) |
|---|---|---|---|---|
| node_f | 192 | 768 | 4 | 1920 |
| node_h | 96 | 384 | 2 | 960 |
| node_q | 48 | 192 | 1 | 480 |
| node_o | 24 | 96 | 1/2 | 240 |
| gpu_1 | 8 | 96 | 1 | 240 |
| gpu_h | 4 | 48 | 1/2 | 120 |
| cpu_160 | 160 | 368 | 0 | 96 |
| cpu_80 | 80 | 184 | 0 | 48 |
| cpu_40 | 40 | 92 | 0 | 24 |
| cpu_16 | 16 | 36.8 | 0 | 9.6 |
| cpu_8 | 8 | 18.4 | 0 | 4.8 |
| cpu_4 | 4 | 9.2 | 0 | 2.4 |
3.3.1. 定額制ジョブ¶
TSUBAME4.0では、月単位で計算ノードを準占有利用できる「定額制」を導入しました。
学内利用者および共同利用(学術)のユーザのみが利用できます。
定額制でのジョブ投入は、-q prior をつけます。その他のオプションは従量制と同じです。
$ qsub -q prior -g [TSUBAMEグループ] スクリプト名
| オプション | 説明 |
|---|---|
| -g | TSUBAMEグループ名を指定します。 スクリプトの中ではなくqsubコマンドのオプションとしてつけてください。 |
| -q prior | 定額制ジョブ 実行までに最大1時間の待ちが発生します。 |
定額制についての詳細はこちらをご覧下さい。
Warning
定額制グループのジョブであっても、 -q prior の指定がない場合、従量制ジョブとして処理されますので、ご注意ください。
3.4. ソフトウェア環境¶
3.4.1 商用アプリケーション¶
TSUBAME4.0とTSUBAME3.0で利用可能な商用アプリケーションの違いは、こちらをご覧下さい。
TSUBAME4.0では、一部の商用アプリケーションの利用には別途アプリケーション利用料が必要になります。詳細は利用料の概略のアプリケーション (TSUBAME4.0で一部有償化)をご覧下さい。
3.4.2 フリーソフト¶
TSUBAME4.0とTSUBAME3.0で利用可能なフリーソフトの違いは、こちらをご覧下さい。
3.4.3 TSUBAME3.0で使用していたアプリケーション¶
TSUBAME4.0とTSUBAME3.0では、コンパイラ、MPI、各種ライブラリが異なるため、そのまま動かすことができません。プログラムをTSUBAME4.0上でコンパイルし直す必要があります。