3. ストレージ環境¶

本システムでは、Homeディレクトリ以外にも高速および大容量ストレージ領域のLustreファイルシステム、ローカルスクラッチ領域のSSD領域など様々な並列ファイルシステムを利用することができます。

3.1. Homeディレクトリ¶

HOMEディレクトリはユーザあたり 25GiBを利用できます。

使用容量はt4-user-info disk homeコマンドにて確認できます。以下は、TESTUSERのHOMEディレクトリの容量を確認する例です。

$ t4-user-info disk home
  uid name         b_size(GB) b_quota(GB)    i_files    i_quota
---------------------------------------------------------------
 2011 TESTUSER              7          25     101446    2000000

25GBのクォータ制限のうち、7GB利用し、inode制限については、200万のクォータ制限のうち、約10万利用している状況が確認できます。

クォータ制限を超過した場合、新規の書き込みができなくなりますのでご注意ください。クォータ制限を下回るように容量を削減すれば再度書き込みが可能になります。

稀に容量を削減してもクォータ制限を超過したままの状態が維持される場合があります。その際は最大１日程度待機する事でクォータの再計算処理が行われ、正常な値に戻ります。

3.2. グループディスク¶

グループディスクは、グループメンバで共有して使用します。グループディスクは、目的に応じて高速および大容量ストレージ領域を選択することができます。グループディスクの購入方法は「TSUBAME4.0ポータル利用説明書」のグループディスクの管理をご参照ください。
それぞれのストレージ領域の特徴は以下の通りです。

領域	PATH	グループディスクの容量設定	購入可能な領域	保存可能なファイル数(inode数)
高速ストレージ領域 (SSD)	/gs/fs	100GB単位	最大 3TB	2,000,000 / 1TB
大容量ストレージ領域 (HDD)	/gs/bs	1TB単位	最大 100TB	2,000,000 / 1TB

3.2.1. 高速ストレージ領域¶

高速ストレージ領域は/gs/fs にマウントされています。SSDを用いたLustreファイルシステムで構成され、グループディスクとして購入することで利用することができます。
大容量ストレージ領域に比べてディスクの総容量が小さいですが、ファイルアクセスが高速なため「ファイルアクセスの速度が重要な実行環境」「アクセス頻度の高いデータファイル」等の利用を推奨します。

3.2.2. 大容量ストレージ領域¶

大容量ストレージ領域は/gs/bs にマウントされています。ハードディスクを用いたLustreファイルシステムで構成され、グループディスクとして購入することで利用することができます。
高速ストレージ領域に比べてファイルアクセスは低速ですが、利用できるストレージサイズが大きく利用コストも安いため「ファイルアクセスの速度を求めないデータ」「バックアップデータなどファイルの保管場所」等の利用を推奨します。

3.2.3. グループディスクの使用容量¶

グループディスクの使用容量はt4-user-info disk group コマンドにて確認できます。以下は、TESTGROUPのグループディスクの容量を確認する例です。

$ t4-user-info disk group -g TESTGROUP
                                              /gs/bs                                 /gs/fs                     
  gid group_name                 size(TB) quota(TB)   file(M)  quota(M)  size(TB) quota(TB)   file(M)  quota(M) 
----------------------------------------------------------------------------------------------------------------
 xxxx TESTGROUP                    59.78       100      7.50       200      0.00         0      0.00         0

指定したTESTGROUPグループでは、/gs/bsのみ購入し、100TBのクォータ制限のうち、約60TB利用し、inode制限については、2億のクォータ制限のうち、750万利用している状況が確認できます。

3.2.4 グループディスクの利用状況確認¶

グループディスクはひと月ごとに購入します。
前月と今月でグループディスクの購入量が異なる（減少する）場合、利用状況によってはグループディスクの購入量よりも実際の使用量が大きくなる場合があります。
以下のいずれかの手順を用いてグループディスクの使用量が購入量を超えていないか確認してください。
[確認方法]
1. TSUBAME4.0上で確認する場合 : グループディスクの使用容量参照
2. TSUBAMEポータル上で確認する場合 : グループディスクの利用状況確認参照

Info

TSUBAMEポータル上での確認は、グループ管理者及び権限を付与されたグループメンバだけが行うことができます。

3.2.4.1 グループディスクの使用量超過時の対応¶

グループディスクの使用量が購入量を上回っている場合、以下の2段階の制限がかかります。
1. 購入量以上のファイルの書き込み禁止（月初）
2. グループディスク内の一切のアクセス禁止（特定タイミング）

1.の状態の場合、ファイルを削除し購入量内に収めるかグループディスクの容量設定を参考にグループディスクの購入サイズを変更し、現在の使用量を超えるようにしてください。
2.の状態の場合、ファイル削除ができません。グループディスクの容量設定を参考にグループディスクの購入サイズを変更し、現在の使用量を超えるようにしてください。

3.3. 学内からのCIFSによるアクセス¶

TSUBAME4.0では、グループディスクに対して学内のWindows/Mac端末からCIFSによるアクセスが可能です。以下のアドレスでアクセスすることができます。

\\gshs.t4.gsic.titech.ac.jp

アカウントはTSUBAME4.0のアカウント、パスワードはポータルで設定したパスワードになります。 Windowsからアクセスする際には、以下のように@TSUBAMEを指定してください。


ユーザー名	(TSUBAME4.0アカウント名)@TSUBAME
パスワード	(TSUBAME4.0アカウントのパスワード)

/gs/bs、/gs/fs に対応して、t4_bs、t4_fs となっています。グループディスクとして購入したディレクトリへアクセスしてください。

TSUBAME4 t4cifs

Info

ホームディレクトリはCIFSでアクセスできません。

3.4. ローカルスクラッチ領域¶

ローカルスクラッチ領域は計算ノード内のSSD上にあり、処理の一時ファイルや途中結果を高速に読み書きできます。
ローカルスクラッチ領域を利用することで、ノード間を跨がず最も早いファイルアクセスが実現できます。
ただし、ジョブの先頭にてグループディスクやホームディレクトリからローカルスクラッチ領域へのファイル転送処理を行う必要があるため、転送するファイルが大量であったりアクセス頻度が低い場合、結果的に実行時間が遅くなる可能性もありますのでご注意ください。
ローカルスクラッチ領域上のファイルはジョブの終了時に消去されるため、必要なファイルはユーザーが明示的に Homeディレクトリまたはグループディスクに保存します。

各資源タイプで利用可能なローカルスクラッチ領域の容量は、こちらをご覧下さい。