アプリケーションの実行¶
商用アプリケーション（Mathematica, Gaussianなど）が動作しません。コマンドが見つかりません。¶
TSUBAME4.0では一部の商用アプリケーションの利用には別途アプリケーション利用料が必要になります。
詳細：利用料の概略のアプリケーション (TSUBAME4.0で一部有償化)
初期状態では対象の商用アプリケーションは利用できませんので、そのアプリケーションがインストールされていないように見えます。
$ module load gaussian
$ g16 inputfile
-bash: g16: command not found
対象の商用アプリケーションを利用するには、TSUBAMEポータルからアプリケーション有効化を行います。
アプリケーション有効化の後、再度実行してください。
$ module load gaussian
$ g16 inputfile
なお、アプリケーションの購入はアカウント単位で実施する必要があります。
商用アプリケーションを購入しましたが、アプリケーションが利用出来ません。についても併せてご確認ください。
商用アプリケーションを購入しましたが、アプリケーションが利用出来ません。¶
商用アプリケーションは、所属グループ単位ではなくアカウント単位で購入する必要があります。
例えばグループ管理者が購入した場合、グループ管理者のアカウントのみ利用可能となります。
利用したい全てのアカウントで、個別に購入手続きを行ってください。
（代理購入、一括購入はできません。購入手続きを行ったアカウントのみ有効になります。）
アプリケーションの購入状況については「アプリ購入一覧表示」内の「購入者アカウント」から確認できます。
アプリケーション有効化を参考に、「購入者アカウント」にご自身のアカウントが含まれているかご確認ください。
購入済みの商用アプリケーションが突然使用できなくなりました。¶
購入した商用アプリケーションは、購入の操作を行った時点から、指定した月の月末まで利用可能です。
アプリケーションの購入期間を超過している可能性がありますので、アプリケーション有効化を参考にステータスの確認と必要に応じて購入をお願いします。
PyPI上にあるPythonのパッケージを使いたい (Theano等)¶
以下のコマンドでユーザのホームディレクトリにインストールすることができます。(下記例はTheanoの場合)
$ pip install --user theano
Xアプリケーション(GUI)が動作しません¶
本項目のXアプリケーションはTSUBAME4.0上にインストールされている、X環境上で動作するアプリケーション、いわゆるGUIのアプリケーションのことを指します。
基本的にはユーザ環境のため、窓口ではサポート出来かねます。
Xアプリケーションを利用したい場合には、下記の手順で動作環境のセットアップ・確認を行ってください。
Xサーバアプリケーションがクライアントにインストール、起動しているか¶
Windowsの場合
Windowsの場合は多くのXサーバアプリケーションがあります。
Xサーバアプリケーションがインストールされているか、または起動しているかをご確認ください。
Macの場合
XQuartz がインストール、設定されているかをご確認ください
https://support.apple.com/ja-jp/100724
Linuxの場合
X11サーバアプリケーションと関連ライブラリがインストール、設定されているかをご確認ください
X転送オプションを有効にしているかどうか¶
Windows（その他の端末アプリケーション）
ご利用の端末およびXサーバアプリケーションによって設定が異なります。
各アプリケーションのマニュアルを確認下さい。
Linux/Mac/Windows(Cygwin) SSHコマンドにX転送オプション(-YC)が入っているかをご確認ください。
$ ssh <TSUBAME4.0アカウント名>@login.t4.gsic.titech.ac.jp -i <秘密鍵> -YC
$ ssh gsic_user@login.t4.gsic.titech.ac.jp -i ~/.ssh/t4-key -YC
$ man ssh
端末環境を変えても再現するか¶
Windowsの場合はフリー、有償を含め多くの端末/Xサーバアプリケーションがございます。
別の端末/Xサーバアプリケーションでも再現するかどうかをご確認ください。（もちろん、組み合わせの問題もあります）
isvアプリケーションによって相性があり、再現しない場合はアプリケーション固有の問題である可能性がございます。
その場合はお問合わせ頂いてもご対応できかねますので、ご了承ください。
GL対応/非対応によっても異なります。一例としてGL対応のXサーバには以下のものがございます。
- アールワークス社ASTEC-X
- マイクロフォーカス社Reflection
- PTC社PTC X/Server
また、利用したいXアプリケーションによってはコマンドオプションが必要な場合があります。
利用したいXアプリケーションのマニュアルをご確認下さい。
通常のX転送/VNC接続では動作しないGLアプリケーションでもVirtualGLを使用することで動作する場合がございますので必要であればお試し下さい。
VirtualGLの詳細については利用の手引きをご確認下さい。
動作確認¶
ログインノードでは、以下のコマンドでX Window Systemの標準的なターミナルエミュレータが起動します。ログインノードまでのX転送の設定の確認にご利用ください。
$ xterm
問題がある場合の例
xterm: Xt error: Can't open display:
xterm: DISPLAY is not set
アプリケーションの利用¶
ログインノードはCPUを占有するアプリケーションの利用を想定しておりません。可視化を含む本格的な利用には、計算ノードを利用してください。
計算ノードでのGUIアプリケーションの利用については、下記FAQをご参照ください。
FAQ: qrshでX転送する方法
また、node_fでノード全体を確保している場合は、ssh -Y コマンドでX転送を行うこともできます。
問い合わせ時に必要な情報¶
お問い合わせの際は下記をご連絡ください
-
利用OS(例 Windows10,Debian12,macOS 14.4.1)
-
利用ソフトウェア(windowsのみ、例 Cygwin,PuTTY/VcXsrv,Rlogin/Xming)
-
利用バージョン windowsの場合は端末/Xサーバアプリケーションの両バージョン 例 2.9.0-3,0.70,2.22.7
バージョンの調べ方はアプリケーションのマニュアルをご確認ください。Linux/Macの場合はSSHのバージョンをお送りください。下記のコマンドで確認できます。
$ ssh -V - 今まで試した内容について、また、エラーが出る場合はエラーの内容をお送りください。
TSUBAME4.0で提供していないアプリケーションを使用したい¶
以下の項目に当てはまるかをご確認下さい。
当てはまる場合、利用者の責任で自由にインストールしてご利用いただけます。
これらに問題が無いか導入したいアプリケーションのインストールマニュアルや利用許諾書をご確認ください。
- TSUBAME4.0のOS(Red Hat Enterprise Linux 9.3)上で動作する (WindowsやMac OS専用のソフトウェアは動作しません)
- インストールや実行に管理者権限(root)が不要
- 自分のホームディレクトリやグループディスクへのインストールが可能(特定のノードへのインストールは不可)
- ライセンス的に問題ない
- kernel、ライブラリおよびシステムレベルの設定変更を必要としない
- GSICのサポートが不要
上記にもありますが、GSICでご用意するアプリケーションではありませんので基本的にはサポートは致しません。
利用者側でTSUBAMEの問題かアプリケーションの問題かの切り分けを行い、アプリケーションに関する事はソフトウエアの提供元へお問い合わせください。
ライブラリやドライバのバージョンはTSUBAMEの定期メンテナンス等で変更になることがあります。
その結果それまで利用していたアプリケーションの再設定が必要になる場合があります。
場合によっては動作しなくなってしまう可能性も無いとは言えませんのでご注意ください。
関連項目：TSUBAME4.0で提供していないアプリケーションのインストール方法について
配布アプリケーションに問題がある¶
配布アプリケーションに関して生じるトラブルのほとんどは環境に起因するため、個別のサポートは行いません。
申請にあたって承諾いただいたとおり「自己解決」して頂く必要がございます。
インストール時に生じたトラブル
インストールの手引きに従ってインストールをしてください。
上手くいかない場合はアンインストールして最初からやり直してください。
ライセンスサーバとの通信に失敗している場合は研究室内や建物のネットワーク管理者に問い合わせてください。
利用中に生じたトラブル
実行できない場合はエラーメッセージ等をよく読んでください。
ライセンス関連の問題が生じている場合はインストールの手引きにある通り、ライセンスサーバへの通信の問題がないか確認してください。
設定が正常にできており直前まで利用できていた場合はライセンスがメンテナンス中ではないかお知らせ等を確認してください。
TSUBAMEの利用の手引きを参照してライセンスの状態を確認し、ライセンス数が不足していないか確認してください。他の人が使用中の場合は終わるのを待って再度実行してください。
1ユーザによるライセンスの占有が発生している場合にはお知らせください。利用方法を改めていただくようGSICより連絡させていただきます。
商用アプリケーションの利用イメージについて¶
TSUBAME4.0上で商用アプリケーションの利用する場合は、下記の2つの場合があるかと思います。
それぞれの場合について簡単に説明します。
- プリ・ソルバ・ポストの全処理を行う場合
- プリポスト処理はクライアント側で行い、ソルバ処理のみをTSUBAME4.0で実行する場合
本FAQにでてくる用語がわからない方は下部の用語についてをご確認下さい。
1.プリ・ソルバ・ポストの全処理を行う場合
TSUBAME4.0ではアプリケーションによって異なりますが、基本的にプリ・ソルバ・ポストの全機能が導入されており、インタラクティブノードでの実行の場合は「プリ・ソルバ・ポスト」の全処理を行うことができます。
インタラクティブノードでの実行について、また、プリ、ポスト、ソルバに該当するコマンドやアプリケーションも商用アプリケーションによって異なりますので、各アプリケーションの手引書やマニュアルをご確認下さい。
2.プリポスト処理はクライアント側で行い、ソルバ処理のみをTSUBAME4.0で実行する場合
Xサーバの相性問題などを回避する目的など、プリポスト処理をクライアント側で行えるよう、ソフトウェア配布を行っております。
なお、ソフトウェア配布については、利便性向上のために提供しているものですので、状況により配布を中止する可能性がありますのでご注意ください。
この場合は、下記の手順が必要となります。
1) ソフトウェアの利用申請を行い、ソフトウェアを入手する
2) ソフトウェアをクライアントにインストールする
3) クライアントにインストールしたソフトウェアでプリ処理を行う
4) TSUBAME4.0に3.で作成したデータを転送する
5) ジョブスケジューラ投入用のバッチスクリプトを作成する
6) TSUBAME4.0でqsubコマンドを実行し、5で作成したバッチスクリプトを実行する
7) 6の結果データをクライアントに転送する
8) クライアントにインストールしたソフトウェアでポスト処理を行う
用語について
-
プリポスト
下記の2つのこと、低負荷- プリ(プリプロセッサの略)：解析用インプットファイルの作成などの計算前準備作業
- ポスト(ポストプロセッサの略)：解析結果データの可視化等の解析後の作業
- プリ(プリプロセッサの略)：解析用インプットファイルの作成などの計算前準備作業
-
ソルバ
解析そのもののこと、高負荷 -
Xサーバ
X転送を行うためのクライアント側のアプリケーション
segmentation faultなど、プログラム実行時のエラー対応について¶
全般
まず、以下の関連FAQをご確認ください。
Linuxのよくあるエラーについて
"Disk quota exceeded" というエラーが出力される
商用アプリケーションで発生したエラーに対する対処方法について
1.商用アプリケーションの場合
ABAQUS/ABAQUS CAEを除き、お問合わせでサポート可能です。以下をお問い合わせにご連絡下さい。
-
エラーが発生した商用アプリケーション名
例)Abaqus/Explicit -
発生したエラー
例)buffer overflow detected -
エラーを起こしたJOB_ID(複数ある場合は複数記載してください)
例)181938 -
エラーを起こしたホスト名(複数ある場合は複数記載してください)
例)r6n5 -
エラーが発生した状況について(できるだけ詳細に記載下さい)
例)qrshを用いてr6n5にログインし、以下のコマンドを実行したところ、「buffer overflow detected」が発生した。
詳細は以下の通り
- コマンド
ABAQUSについてはアカデミックライセンスのため、技術サポートがありません。
$ module load abaqus intel $ abq2017 interactive job=TEST input=Job1 cpus=6 scratch=$TMPDIR mp_mode=mpi #エラー内容 Run package *** buffer overflow detected ***: /pathto/package terminated ======= Backtrace: ========= /lib64/libc.so.6(+0x721af)[0x2aaab0c001af] …以下略
SIMULIAドキュメンテーションサイトに登録し、ご自分で解決頂く必要がございます。
ドキュメンテーションサイトの情報については「お問い合わせ」よりご連絡ください。
2.自分でコンパイルしたアプリケーションの場合
お問合わせ頂いてもサポートできません。
FAQ「TSUBAME4.0で提供していないアプリケーションを使用したい」をご確認したという前提で記載致します。
トレースバックなどのオプションを付けてコンパイルしている場合はエラーを起こしたソースに関する情報が出ますので、そちらを確認して下さい。
オプション無しでコンパイルした場合はエラーを確認して、必要とされるオプションを切り分けて下さい。
コンパイラを利用した場合はそれぞれの手引書をご確認下さい。
商用アプリケーションで発生したエラーに対する対処方法について¶
全般
プログラム実行時に以下のようなエラーが発生する場合の対処法
unable to connect to forwarded X server: Network error: Connection refused
Error: Can't open display: localhost:13.0
アプリケーション名: Xt error: Can't open display:
アプリケーション名: DISPLAY is not set
プログラム実行中にGUIプログラムが落ちる
端末上のkeepAliveの設定はお済みでしょうか？
お済みでない場合はFAQ「TSUBAME4.0で作業中にセッションが切れてしまいます」を確認して下さい。
プログラム実行中に突然ジョブがabortした
原因は様々考えられますが、ユーザによる切り分けとして以下を確認下さい。
- バッチエラーファイルの確認(通常、スクリプト名.e.$JOBID)
- プログラム固有のログファイルの確認
- ディレクトリの空き容量の確認
関連FAQ
Linuxのよくあるエラーについて
"Disk quota exceeded" というエラーが出力される
segmentation faultなど、プログラム実行時のエラー対応について
TSUBAME4.0で提供していないアプリケーションのインストール方法について¶
まず、以下をご確認下さい。
FAQ「TSUBAME3で提供していないアプリケーションを使用したい」
1.インストール場所について
インストール場所としては下記の2箇所がございます。インストールされるソフトウェアの運用形態に合わせて選択して下さい。
研究室のメンバーなど、TSUBAMEグループ内で共有する必要がある場合はグループディスクをご利用下さい。
Homeディレクトリはchmod等で権限を変更したとしても共有利用はできません。
- Homeディレクトリ
- グループディスク
2.インストール方法
インストールされるアプリケーションのマニュアル、コミュニティ、READMEを確認し、インストールして下さい。
アプリケーションによっては、ライブラリ等の動作環境含め、御自分でソースからコンパイルする必要がございます。
*ユーザインストールとなるため、zypper等のOS基幹のアプリケーション管理ソフトウェアは利用できず、基本的にソースからのコンパイルとなります。
また、CUDAを利用する場合は計算ノードでのコンパイルが必要となります。(ログインノードにはGPUが搭載されていないため)
例1)configureスクリプトを実行し、Makefileを生成してからmake,make testおよびmake installする例
$ ./configure --prefix=$HOME/install
$ make && make test
$ make install
$ mkdir build && cd build
$ cmake .. -DCMAKE_INSTALL_PREFIX=$HOME/install
$ make install
$ ./install.sh
python/3.9.18を用いて最新版のnumpy, mpi4py, chainer, tensorflow, cupy等をインストールする方法について¶
python/3.9.18を使って自分の環境下にnumpy, mpi4py, chainer, tensorflow等をインストールしたい場合は以下のようにします。
$ module load intel cuda openmpi
$ python3 -m pip install --user python_modules
バージョンを指定したい場合は
$ python3 -m pip install --user python_modules==version
商用アプリケーション利用に関するライセンス制限について¶
商用アプリケーションの各種制限を参照してください。
Rで自分のライブラリをインストールして使いたい¶
TSUBAME4.0 ではR-4.3.2が利用できます。
基本パッケージ以外に標準で利用可能なライブラリは以下となります。
Rmpi, rpud
上記以外のライブラリを利用したい場合には、ご自分でのインストール操作が必要となります。
パーミッションの関係で、Rのインストールディレクトリは不可ですので、ライブラリパスを指定の上、自分所有のライブラリをインストール/管理できますます。手順は以下となります。
ライブラリパスを$HOME/Rlib、ライブラリ名はtestlib、testlib.tar.gzはソースパッケージと仮定して、以下のように操作します。
モジュールの読み込み：
$ module load cuda openmpi R
$ mkdir ~/Rlib
$ wget https://cran.r-project.org/src/contrib/testlib.tar.gz
$ R CMD INSTALL -l $HOME/Rlib testlib.tar.gz
$ export R_LIBS_USER=$HOME/Rlib
$ R
> library(testlib)
openmpiのmpi4pyでmpi4py.futures.MPIPoolExecutorを実行するとエラーになる¶
openmpiを用いたmpi4pyでmpi4py.futures.MPIPoolExecutorを実行すると以下のようなエラーが起こることがあります。
[r5n2:26205] [[60041,0],0] ORTE_ERROR_LOG: Not found in file orted/pmix/pmix_server_dyn.c at line 87
- intel MPIを用いたmpi4pyを使用する
各ターミナルソフトでのポートフォワードの設定について¶
各ターミナルソフトでのポートフォワードの設定について以下に記します。
※以下は全てqrshやqsubで計算ノードを確保した状態で実行して下さい。
例として、計算ノードr7n7が確保されていると仮定して、自分のPCのポート5901をr7n7のポート5901に繋げる場合を記します。
1. MobaXterm
Tunneling -> New SSH Tunnel -> My computer with MobaXtermのForwarded portに5901を入力、SSH serverのSSH serverにlogin.t4.gsic.titech.ac.jp、defaultuserにユーザ名、SSH portに22を入力、Remote serverのRemote serverにr7i7n7、Remote portに5901を入力しsave、Settingsの下の鍵マークから秘密鍵を選択、その後設定したトンネルをstart
2. OpenSSH/WSL
$ ssh -L 5901:r7n7:5901 -i <秘密鍵> -f -N <ユーザ名>@login.t4.gsic.titech.ac.jp
3. PuTTY
PuTTY Configuration -> Connection -> SSH -> TunnelsからSource Portに5901, Destinationにr7n7:5901を入力して"Add"をクリックしてOpen
4. teraterm
設定->SSH転送->追加->ローカルのポートに5901、リモート側ホストにr7n7、ポートに5901を入力してOK
intel MPIでmpirun ... >& log.txt &とするとファイル出力が途中で止まってしまいます¶
intel MPIで
mpirun ... ./a.out >& log.txt &
その場合は以下のようにすると出力が止まらずに実行できます。
mpirun ... ./a.out < /dev/null >& log.txt &
Intel® oneAPI Math Kernel Libraryをリンクしたいが、リンクオプションをどうすればよいですか？¶
Intel® oneAPI Math Kernel Libraryをリンクしたい場合、Intel® oneAPI Math Kernel Library Link Line Advisorに適切な項目を入力し、"Use this link line”からリンクオプションをコピーして下さい。
MobaXtermでVNCを使う方法¶
TSUBAME上のGUIアプリケーションを利用する際に、X転送で描画に失敗する場合や、性能が不十分な場合には、TurboVNCを利用することで状況が改善する場合があります。
MobaxtermにはVNCクライアント機能が内蔵されているため、比較的簡単に利用できます。
計算ノードにおけるVNCサーバの起動方法やMobaxtermからの接続方法については、利用の手引きを参照してください。
ABAQUS CAEのモデリングで「X fatal error. ***ABAQUS/ABQcaeG rank 0 terminated by signal 6 」というエラーが発生します¶
ABAQUS CAEのモデリングで「X fatal error. ***ABAQUS/ABQcaeG rank 0 terminated by signal 6 」というエラーが発生することがあります。
これはMobaXterm等でX転送でABAQUS CAEを起動してモデリングを実行すると発生するようです。
VNC+VirtualGLを使用することでこのエラーは回避できますのでそちらをご使用下さい。
MobaXtermからのVNCの使い方についてはこちらをご参照下さい。
ポータルからnoVNC経由でVNCを使う場合はこちらをご参照下さい。
VNCからVirtualGLを使用するにはこちらをご参照下さい。
Intel OneAPIでicc,icpcコマンドが使用できません¶
Intel oneAPI 2024から、iccコマンドおよびicpcコマンドが使用できなくなりました。
icxコマンドおよびicpxコマンドを使用してください。
また、ifortコマンドについても将来的な廃止が示唆されているため、ifxコマンドの使用を推奨します。
Intel oneAPI利用時にC++17関連のエラーが発生する。¶
Intel oneAPI 2024から、C++のデフォルトの規格がC++14からC++17に変更になりました。 それに伴い、以下のエラーが発生する場合があります。
- error: ISO C++17 does not allow 'register' storage class specifier [-Wregister]
- error: ISO C++17 does not allow dynamic exception specifications [-Wdynamic-exception-spec]
詳細についてはこちらのページをご参照ください。
本エラーが発生した場合、以下のいずれかをご検討ください。
- C++17規格に適合するよう、ソースコードを修正する。
- 翻訳時オプション -std=c++14 を指定し、C++14規格でコンパイルする。
VASPのビルド、実行がうまくいかない。¶
VASPについてはライセンスの制限上、お問い合わせ頂いても十分な対応が実施できない場合があります。
official users supportとしてVASP Forum が開設されておりますので、そちらの参照、投稿もご検討ください。
また、参考情報としていくつかのFAQを掲載しております。併せてご参照ください。
TSUBAME4.0上でVASPをビルドした際の手順が知りたい。
VASP実行時に UCX ERROR failed to insert region エラーが発生する
Intel oneAPI利用時にC++17関連のエラーが発生する。
TSUBAME4.0上でVASPをビルドした際の手順が知りたい。¶
TSUBAME4.0上でVASP6.4.2をビルドした際の手順について参考情報として公開します。
-
モジュールをロードします。
$ module load nvhpc openmpi intel -
arch/makefile.include.nvhpc_ompi_mkl_omp_acc ファイルをコピーし、以下の箇所を変更します。
$ cp arch/makefile.include.nvhpc_ompi_mkl_omp_acc makefile.include $ vi makefile.include $ diff arch/makefile.include.nvhpc_ompi_mkl_omp_acc makefile.include 20,21c20,21 < FC = mpif90 -acc -gpu=cc60,cc70,cc80,cuda11.0 -mp < FCL = mpif90 -acc -gpu=cc60,cc70,cc80,cuda11.0 -mp -c++libs --- > FC = mpif90 -acc -gpu=cc60,cc70,cc80,cc90,cuda12.3 -mp > FCL = mpif90 -acc -gpu=cc60,cc70,cc80,cc90,cuda12.3 -mp -c++libs 81c81 < MKLROOT ?= /path/to/your/mkl/installation --- > MKLROOT ?= /apps/t4/rhel9/isv/intel/mkl/2024.0/ 87,88c87,88 < SCALAPACK_ROOT ?= /path/to/your/scalapack/installation < LLIBS_MKL = -L$(SCALAPACK_ROOT)/lib -lscalapack -Mmkl --- > #SCALAPACK_ROOT ?= /path/to/your/scalapack/installation > #LLIBS_MKL = -L$(SCALAPACK_ROOT)/lib -lscalapack -Mmkl -
Makeします。
$ make DEPS=1 -j12 2>&1 |tee make.log
実行する際はHCOLLを無効にします。
$ export OMPI_MCA_coll=^hcoll
$ make test
VASP実行時に UCX ERROR failed to insert region エラーが発生する¶
実行時オプション -mca coll_hcoll_enable 0 の追加をお試しください。
実行例：
mpirun -mca coll_hcoll_enable 0 vasp_std >vasp.log
python の module load が出来ません¶
TSUBAME4.0ではデフォルトでpython 3が利用可能です。
module load は必要ありません。
OpenMPI/Intel MPI実行時に、hcoll 関連のErrorやsegmentation faultが発生する。¶
以下の環境変数を指定することで改善される場合があります。
OpenMPI利用時：export OMPI_MCA_coll=^hcoll
Intel MPI利用時：export I_MPI_COLL_EXTERNAL=0