2024-05-14
(05-15 9:30更新) ジョブID 183件を掲載。再発防止および今後の対応を追記
(05-20 14:13更新) ジョブID 1274件を掲載。
(06-14 14:10更新) すべてのジョブのポイント返却が完了しました。
以下の通りストレージに障害が発生して復旧しました。
１．発生時刻
障害発生時刻：2024/5/12 22:32:55
障害復旧時刻：2024/5/14 08:17:31
２．障害内容
/gs/fs領域、/home領域を構成するLustreファイルシステムのMDS(メタデータサーバ)高負荷により動作が不安定となり、アクセスが遅延したり、失敗する。
またその影響により、loginノードにログイン出来ない、TSUBAMEポータルでエラーが表示される、異常検知した計算ノードが新規ジョブの受け入れを拒否、などが発生。
３．影響を受けたジョブ
本障害で影響があった可能性のあるジョブ(障害発生中に実行中だったジョブ)は1274件。
=== all.q(従量制）ジョブ：1188件 ===
85781 85790 85792 85795 85796 85797 85798 85801 85806 85807 86002 86007 86216 86220 86223 86236 86244 86399 86400 86931 86953 86986 87027 87031 87041 87042 87052 87053 87063 87082 87087 87102 87103 87113 87201 87206 87208 87210 87217 87218 87229 87268 87295 87319 87320 87391 87535 87536 87724 87730 87732 87744 87749 87750 87751 87752 87753 87754 87755 87756 87757 87758 87760 87761 87762 87763 87764 87765 87766 87767 87769 87770 87773 87774 87775 87776 87780 87781 87782 87784 87785 87786 87787 87788 87789 87790 87791 87792 87793 87795 87796 87797 87798 87799 87800 87802 87804 87816 87817 87821 87822 87824 87826 87827 87828 87829 87830 87831 87832 87833 87834 87835 87836 87837 87838 87839 87840 87841 87842 87843 87844 87845 87846 87847 87848 87849 87850 87851 87852 87853 87854 87855 87856 87857 87858 87859 87860 87861 87862 87863 87865 87866 87867 87869 87870 87871 87872 87873 87874 87876 87878 87879 87880 87882 87883 87884 87885 87886 87887 87888 87889 87890 87892 87893 87894 87896 87905 87906 87907 87908 87909 87910 87911 87912 87913 87914 87915 87916 87917 87918 87919 87920 87921 87922 87924 87928 87936 87937 87938 87939 87940 87941 87942 87943 87944 87945 87946 87949 87967 87980 87984 87988 87989 87990 87991 87992 87993 87994 87995 87996 87997 87998 87999 88000 88001 88011 88014 88020 88039 88051 88052 88059 88060 88061 88062 88063 88064 88065 88066 88067 88068 88069 88070 88071 88072 88073 88074 88075 88076 88077 88078 88079 88080 88081 88084 88086 88088 88089 88090 88091 88092 88095 88097 88102 88103 88104 88105 88107 88108 88128 88166 88167 88168 88169 88170 88171 88172 88181 88182 88184 88185 88187 88188 88189 88190 88191 88194 88195 88209 88212 88213 88214 88218 88219 88220 88221 88234 88256 88259 88260 88264 88265 88267 88268 88269 88270 88271 88273 88275 88283 88284 88285 88291 88294 88295 88296 88297 88298 88299 88300 88301 88302 88303 88304 88305 88306 88307 88308 88309 88310 88311 88312 88313 88314 88315 88316 88317 88320 88326 88327 88328 88330 88331 88332 88333 88334 88337 88338 88340 88343 88345 88346 88347 88348 88349 88350 88351 88352 88353 88354 88355 88356 88357 88358 88359 88360 88361 88362 88363 88364 88365 88366 88381 88382 88384 88387 88391 88393 88394 88395 88399 88400 88401 88434 88436 88437 88438 88439 88440 88441 88444 88448 88449 88450 88451 88452 88453 88454 88455 88458 88466 88470 88484 88485 88486 88487 88488 88489 88490 88491 88492 88493 88498 88499 88502 88503 88505 88506 88508 88509 88510 88511 88512 88513 88514 88520 88521 88525 88526 88527 88529 88530 88531 88532 88533 88534 88535 88536 88538 88541 88542 88545 88547 88550 88552 88553 88554 88557 88563 88564 88565 88566 88567 88568 88569 88570 88571 88572 88573 88574 88575 88576 88577 88578 88579 88580 88581 88582 88583 88584 88585 88586 88587 88588 88589 88590 88591 88592 88593 88594 88595 88596 88597 88598 88599 88600 88601 88602 88603 88604 88605 88606 88607 88608 88609 88610 88611 88612 88613 88614 88615 88616 88617 88618 88619 88620 88621 88622 88623 88624 88625 88626 88627 88628 88629 88630 88631 88632 88633 88634 88635 88636 88637 88638 88639 88640 88641 88642 88643 88644 88645 88646 88647 88648 88649 88650 88651 88652 88653 88654 88655 88656 88657 88658 88659 88660 88661 88662 88663 88664 88665 88666 88667 88668 88669 88670 88671 88672 88673 88674 88675 88676 88677 88678 88679 88680 88681 88682 88683 88684 88685 88686 88687 88688 88689 88690 88691 88692 88693 88694 88695 88696 88697 88698 88699 88700 88701 88702 88703 88704 88705 88706 88707 88708 88709 88710 88711 88712 88713 88714 88715 88716 88717 88718 88719 88720 88721 88722 88723 88724 88725 88726 88727 88728 88729 88730 88731 88732 88733 88734 88735 88736 88737 88738 88739 88740 88741 88742 88743 88744 88745 88746 88747 88748 88749 88750 88751 88752 88753 88754 88755 88756 88757 88758 88759 88760 88761 88762 88763 88764 88765 88766 88767 88768 88769 88770 88771 88772 88773 88774 88775 88776 88777 88778 88779 88780 88781 88782 88783 88784 88785 88786 88787 88788 88789 88790 88791 88792 88793 88794 88795 88796 88797 88798 88799 88800 88801 88802 88803 88804 88805 88806 88807 88808 88809 88810 88811 88812 88813 88814 88815 88816 88817 88818 88819 88820 88821 88822 88823 88824 88825 88826 88827 88828 88829 88830 88831 88832 88833 88834 88835 88836 88837 88838 88839 88840 88841 88842 88843 88844 88845 88846 88847 88848 88849 88850 88851 88852 88853 88854 88855 88856 88857 88858 88859 88860 88861 88862 88863 88864 88865 88866 88867 88868 88869 88870 88871 88872 88873 88874 88875 88876 88877 88878 88879 88880 88881 88882 88883 88884 88885 88886 88887 88888 88889 88890 88891 88892 88893 88894 88895 88896 88897 88898 88899 88900 88901 88902 88903 88904 88905 88906 88907 88908 88909 88910 88911 88912 88913 88914 88915 88916 88917 88918 88919 88920 88921 88922 88923 88924 88925 88926 88927 88928 88929 88930 88931 88932 88933 88934 88935 88936 88937 88938 88939 88940 88941 88942 88943 88944 88945 88946 88947 88948 88949 88950 88951 88952 88953 88954 88955 88956 88957 88958 88959 88960 88961 88962 88963 88964 88965 88966 88967 88968 88969 88970 88971 88972 88973 88974 88975 88976 88977 88978 88979 88980 88981 88982 88983 88984 88985 88986 88987 88988 88989 88990 88991 88992 88993 88994 88995 88996 88997 88998 88999 89000 89001 89002 89003 89004 89005 89006 89007 89008 89009 89010 89011 89012 89013 89014 89015 89016 89017 89018 89019 89020 89021 89022 89023 89024 89025 89026 89027 89028 89029 89030 89031 89032 89033 89034 89035 89036 89037 89038 89039 89040 89041 89042 89043 89044 89045 89046 89047 89048 89049 89050 89051 89052 89053 89054 89055 89056 89057 89058 89059 89060 89061 89062 89063 89064 89065 89066 89067 89068 89069 89070 89071 89072 89073 89074 89075 89076 89077 89078 89079 89080 89081 89082 89083 89084 89085 89086 89087 89088 89089 89090 89091 89092 89093 89094 89095 89096 89097 89098 89099 89100 89101 89102 89103 89104 89105 89106 89107 89108 89109 89110 89111 89112 89113 89114 89115 89116 89117 89118 89119 89120 89121 89122 89123 89124 89125 89126 89127 89128 89129 89130 89131 89132 89133 89134 89135 89136 89137 89138 89139 89140 89141 89142 89143 89144 89145 89146 89147 89148 89149 89150 89151 89152 89153 89154 89155 89156 89157 89158 89159 89160 89161 89162 89163 89164 89165 89166 89167 89168 89169 89170 89171 89172 89173 89174 89175 89176 89177 89178 89179 89180 89181 89182 89183 89184 89185 89565 89566 89567 89593 89599 89600 89601 89602 89603 89604 89605 89606 89607 89608 89609 89610 89611 89612 89613 89614 89615 89616 89617 89618 89619 89620 89621 89622 89623 89624 89625 89626 89627 89628 89629 89630 89631 89632 89633 89634 89635 89636 89637 89638 89639 89640 89641 89642 89644 89645 89646 89647 89648 89649 89650 89651 89652 89653 89654 89655 89659 89660 89661 89662 89663 89664 89665 89666 89667 89668 89669 89670 89671 89672 89673 89674 89675 89676 89677 89678 89679 89680 89681 89682 89683 89684 89685 89686 89687 89688 89689 89690 89691 89692 89693 89694 89695 89696 89697 89698 89699 89700 89701 89702 89703 89704 89705 89706 89712 89713 89714 89715 89716 89717 89718 89719 89720 89721 89722 89723 89724 89725 89726 89728 89729 89730 88197
=== interactive（インタラクティブキュー）ジョブ：100件 ===
3802 3980 4073 4163 4176 4177 4182 4186 4190 4192 4193 4194 4195 4198 4199 4200 4203 4204 4205 4206 4207 4208 4209 4210 4211 4215 4216 4218 4219 4220 4221 4222 4223 4224 4225 4226 4227 4230 4232 4233 4236 4237 4239 4240 4242 4243 4244 4245 4246 4247 4248 4249 4250 4252 4253 4254 4255 4256 4257 4258 4259 4260 4262 4263 4266 4267 4268 4271 4272 4273 4274 4275 4276 4278 4279 4280 4281 4282 4284 4285 4286 4288 4289 4290 4291 4292 4294 4295 4297 4299 4300 4301 4302 4303 4306 4307 4309 4315 4316 4318
=== ar（予約）：16件 ===
464 502 503 506 507 508 509 510 511 512 513 514 515 516 517 518
=== prior（定額制）: 17件 ===
79066 87293 87746 87777 87778 87779 87818 87819 87820 88197 88228 88403 88423 88443 88445 88446 89597
４．再発防止および今後の対応
・高負荷の原因と思われるバグ回避のための応急処置を行いました。
・従量利用および予約ジョブのポイント返却を予定しています。(6/14時点で完了しています)
・MDSのサービスが縮退しているためfailbackを行います。作業は数分で完了しますが、その間I/Oがハングする可能性があるため別途アナウンスを行った上て実施します。