2024-07-10
以下の通りストレージに障害が発生して復旧しました。
１．発生時刻
障害発生時刻：2024-07-08(月) 18:40
障害復旧時刻：2024-07-09(火) 17:00
２．影響範囲および障害内容
/gs/bs領域を構成するLustreファイルシステムのMDS(メタデータサーバ)高負荷により動作が不安定となり、アクセスが遅延したり失敗する。そのため、計算ノード全台、/gs/bs ストレージ領域、ジョブスケジューラの動作に影響し、07-09(火) 9:00 より緊急メンテナンスのためログインノードへのログイン、TSUBAMEポータル、OODサービスも停止。
３．影響を受けたジョブ
本障害で影響があった可能性のあるジョブ(障害発生中に実行中だったジョブ)は747件。
445921 473298 473392 477029 480448 497018 502414 502434 502435 502436 502437 502438 502439 502440 502441 502442 502443 502444 502445 502446 502447 502448 502449 502450 502451 502452 502453 502464 502465 502466 502467 502468 502469 502470 502471 502472 502473 502474 502475 502476 502477 502478 502479 502480 502481 502482 502483 502486 502487 502488 502489 502490 502491 502492 502493 502494 502495 502496 502497 502498 502499 502500 502501 502502 502503 502504 502505 502508 502510 502511 502512 504127 504128 504679 504680 504681 504682 505955 506081 506151 506186 506199 506200 506201 506202 506203 506204 506209 506210 506211 506213 506214 506215 506216 506217 506218 506219 506220 506221 506222 506223 506224 506234 506235 506236 506237 506238 506239 506263 506292 506340 506380 506381 506382 506383 506384 506385 506386 506387 506388 506389 506390 506391 506392 506393 506394 506395 506396 506397 506398 506399 506400 506401 506402 506403 506404 506405 506406 506407 506408 506409 506410 506411 506427 506428 506429 506430 506431 506454 506476 506494 506514 506540 506874 507067 507452 507464 507465 507466 507468 507471 507488 507511 507520 507524 507542 507553 507554 507556 507571 507574 507580 507587 507603 507604 507608 507626 507627 507628 507635 507645 507659 507660 507666 507667 507691 507697 507701 507702 507703 507704 507705 507706 507707 507708 507709 507710 507740 507742 507744 507745 507746 507748 507751 507753 507754 507756 507757 507759 507760 507761 507762 507763 507764 507766 507767 507768 507769 507770 507772 507773 507774 507775 507778 507794 507803 507811 507812 507826 507827 507828 507838 507839 507842 507844 507865 507874 507877 507880 507883 507888 507896 507905 507928 507952 507954 508419 508420 508422 508424 508425 508426 508427 508428 508429 508430 508431 508432 508433 508434 508435 508436 508437 508438 508439 508440 508441 508442 508443 508444 508445 508446 508447 508448 508449 508450 508451 508452 508453 508454 508455 508456 508457 508458 508459 508460 508461 508462 508463 508464 508465 508466 508467 508468 508469 508470 508471 508472 508473 508474 508475 508476 508477 508478 508479 508480 508481 508482 508483 508484 508485 508486 508487 508488 508490 508491 508492 508493 508494 508495 508496 508497 508498 508499 508500 508501 508502 508503 508504 508505 508506 508507 508508 508509 508510 508511 508512 508513 508514 508515 508516 508518 508519 508520 508521 508522 508523 508524 508525 509044 509047 509049 509051 509056 509057 509058 509059 509060 509061 509062 509063 509064 509073 509083 509084 509085 509086 509095 509099 509101 509102 509103 509104 509105 509106 509109 509110 509115 509122 509141 509142 509143 509144 509145 509146 509147 509148 509152 509153 509162 509171 509176 509184 509209 509210 509211 509212 509213 509214 509215 509216 509217 509218 509220 509224 509225 509226 509229 509242 509245 509247 509265 509266 509268 509269 509270 509271 509272 509273 509274 509275 509276 509290 509303 509321 509328 509332 509333 509334 509336 509338 509339 509344 509345 509350 509356 509357 509358 509361 509362 509363 509367 509368 509378 509389 509395 509396 509400 509406 509417 509423 509424 509425 509426 509427 509433 509443 509445 509458 509470 509473 509474 509477 509479 509480 509483 509484 509485 509486 509487 509488 509493 509494 509495 509496 509497 509498 509499 509500 509501 509502 509503 509504 509505 509506 509507 509508 509509 509510 509511 509512 509513 509514 509515 509516 509523 509532 509534 509537 509538 509539 509540 509541 509542 509543 509544 509545 509546 509547 509548 509549 509550 509551 509552 509553 509554 509555 509556 509557 509558 509559 509560 509561 509562 509563 509564 509565 509566 509567 509568 509569 509570 509571 509572 509573 509574 509575 509576 509577 509578 509579 509580 509581 509582 509583 509586 509588 509589 509590 509591 509592 509593 509594 509595 509596 509597 509598 509602 509616 509618 509621 509622 509623 509624 509625 509626 509632 509633 509636 509637 509638 509639 509640 509643 509644 509645 509646 509647 509648 509651 509653 509654 509656 509657 509660 509661 509663 509665 509666 509667 509669 509670 509672 509673 509674 509675 509676 509677 509678 509679 509681 509682 509683 509684 509685 509686 509687 509688 509689 509690 509691 509692 509693 509694 509695 509696 509697 509698 509699 509700 509701 509702 509703 509704 509705 509706 509707 509708 509709 509710 509711 509712 509713 509714 509715 509716 509717 509718 509719 509720 509721 509722 509723 509724 509725 509726 509727 509728 509729 509730 509731 509732 509733 509734 509735 509736 509737 509738 509739 509740 509741 509742 509743 509744 509745 509746 509747 509748 509749 509750 509751 509752 509753 509754 509755 509756 509757 509758 509759 509760 509761 509762 509763 509764 509765 509766 509767 509768 509788 509795 509796 509797 509800 509801 509803 509804 509806 509807 509808 509809 509811 509812 509814 509815 509817 509818 509819 509820 509822 509823 509825 509827 509828 509833 509839 509841 509846 509847 509848 509850 509851 509852 509855 509857 509858 509860 509861 509862 509863 509864 509865 509866 509867 509868 509869 509870 509871 509872 509873 509874 509875 509876 509877 509878 509879 509880 509882
４．再発防止および今後の対応
5/12発生の障害と同様の障害と思われます。根本的な原因は不明です。
・高負荷の原因と思われるバグ回避のための追加の応急処置を行いました。
・従量利用および予約ジョブのポイント返却を予定しています。
・MDSのサービスが縮退しているためfailbackを行います。作業は数分で完了しますが、その間I/Oがハングする可能性があるため別途アナウンスを行った上で8/7に実施します。