【悲報】東証、システム障害の原因を特定「自動切り替えできない設定値になっていた」

https://www.itmedia.co.jp/news/articles/2010/06/news063.html


東京証券取引所は10月5日、株式売買システム「arrowhead」（アローヘッド）で1日に発生した障害の原因を特定し、
4日中に修正したと発表した。

障害は、ストレージ内でメモリ故障が起き、サブ機にも切り替わらなかったことが原因。
メモリ故障による障害が起きた際、自動切り替えできない設定値になっていたという。


https://image.itmedia.co.jp/news/articles/2010/06/l_yx_tos.jpg

東証のニュースリリースより

arrowheadのユーザー情報などを格納するストレージ「共有ディスク装置」の1号機に搭載されたメモリが故障したことに起因。
1号機が障害を検知すると、切り替え用設定値に従って自動で2号機に切り替わるはずが、切り替わらなかった。

調査したところ、メモリ故障が原因の障害パターンが発生した際、自動切り替えできない設定値になっていたという。
設定値を変更すれば、自動切り替えできることが判明。4日にシステムに適用し、自動切り替えが動作することを確認したという。

稼働前のテストでは、1号機と2号機相互の死活監視を途絶えさせても、自動切り替えできていたという。

1日の障害では、東証の全取引が終日停止した。

マヌケだな
これは責任問題になるんじゃないの？

はい
人為ミス
損害賠償

設定ミスにしちゃってるけど、実際の原因を隠してるのかもよ。
あのIT会社は嘘つくからなぁ。

設定いじってテストして戻し忘れ、かな？

完全故障は切り替わるけど
性能劣化では切り替わらんってことかｗ
システムの設計ミスだな

東証は賠償請求していいと思うんだけどなぁ。

チャンコロ社員「国慶節のプレゼントｱﾙ」

ヒューマンエラーだな
どんなシステムを作っても
使う人間がバカなら無意味と言う好例

東証がわざと切り替え出来ない設定にするタイミングなんて無いでしょあんの？

ハードの設計ミスや故障じゃなかったんだね？
整定値ミス？

そもそも客のシステムを勝手にテストなんて出来ないっての

テストやるのが糞面倒で金かかるから適当にテスト環境作ってやった事にしたから起きた事

自動切り替えの条件を細かく設定しすぎていたんだな
Elseに行った場合に切り替えしない様になっていた　応答あるけど正常でない場合も切り替えないといけなかった

切替のテストやった後に、作業とかテストで、一時的に変更して戻し忘れたんじゃないかね

少なくともシステム管理者権限が無いと数値変えられないだろ
ディスクのキャッシュメモリのエラー見て切り替えるんだから
そうとう上のやつだなこのポカやった責任者ｗ

この件で外国人投資家が減ったら大問題だぞ
どうすんの？(´･ω･｀)

テストシナリオが全然パターン網羅してないんだろう。

HPならありえないわな。日本は多重下請け構造だからテスト実行したのも外注だしな。

日本の会社は利益にならないところは限界まで削る悪い癖があるんだよ
レビュー体制の不備ってのは大概の日本の会社に言えること

過去にメモリモジュール交換した事があったりして
交換中にフェイルオーバさせたくないから設定弄る→そのままで運用とか

富士通製のサーバーてソラリスで、ディスクの監視ソフトてVxVMかね？

富士通担当責任者の処遇が気になる　アーメン

次がんばれよ(´・ω・`)

これは被災・障害試験やってない証拠
やってもペーパー

これは富士通の担当者が泣くまでなぜなぜ分析する流れ

＞ストレージ内でメモリ故障

家庭用PCに当てはめるとどの部分？
SSDのDRAMキャッシュとか？

意外と海外ではこういう内的要因でのダウンは聞かないよね。台風とか外的要因は聞くけど

正直に言っただけ偉いわ
怒られときなさい

本来なら韓国や中国から出てくる話







三流国が確定した瞬間である

もう富士通のスマホに因んでArrowsheadに改名しろよ