AWS、東京リージョン23日午後の大規模障害について詳細を報告。冷却システムにバグ、フェイルセーフに失敗、手動操作に切り替えるも反応せず － Publickey

2019/08/25 607 users フェイルセーフ Publickey AWS パク 手動操作

AWS、東京リージョン23日午後の大規模障害について詳細を報告。冷却システムにバグ、フェイルセーフに失敗、手動操作に切り替えるも反応せず 報告によると直接の原因は東京リージョンのデータセンターで使用されている冷却制御システムにバグがあったこと。これにより、緊急時の手動操作にも冷却制御システムの一部が反... 続きを読む

8月23日のAWSの大規模障害でMultiAZでも突然ALB（ELB）が特定条件で500エラーを返しはじめたという話 - Make組ブログ

2019/08/23 591 users Alb ELB 前提 認識 AWS

このブログ記事で 「MultiAZ」にしていたら大丈夫という認識を変えられると嬉しいです （障害起こした人はちゃんとMultiAZにしてなかったんでしょ？という人の認識も変えられると嬉しいです）。 もちろんMultiAZにしておくことはある種、基本です。 前提 2019-08-23、AWSで大規模な障害が起こりました。 障害の一般的な... 続きを読む

AWS 東京リージョンで発生した大規模障害についてまとめてみた - piyolog

2019/08/23 761 users オーバーヒート piyolog 大部分 復旧 AWS障害

2019年8月23日 13時頃からAmazon AWS 東京リージョン でシステム障害が発生し、EC2インスタンスに接続できない等の影響が発生しています。ここでは関連する情報をまとめます。 AWS障害の状況 障害発生時間 約６時間 2019年8月23日 12時36分頃～18時39分頃（大部分の復旧） 障害原因 一部EC2サーバーのオーバーヒートによ... 続きを読む

AWS最先進ユーザーNetflix - 「サル軍団」にシステム障害を起こさせる、Netflixの驚異的なトラブル撲滅法：ITpro

2018/01/16 885 users リージョン ITpro AWS Netflix 中核施設

Netflixは、わざと本番障害を起こしてすぐ復旧させることを繰り返し、本当の障害発生に備える、という驚くべき手法「カオスエンジニアリング」を実践している。 その効果は実証されている。Netflixが全面的に採用しているAmazon Web Services（AWS）で、2017年2月に中核施設の一つ、米バージニア北部リージョン（広域データセンター群）にて大規模障害が起きたとき、別のリージョンに速... 続きを読む

みずほ、新システム夏完成へ　2度の障害、統合後初統一 - 共同通信 47NEWS

2017/05/02 694 users みずほ 障害 共同通信 引責 47NEWS

みずほフィナンシャルグループ（FG）が開発中の次期システムが今夏に完成する見通しとなったことが2日、分かった。第一勧業、富士、日本興業の3銀行が2000年に経営統合して発足したみずほグループのシステムは、2度の大規模障害を経て、初めて統一される。運用開始は来年度以降になるとみられる。 次期システムの開発は、02年と11年に大規模なシステム障害を起こし、11年は当時の銀行トップが引責辞任する事態に発... 続きを読む

大規模障害の概要と原因について（中間報告） ファーストサーバ サポートWEB

2012/06/24 1048 users 障害 対象 実施 運用 作業

6月20日に発生した大障害について、最新の状況を下記の通りご報告いたします。 なお、FAQを6月25日 9時ごろ公開予定です。あわせてご覧ください。 ■ 障害の概要 6月20日（水）17時ごろ、脆弱性対策を特定のサーバー群に対して実施しました。 脆弱性対策は更新プログラムを利用して一括して対象とするサーバー群に対して実施するという運用を以前から行っており、今回も同様に作業を実施しました。 実施にあ... 続きを読む