障害の発生原因と今後の取り組みについてのご報告 - Nature

2024/07/11 87 users Nature 事象 平素 データベース 再発防止

平素よりNatureの商品・サービスをご利用いただき、誠にありがとうございます。 先日、2024年7月8日22:00より発生しましたシステム障害の原因と、再発防止および障害発生時の影響を最小限に抑えるための取り組みについてご報告いたします。 発生した事象と原因 今回のシステム障害は、Natureサーバー上のデータベースに... 続きを読む

マスク氏、有事に強いインターネット設備構築目指す台湾に最後通告

2023/07/07 194 users 有事 Leo 最後通告 台湾 標的

台湾のインターネットをほぼ全面的に支えているのは14本の海底ケーブルだ。台湾が中国と戦争することになれば、これが格好の標的になるだろう。 中国との緊張が高まる中、台湾政府は域内の通信体制強化を目指し、障害発生時に接続を支援できるような低軌道（ＬＥＯ）衛星システムを求めて世界各国を訪問している。 イー... 続きを読む

なぜ「SIMカードなし」のスマホから緊急通報を利用できないのか？

2022/07/13 185 users 緊急通報 SIMカード KDDI スマホ 通信障

7月2日から発生したKDDIの通信障害により、緊急通報が利用できない事態に陥りました。こうした状況を受け、障害発生時には緊急通報だけでも他社回線を使って発信できないのかという指摘も出始めています。一方、SIMカードのない状態で緊急通報は利用できないのでしょうか。 7月2日未明に発生した、KDDIの大規模な通信障... 続きを読む

障害発生時に担当者へのオンコールを自動化「Grafana OnCall」がオープンソースで公開

2022/06/15 173 users オンコール オープンソース Prometheus 自動化 公開

クラウド対応のログ可視化ツールとして知られる「Grafana」や監視システム「Prometheus」などを開発し提供するGrafana Labsは、障害発生時に担当者へのオンコールを自動化できるオンコールマネジメントソフトウェア「Grafana OnCall」をオープンソースで公開したことを明らかにしました。 Introducing the newest member... 続きを読む

【保存版】東京リージョンの AWS 障害発生時にクラスメソッドのテクニカルサポートチームがやっていること | DevelopersIO

2021/03/29 191 users DevelopersIO クラスメソッド AWS 保存版

どのような事前準備をしているか 有事の際は想定外のことが発生しやすく、事前準備をしていないと冷静な対応が難しくなります。 いきなりしっかりした事前準備をすることは難しいので、徐々に成熟度を上げていきます。 本章では以下の観点で、事前準備についてご紹介します。 手順書 自動化 訓練 手順書 フローやチェッ... 続きを読む

SingleAZ配置のEC2インスタンスで障害発生時の影響を最小化する ｜ DevelopersIO

2019/08/27 90 users 西澤 DevelopersIO 東京リージョン 一方 最小限

西澤です。8/23(金)に東京リージョンにおいて大規模な障害が発生し、多くのシステムが影響を受けました。この障害に際して、可用性を担保する設計の重要性を考えさせられた一方で、切り捨てるものを決め、迅速に復旧し、障害の影響を最小限に抑えることも大切なことだと痛感しました。シングル構成のシステムを運用され... 続きを読む

「障害発生時に即座に収集したいサーバの状態・14項目」を実際に収集してみた - えいのうにっき

2016/11/20 237 users 佐野裕 スキルアップ インフラ インフラエンジニア 作者

2016 - 11 - 20 「障害発生時に即座に収集したいサーバの状態・14項目」を実際に収集してみた 技術 インフラ 本 僕はインフラエンジニアではないし、そうだったこともないのだけど、いま「インフラエンジニアの教科書２」という本を読んでいる。 インフラエンジニアの教科書2 スキルアップに効く技術と知識 作者: 佐野裕 出版社/メーカー: シーアンドアール研究所 発売日: 2016/08/26... 続きを読む

障害発生時にも漏れなし！ Zabbixの監視アラートでRedmine上にチケットを起票する仕組みをつくろう （1/4）：CodeZine

2015/01/22 158 users CodeZine Zabbix アラート チケット きっかけ

今回は、システム監視ツール「Zabbix」が発したアラートをきっかけとして、障害の詳細情報などを記述したチケットをRedmine上へ起票する仕組みを作ります。障害発生時はその対応に追われ、Redmineチケットの起票を忘れがちです。障害の詳細情報と、対応完了までの記録をきちんと残すために、こうした仕組みを構築することをお勧めします。 障害発生時でも確実にチケットを起票できますか？　前回は、Redm... 続きを読む

障害発生時にZabbixサーバーから電話を掛けさせる方法

2013/05/23 108 users Zabbix 監視サーバー 電話 http 実行

Zabbixサーバー障害発生時に自動的に電話を掛けさせる方法 Zabbixからの電話発信方法 http://www.slideshare.net/BlueSkyDetector/zabbixjp-study-20100730-2nd-session 実行にはX Windowが必要ですが、幸いなことに監視サーバーにはX Windowが入っています。 俺のZabbixがこんなに可愛いわけがない　~おか... 続きを読む

AWS：Route 53のDNSフェイルオーバー機能を利用したリージョンを跨いだバックアップサイトの構築（S3編） ｜ クラスメソッド開発ブログ

2013/02/13 50 users リージョン DNSフェイルオーバー機能 AWS バックアップ

■Route 53へのフェイルオーバー機能とヘルスチェック機能の追加 先日のAWSよりRoute 53へのフェイルオーバー機能とヘルスチェック機能の追加に関しての発表がありました。 AWSでWebサイトなどをホストする場合、障害発生時に一時的にSorry Pageを表示したり、バックアップのWebサイトに切り替えたりといったことを自動的に行うことはこれまで比較的難しいかったと思います。 今回、Ro... 続きを読む