障害対応で大切だと感じていることのまとめ - Qiita

2024/01/18 310 users まとめ - Qiita 一昨日 操作ミス ユーザー 影響

私個人の障害対応の経験と 一昨日参加したIncident Response Meetup vol.1での学びから 障害対応において大切だと感じていることをまとめる。 障害とは リリース後のシステムにおいてシステムの不具合やユーザーの操作ミスによってユーザー業務に影響が出ているもしくは出る恐れがあるもの。 障害対応の目的 システムを... 続きを読む

私がインフラ運用保守で意識して行っていること(コラム) - Qiita

2023/03/05 190 users 過信 Qiita 油断 インフラ 運用保守

～はじめに～ 運用保守は、手順書通りするだけの楽な業務と勘違いしていませんか？ 私は3年間運用保守(インフラ)に携わり、手順書作成や障害対応/調査、運用支援など様々なことを行ってきました。そんな私が思うに運用保守は、全くそんな楽な業務でありません。 運用保守は過信と油断をすれば、すぐに業務影響を出してし... 続きを読む

ITインフラの障害時、「今どうなってるんだおじさん」にならないために　必要な心構えを考える

2022/09/13 205 users 心構え KDDI タネ ITインフラ おじさん

先日、KDDIが大規模な通信障害を起こした。社会インフラである携帯電話に関する障害ということもあって影響は大きく、SNSでもさまざまな話題のタネになった。障害対応をしている真っ最中の現場など、関係各所に「今どうなってるんだ」と怒鳴り込み、解決を遅らせる「今どうなってるんだおじさん」もその一つだ。 例えばa... 続きを読む

Webサービスの障害対応のときの思考過程 - ぱいぱいにっき

2020/08/30 296 users 筆者 スキル ぱいぱいにっき スピード 正確さ

起こってほしくはないのですが、あらゆるWebサービスは完璧に動作する状態を維持することは難しく、やはり障害対応・トラブルシューティングといった作業が発生します。 筆者は普段仕事で障害対応を不幸なことによくやるのですが、障害対応のスキルというのはスピードや判断の正確さが求められるせいか、今までやったこ... 続きを読む

システム障害との向き合い方 @sinamon129 #tokyogirlsrb - Speaker Deck

2019/03/02 250 users techplay.jp フェーズ 大小 沢山 習熟度

これまで大小様々なシステム障害に遭遇してきましたが、障害対応から学ぶことは沢山あります。 いろんな習熟度のフェーズで障害発生を学びに変えるための行動事例や、webアプリケーション開発において障害対応を減らすためにできることなどをお話しできればと思います。 TokyoGirls.rb Meetup vol.1 https://techplay.jp... 続きを読む

LinuxサーバでネットワークI/Oで刺さっている接続先を発見する - ゆううきメモ

2018/02/24 449 users Linuxサーバ ゆううきメモ ネットワークI 接続先 社内

2018 - 02 - 24 LinuxサーバでネットワークI/Oで刺さっている接続先を発見する Linux Linux サーバの障害対応で社内で伝統的に使われているテクニック。I/Oで完全にブロックしているポイントを特定するノウハウ。 問題対応のため、怪しいプロセスをstraceしてみる read(2)やwrite(2)でブロックしていることを発見する read(2)やwrite(2)、conn... 続きを読む

恥かどうかはともかく、そもそも逃げれない障害対応のお話 - Qiita

2016/12/20 174 users Qiita SIer キャッキャウフフ 分散開発 クリスマス

システムエンジニア Advent Calendar 2016 の20日目の記事だよ！ 昨日は @sh-ogawa さんの「 SIerが実践する分散開発とバージョンコントロール 」でした！！ システム障害のお話 は〜い、こんにちは！いよいよクリスマス間近ですね！ この時期になると、キャッキャウフフの予定も盛りだくさんだと思います！ 1 そんな大事な日に限って起こるのが あれ です。 そう、みなさんも... 続きを読む

LAMP環境（Linux,Apache,MySQL）の障害対応で最初のアタリをつけるための秘伝のタレ - Qiita

2015/12/19 275 users Qiita karia 歴戦 あたり 秘伝

この記事は animateLAB Advent Calendar 2015 19日目の記事です。 こんにちは。ポエムおじさんこと @karia です。今年のAdvent Carendarもついに19日目となりました。後半に入り歴戦のエンジニアたちが次々と参戦してくれて、主催者としてはありがたい限りです。 今日はポエムデーのはずだったのですが、予定を変更して私の手元の秘伝のタレに少し味付けをして公開... 続きを読む

障害対応方法 - システム障害と僕達はいかにして戦えば良いのか、障害対応について考えた - Qiita

2015/12/17 438 users 障害 プログラミング IT界隈 弊社 バランス

IT界隈でエンジニアしていると、よく出くわすのが障害対応です。できれば会いたくないという人が多いと思うんですが、僕はけっこう好きです。障害対応。どこに原因があるのか調査をして、バランス良くベターな対応をしたときの楽しさは、プログラミングとはまた違ったものがあります。探偵っぽい感じが面白いですよね。もちろん、障害が発生しない状況を作るのが一番です 弊社では数多くのWebサービス／アプリを運営している... 続きを読む

良いディフェンダーはタックルをしないし、良いエンジニアは障害対応をしない · takus's blog

2015/11/09 318 users タックル takus's blog 良いエンジニア

Amazon のオススメ本に出てきた「 サッカー　データ革命　ロングボールは時代遅れか 」を読んでみました。 この本は、野球界における「 マネーボール 」のように、 サッカーを様々なデータを元に見つめ直すような内容になっていて、 例えば、チームが負けているときに交代によって最大の効果を得るためには、 1 人目の交代を後半 13 分、2 人目を後半 28 分、3 人目を後半 34 分までに行うべきと... 続きを読む

無線LANの基礎 無線LAN入門と導入事例

2014/08/16 2278 users 無線LAN 選定 装置 機種選定 障害

外注する場合でも無線LANの知識は必要 無線LANの装置の選定や設置を外注すれば良いと思われがちだが 大きな問題があった。 業者の提案した装置の良し悪しが判定できへん なのだ。 そして業者に丸投げしても、トラブルが起これば 私が障害対応しなければならない というわけで、それだったら、事前に調べられる事は調べて 機種選定だけでなく、障害対応ができるようにしておいた方が良いと考えた。 色々、検索サイト... 続きを読む

peco/percolでCUIなスニペットツールを作ってみる - Glide Note - グライドノート

2014/06/26 171 users peco zsh sheet percol 補完

以前にSheetというスニペットツールを利用すると大変便利と書いた。 CUIなスニペットツールsheetが便利なのでzshでsheetファイルを補完 - Glide Note - グライドノート で、障害対応で使うコマンドとかよく忘れるコマンドを大量に登録してて、毎日使ってて重宝してるんですが、スニペットが 増えると管理が破綻する問題があって、pecoやpercolを使えば解決出来そうと思ってやっ... 続きを読む

スタートアップ企業向けインフラ運用入門（1）：監視 - O'Reilly Japan Community Blog

2012/06/05 216 users 監視 ret 鹿島 専任 省力化

スタートアップ企業等の少人数チームの場合、専任のシステム運用担当がいることは稀だと思います。本記事では、そうした少人数チームの開発兼運用担当者を主な対象として、システム運用の重要な要素である「システム稼働状況の確認、障害対応」を省力化するための方法の一つとして「システムの監視」の方法について説明します。 少人数チームでのシステム運用 Retty開発担当の鹿島です。第1回で少し紹介しましたが、Ret... 続きを読む

インフラエンジニア双六 - Togetter

2011/11/01 146 users ゴール 結論 炎上プロジェクト Togetter 仕様変更

インフラエンジニア双六で盛り上がるなど「仕様変更で10マス戻る」「障害対応で徹夜勤務で1回休み」「炎上プロジェクトで鬱になり1回休み」 結局、誰もゴールが出来ねぇという結論に至った 続きを読む

一定規模以上のWebサイトを運営しているエンジニアの方、業務時間外の障害対応ってどういう風にやっていますか？ - 人力検索はてな

2009/02/21 462 users エンジニア 人力検索 アラート 一定規模以上 Webサイト

一定規模以上のWebサイトを運営しているエンジニアの方、業務時間外の障害対応ってどういう風にやっていますか？ ルールとか体制とかを中心に教えてほしいです。 ちなみにぼくの会社では、監視ツールや自作監視スクリプトでアラートをエンジニア社員全員に送って、誰かが対応することになっています。（たまに誰も対応やレスをしなくて上司に怒られます） これはぼくら社員にとって正直ストレスになるので、なにかよいルール... 続きを読む