無線LANの基礎 無線LAN入門と導入事例

2014/08/16 2278 users 無線LAN 選定 装置 機種選定 障害

外注する場合でも無線LANの知識は必要 無線LANの装置の選定や設置を外注すれば良いと思われがちだが 大きな問題があった。 業者の提案した装置の良し悪しが判定できへん なのだ。 そして業者に丸投げしても、トラブルが起これば 私が障害対応しなければならない というわけで、それだったら、事前に調べられる事は調べて 機種選定だけでなく、障害対応ができるようにしておいた方が良いと考えた。 色々、検索サイト... 続きを読む

一定規模以上のWebサイトを運営しているエンジニアの方、業務時間外の障害対応ってどういう風にやっていますか？ - 人力検索はてな

2009/02/21 462 users エンジニア 人力検索 アラート 一定規模以上 Webサイト

一定規模以上のWebサイトを運営しているエンジニアの方、業務時間外の障害対応ってどういう風にやっていますか？ ルールとか体制とかを中心に教えてほしいです。 ちなみにぼくの会社では、監視ツールや自作監視スクリプトでアラートをエンジニア社員全員に送って、誰かが対応することになっています。（たまに誰も対応やレスをしなくて上司に怒られます） これはぼくら社員にとって正直ストレスになるので、なにかよいルール... 続きを読む

LinuxサーバでネットワークI/Oで刺さっている接続先を発見する - ゆううきメモ

2018/02/24 449 users Linuxサーバ ゆううきメモ ネットワークI 接続先 社内

2018 - 02 - 24 LinuxサーバでネットワークI/Oで刺さっている接続先を発見する Linux Linux サーバの障害対応で社内で伝統的に使われているテクニック。I/Oで完全にブロックしているポイントを特定するノウハウ。 問題対応のため、怪しいプロセスをstraceしてみる read(2)やwrite(2)でブロックしていることを発見する read(2)やwrite(2)、conn... 続きを読む

障害対応方法 - システム障害と僕達はいかにして戦えば良いのか、障害対応について考えた - Qiita

2015/12/17 438 users 障害 プログラミング IT界隈 弊社 バランス

IT界隈でエンジニアしていると、よく出くわすのが障害対応です。できれば会いたくないという人が多いと思うんですが、僕はけっこう好きです。障害対応。どこに原因があるのか調査をして、バランス良くベターな対応をしたときの楽しさは、プログラミングとはまた違ったものがあります。探偵っぽい感じが面白いですよね。もちろん、障害が発生しない状況を作るのが一番です 弊社では数多くのWebサービス／アプリを運営している... 続きを読む

良いディフェンダーはタックルをしないし、良いエンジニアは障害対応をしない · takus's blog

2015/11/09 318 users タックル takus's blog 良いエンジニア

Amazon のオススメ本に出てきた「 サッカー　データ革命　ロングボールは時代遅れか 」を読んでみました。 この本は、野球界における「 マネーボール 」のように、 サッカーを様々なデータを元に見つめ直すような内容になっていて、 例えば、チームが負けているときに交代によって最大の効果を得るためには、 1 人目の交代を後半 13 分、2 人目を後半 28 分、3 人目を後半 34 分までに行うべきと... 続きを読む

障害対応で大切だと感じていることのまとめ - Qiita

2024/01/18 310 users まとめ - Qiita 一昨日 操作ミス ユーザー 影響

私個人の障害対応の経験と 一昨日参加したIncident Response Meetup vol.1での学びから 障害対応において大切だと感じていることをまとめる。 障害とは リリース後のシステムにおいてシステムの不具合やユーザーの操作ミスによってユーザー業務に影響が出ているもしくは出る恐れがあるもの。 障害対応の目的 システムを... 続きを読む

Webサービスの障害対応のときの思考過程 - ぱいぱいにっき

2020/08/30 296 users 筆者 スキル ぱいぱいにっき スピード 正確さ

起こってほしくはないのですが、あらゆるWebサービスは完璧に動作する状態を維持することは難しく、やはり障害対応・トラブルシューティングといった作業が発生します。 筆者は普段仕事で障害対応を不幸なことによくやるのですが、障害対応のスキルというのはスピードや判断の正確さが求められるせいか、今までやったこ... 続きを読む

LAMP環境（Linux,Apache,MySQL）の障害対応で最初のアタリをつけるための秘伝のタレ - Qiita

2015/12/19 275 users Qiita karia 歴戦 あたり 秘伝

この記事は animateLAB Advent Calendar 2015 19日目の記事です。 こんにちは。ポエムおじさんこと @karia です。今年のAdvent Carendarもついに19日目となりました。後半に入り歴戦のエンジニアたちが次々と参戦してくれて、主催者としてはありがたい限りです。 今日はポエムデーのはずだったのですが、予定を変更して私の手元の秘伝のタレに少し味付けをして公開... 続きを読む

システム障害との向き合い方 @sinamon129 #tokyogirlsrb - Speaker Deck

2019/03/02 250 users techplay.jp フェーズ 大小 沢山 習熟度

これまで大小様々なシステム障害に遭遇してきましたが、障害対応から学ぶことは沢山あります。 いろんな習熟度のフェーズで障害発生を学びに変えるための行動事例や、webアプリケーション開発において障害対応を減らすためにできることなどをお話しできればと思います。 TokyoGirls.rb Meetup vol.1 https://techplay.jp... 続きを読む

スタートアップ企業向けインフラ運用入門（1）：監視 - O'Reilly Japan Community Blog

2012/06/05 216 users 監視 ret 鹿島 専任 省力化

スタートアップ企業等の少人数チームの場合、専任のシステム運用担当がいることは稀だと思います。本記事では、そうした少人数チームの開発兼運用担当者を主な対象として、システム運用の重要な要素である「システム稼働状況の確認、障害対応」を省力化するための方法の一つとして「システムの監視」の方法について説明します。 少人数チームでのシステム運用 Retty開発担当の鹿島です。第1回で少し紹介しましたが、Ret... 続きを読む

ITインフラの障害時、「今どうなってるんだおじさん」にならないために　必要な心構えを考える

2022/09/13 205 users 心構え KDDI タネ ITインフラ おじさん

先日、KDDIが大規模な通信障害を起こした。社会インフラである携帯電話に関する障害ということもあって影響は大きく、SNSでもさまざまな話題のタネになった。障害対応をしている真っ最中の現場など、関係各所に「今どうなってるんだ」と怒鳴り込み、解決を遅らせる「今どうなってるんだおじさん」もその一つだ。 例えばa... 続きを読む

私がインフラ運用保守で意識して行っていること(コラム) - Qiita

2023/03/05 190 users 過信 Qiita 油断 インフラ 運用保守

～はじめに～ 運用保守は、手順書通りするだけの楽な業務と勘違いしていませんか？ 私は3年間運用保守(インフラ)に携わり、手順書作成や障害対応/調査、運用支援など様々なことを行ってきました。そんな私が思うに運用保守は、全くそんな楽な業務でありません。 運用保守は過信と油断をすれば、すぐに業務影響を出してし... 続きを読む

恥かどうかはともかく、そもそも逃げれない障害対応のお話 - Qiita

2016/12/20 174 users Qiita SIer キャッキャウフフ 分散開発 クリスマス

システムエンジニア Advent Calendar 2016 の20日目の記事だよ！ 昨日は @sh-ogawa さんの「 SIerが実践する分散開発とバージョンコントロール 」でした！！ システム障害のお話 は〜い、こんにちは！いよいよクリスマス間近ですね！ この時期になると、キャッキャウフフの予定も盛りだくさんだと思います！ 1 そんな大事な日に限って起こるのが あれ です。 そう、みなさんも... 続きを読む

peco/percolでCUIなスニペットツールを作ってみる - Glide Note - グライドノート

2014/06/26 171 users peco zsh sheet percol 補完

以前にSheetというスニペットツールを利用すると大変便利と書いた。 CUIなスニペットツールsheetが便利なのでzshでsheetファイルを補完 - Glide Note - グライドノート で、障害対応で使うコマンドとかよく忘れるコマンドを大量に登録してて、毎日使ってて重宝してるんですが、スニペットが 増えると管理が破綻する問題があって、pecoやpercolを使えば解決出来そうと思ってやっ... 続きを読む

インフラエンジニア双六 - Togetter

2011/11/01 146 users ゴール 結論 炎上プロジェクト Togetter 仕様変更

インフラエンジニア双六で盛り上がるなど「仕様変更で10マス戻る」「障害対応で徹夜勤務で1回休み」「炎上プロジェクトで鬱になり1回休み」 結局、誰もゴールが出来ねぇという結論に至った 続きを読む

池澤あやかと学ぼう! Azureで Ruby on Rails | MSDN

2014/05/16 81 users PaaS MSDN Azure Ruby 池澤あやかさん

Ruby の女神として有名な女優の池澤あやかさんが自作アプリを Azure に公開! Microsoft Azure (パブリック クラウド サービス) と Engine Yard (アプリの実行環境を PaaS として提供) を利用して、アプリを Azure に公開する手順をお見せします。 Azure と Engine Yard を利用すれば、環境構築や障害対応の手間を省いて、アプリ開発に専念す... 続きを読む

障害ヲ抱擁セヨ──大規模クラウドサービスをマイクロサービスアーキテクチャで作るNetflixが実践する障害注入テスト（FIT）とは何か - さくらのナレッジ

2015/10/13 75 users ナレッジ Netflix Fit さくら 深夜

「障害ヲ抱擁セヨ（”Embracing Failure”）」という言葉を聞いて、読者の皆さんはどのように感じるでしょうか？　深夜や休日に障害対応をしなければならなかった思い出が蘇る方もいるかもしれません。この言葉からメッセージを想像して「なるほど」と思う方もいるかもしれません。 「障害ヲ抱擁セヨ」とは、動画サービス大手のNetflixが「障害注入テスト（FIT :Failure Injection... 続きを読む

PagerDutyを導入して障害対応の体制と運用ルールを確立しました - LCL Engineers' Blog

2018/11/30 68 users PagerDuty LCL LCL Engineers 古賀

Webエンジニアの古賀です。LCLでは、障害対応の強化の一つとして多機能な通知機能を持つPagerDutyを導入しました。 組織的な対応シフト・フローが組めるようになり、精神的にとても安心できるようになったので紹介させていただきます。 pagerduty.digitalstacks.net 導入前の課題 LCLでは、Mackerelを利用して各サーバの... 続きを読む

AWS障害による影響を小さくするための設計(2011/4/21の障害を踏まえて) - よかろうもん！

2011/04/25 67 users AWS障害 障害 設計 影響 youRoom

youRoomでの障害対応と、SonicGardenの運用の考え方について、先日id:mat_akiがブログを公開しました。　『youRoomにおいて発生した 2011/4/21 のAWSの障害について技術的な観点から』今回のブログでは、”今回のAWSの障害を通じて、AWSを今後も活用していくための振り返りを、より技術的な観点からしたいと思います”。今回は、us-east-1リージョンにおけるEB... 続きを読む

チーム状態をスムーズに変えて障害対応のコストと精神的負荷を抑える - VOYAGE GROUP techlog

2017/07/14 66 users バッチ at_grandpa 目次 原因究明 techlog

2017 - 07 - 14 チーム状態をスムーズに変えて障害対応のコストと精神的負荷を抑える こんにちは。 @at_grandpa です。普段はバッチを書いたりメンテナンスをしています。 今回は、先日起きた障害対応の時、チームの状態をスムーズに変えることで対応コストと精神的負荷を抑えられた、ということを書きます。 目次 目次 障害発生 普段の対応 今回の対応 原因究明と現状把握 関係者が会議室に... 続きを読む

メンテナンスやトラブルの際にディレクターがしておいた方がいい“8”のTips - livedoor ディレクターブログ

2011/07/14 57 users livedoor Tips ディレクター 初動 渡邉雄介

2011年07月14日 20:53 メンテナンスやトラブルの際にディレクターがしておいた方がいい“8”のTips ディレクション 開発体制 Tweet ディレクターの渡邉雄介です。担当しているサービスのメンテナンスやトラブルがあったとき、初動が遅れたり、パニックになって判断能力が鈍ってしまったことはないでしょうか？ ディレクターブログでは、すでに何度か障害時の基本的な対応についての記事 (障害対応... 続きを読む

障害対応で一番最初にやるべきことは全体への周知じゃね?

2018/06/28 55 users 周知 最初 全体

結構｢障害対応ハウツー｣みたいなのはググればいくらでも記事が出てくるけどここに言及してる記事が案外少ないなあと思ってどうしても書きたくなりました. 新人でもすぐできるからぜひ覚えてもらいたくて｢新人プログラマ応援｣のタグも付けました. 監視ツールの通知によってとか, 誰かに｢このページ見れなくなってるよ｣っ... 続きを読む

最速で見つけて最速で解決！障害対応を高速化する工夫と文化 - pixiv inside

2018/04/02 53 users pixiv inside 工夫 最速 文化 解決

こんにちは、プロモーション戦略室のikariです。ピクシブの各サービスの集客・販促を行う傍ら、Twitterほか各種SNS上にあるpixiv公式アカウントを使ったユーザーアナウンスを担当しています。 さて、Webサービス開発に携わっている方であれば誰しも経験するであろう、自社サービスの「障害」。私自身も、これまでに何度か障害対応を行ってきました。 普段から障害を起こさない工夫をしておくことは当然と... 続きを読む

Webアプリケーションの障害対応について改めて意識すべき点ややれると良いことをまとめる - stefafafan の fa は3つです

2020/09/07 46 users Webアプリケーションエンジニア stefafafan

Webアプリケーションエンジニアをやっていると時たま障害が発生し復旧作業にあたるのだが、人によって「障害対応が得意」だったり「苦手」だったりする。ただ、障害対応時の「良い動き」というのが実際どういうものなのかというのが自分の中でふんわりしていたので、ざっくりはてブで「障害対応」で検索していくつかのエ... 続きを読む

9/26(水)に発生した障害の詳細報告とその後の取り組みについて - Mackerel ブログ #mackerelio

2018/10/15 31 users mackerelio redis 障害 仮説検証 復旧作業

9/26(水)に発生した障害の詳細報告とその後の取り組みについてお知らせいたします。 発生時間 当日のタイムライン(いずれも日本時間) 10:51 Redisのフェイルオーバーと障害発生 10:55 復旧作業と障害継続 11:00-14:50 障害対応 15:20 復旧確認 障害発生の原因について 仮説検証について 今後の対応 Redisフェイルオーバ... 続きを読む