shutdownシステムアカウントが見事に本番サーバを停止させた - Qiita

2024/12/19 12 users Shutdown Qiita オペレーション 結論 本番サーバ

本番環境などでやらかしちゃった人 Advent Calendar 2024 19日目の記事です。 先に結論 本番サーバで安直に初めてのオペレーションを行ってはいけません。 はじめに 10年以上前のある日、Linuxサーバの管理をしているとき『shutdown』ユーザーにスイッチしたところ、予期せぬ形で本番サーバが停止してしまいました。 背... 続きを読む

検証したのに冗長ルータが本番環境では切り替わらなかった話 - Qiita

2024/12/17 144 users 懺悔 ルータ Qiita 資料一式 ネットワークエンジニア

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? もう10年ぐらい前の話なので懺悔として記載します。 背景 まだ駆け出しのネットワークエンジニアだった私は、先輩から「こういうルータ作ったんだけど動作検証しといて」と資料一式... 続きを読む

Cloud SQL を夜間自動停止してコストを削減してみた

2024/12/03 14 users Cloud SQL コスト Yano QAE 一環

この記事は、Magic Moment Advent Calendar 2024 2日目の記事です。 こんにちは、 Magic Moment で QAE をやっている yano です。 今年は Cloud Infra におけるコスト最適化や節約を実施することが多かった一年でした。 インフラコスト削減施策の一環で、本番環境ではない環境で利用している Cloud SQL インスタンスは夜... 続きを読む

開発環境のデータベースでも本番環境相当のデータを使う - クックパッド開発者ブログ

2024/10/01 170 users データベース クックパッド クックパッド開発者ブログ データ

こんにちは。レシピ事業部バックエンド基盤グループの石川です。 2014 年、このブログに『開発環境のデータをできるだけ本番に近づける』というタイトルの記事が投稿されました。 クックパッドでは、ユーザーさんが実際に体験している状況と近い状況を再現しながら開発することに価値があると考えています。技術的には、... 続きを読む

シンデレラのように魔法がとけないうちは本番環境にアクセスできるようにしてみた - NTT Communications Engineers' Blog

2024/09/26 17 users シンデレラ GitHub Action 目次 実装 魔法

この記事では、できるだけアクセスを絞るべき本番環境に対して、かのシンデレラのように時間制限つきの承認性アクセスができるようにした事例を紹介します。 目次 目次 はじめに 背景 複数の環境 これまでの運用 課題 実現方法 実装 - Google Cloud IAM 設定スクリプト 設定 - GitHub Environments 実装 - GitHub Action... 続きを読む

インターンの二週間で社内APIを新しく建て本番リリースまで何でもやった話【ソフトウェアエンジニアインターン参戦記】 - エムスリーテックブログ

2024/09/02 18 users インターン エムスリーテックブログ 本番リリース 河村 二週間

はじめまして。河村 (@KowerKoint2010)です。 この夏、エンジニアリンググループ AI・機械学習チームで2週間の新卒ソフトウェアエンジニアインターンに参加しました。 インターンでは、「Yucca」という内部サービスの改善を担当しました。 当初与えられた課題については設計・開発から本番環境へのリリース、そしてユー... 続きを読む

本番環境における等価比較を活用した言語リプレイス - ZOZO TECH BLOG

2024/08/30 14 users リプレイス ZOZO TECH BLOG SESエンジニア

はじめに こんにちは。基幹システム本部・物流開発部の上原です。昨年度に中途入社しまして、現在はZOZO基幹システムのリプレイスを担当しています。前職では、SESエンジニアとしてリプレイスプロジェクトに上流工程から参画し、大規模なシステムの言語リプレイスを経験してきました。さて私の紹介はこの辺りにして本題... 続きを読む

本番環境でテストするって話の日本人の反応と海外の反応

2024/08/15 200 users 反応 海外 日本人 オライリー HighWiz

https://x.com/HighWiz/status/1817197569099051158 マリーアントワネット「検証機がないなら，本番環境を使えばいいじゃない。」 これに対し，日本のITエンジニアたちは激おこである。 そして大半が本番環境でテストをするのはけからんという話に終始している。これが日本の姿である。 まるでオライリーの「オブザーバ... 続きを読む

GitHub Actionsの脅威検知ツール tracee-action を触ってみる

2024/07/16 20 users GitHub Actions セキュリティエンジニア 利用

はじめに こんにちは、セキュリティエンジニアのJJ (yuasa)です。今回はGitHub Actionsのワークフローにおける脅威検知ツールであるtracee-actionを触り、検知ルールの書き方について見ていきます。なお、tracee-actionは2024年7月時点で本番環境での利用は想定されていない点にご注意ください。 This project is not pr... 続きを読む

エンジニア運用工数40%削減！Bill One における運用改善のとりくみ - Sansan Tech Blog

2024/06/17 14 users Bill One Sansan Tech Blog 半年

Bill One Engineering Unitの田上です。運用改善と題したプロジェクトによって、エンジニアの運用工数を半年で40%削減することに成功したので、今回はその取り組みをご紹介します。 背景 Bill One のエンジニアリング組織では、フルサイクルエンジアリングで開発と運用を行っており、開発者自身が運用対応（本番環境で発... 続きを読む

Findyの爆速開発を支える「システムを守るテストコード」の実例3選 - Findy Tech Blog

2024/06/13 18 users Findy デプロイ Four Keys 戸田 爆速開発

こんにちは。 Findy で Tech Lead をやらせてもらってる戸田です。 弊社では本番環境へのデプロイを1日に複数回実行していますが、本番環境での不具合の発生率は低いです。 次の画像は弊社のあるプロダクトの直近1年のFour Keysの数値です。 平均で1日2.3回の本番デプロイを行っていますが、変更障害率は0.4%程度を維持... 続きを読む

Okta Customer Identity Cloud(旧 Auth0)のForms for ActionsがEAになったよ - ドワンゴ教育サービス開発者ブログ

2024/06/07 7 users 金子 ステージ 採用 教育事業 新機能

はじめに こんにちは。ドワンゴ教育事業バックエンドエンジニアの金子です。 Okta Customer Identity Cloud(旧 Auth0。以下 Okta CIC)の新機能「Forms for Actions」(以下 Forms)がEarly Accessになりました。本番環境での使用も想定されているステージです。 教育事業での採用も見据えて、どんな機能なのか調べてみたの... 続きを読む

Aurora MySQLのメモリ不足の原因を特定する

2024/05/08 17 users Aurora MySQL メモリ不足 原因 OOM Slack

シンプルフォーム株式会社でインフラエンジニアをしている守屋です。 本記事では Aurora MySQL の OOM(メモリ不足)エラーについて、原因となるクエリを特定するために役立つ Tips を弊社での実例を交えてご紹介します。 発端 突如 Slack に鳴り響く不吉な通知。 「パターン青！障害です！！」 どうやら本番環境の Aurora... 続きを読む

ローカルからCloud SQLに接続する方法 by Cloud SQL Auth Proxy

2024/04/05 11 users ローカル Cloud SQL NIKKO GCP Apps

お久しぶりです。GMO NIKKOのharuです。 私が担当するサービスGood!Appsは、GCPを用いて本番環境をクラウド上に構築しております。当然データベースもCloud SQLを使用しているのですが、次のような用途でローカルからCloud SQLに接続したいことがあります。今回は、公式が提供しているCloud SQL Auth ProxyというCloud S... 続きを読む

Fluentdプラグインの暴走でストレージが枯渇しかけた話 | PR TIMES 開発者ブログ

2024/04/04 8 users ストレージ 櫻井 fluentdプラグイン 暴走 アラート通知

こんにちは、インフラチームテックリードの櫻井です。 今回はFluentdプラグインの暴走によってサーバーのストレージが枯渇しかけた話について紹介したいと思います。 アラート通知は突然に とある土曜日の夕方ごろ、1件のアラート通知がスマホに届きました。 “Filesystem % 90.19% > 90%” どうやら本番環境のバッチサー... 続きを読む

アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入してみてわかったメリット・デメリット - ANDPAD Tech Blog

2024/04/04 168 users アンチウィルスソフト ANDPAD Tech Blog

こんにちは。SREチームの吉澤です。 アンドパッドでは最近、AWSのS3バケット上のファイルをスキャンするために、アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入しました。その結果、私たちの要件はほぼ全て満たされたうえに、従来比で大幅なコスト削減を実現できました。 Antivirus for Amazon S3につ... 続きを読む

Fargate Spotを本番運用するための監視の実践 - KAYAC engineers' blog

2024/03/28 12 users KAYAC engineers Fargate Spot

SREチームの橋本です。SRE連載の3月号となります。 Amazon ECSのコスト最適化においてはFargate Spotが有効な手段となりますが、いつ中断されるか分からない性質上、その監視も併せて実施していく必要があります。今回はそのFargate Spotを本番環境で運用しているプロジェクトにおける取り組みを紹介します。 背景 Farga... 続きを読む

[Next.js] 開発中のページを開発環境でのみ表示し、本番環境のビルドには含めないようにする

2024/03/19 98 users ビルド Next.js Twitter 開発環境 開発中

はじめに この記事について こんにちは、 @zomysan（Twitter） です。この記事では、Next.js で開発をしているWebアプリケーションのフロントエンドを対象に、開発途中のページをどう扱うかということについて書きます。 新しい機能やリニューアルのための開発を始めてあたらしいページを追加したものの、まだ途中なので... 続きを読む

スライド1枚で参加OK！ LT会の面白いやり方と内容を公開します！（本番環境でやらかしちゃった選手権、この技術書がすごい！） - MonotaRO Tech Blog

2024/01/18 10 users LT会 MonotaRO Tech Blog 選手権 技術書

はじめに こんにちは、SREグループ 新卒2年目の佐藤です。 私が所属するSREグループでは毎週LT会が開催されています。 先日のLT会ではいつもと違う工夫がされていて、参加・発表のしやすさがグッと上がり、楽しく学びのあるLT会になりました。 そのLT会でされていた工夫は面白く再現もしやすいので、本記事でみなさんに... 続きを読む

正規表現ミスって一晩誰もサービスにログインできなくしてしまった話 - Qiita

2023/12/11 105 users Qiita アドベントカレンダー 正規表現 マジ 状態

はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023の11日目です。 どうも、@_tinojiと申します。実に4年ぶりにアドベントカレンダーに参加しました。 正規表現で1文字消し忘れて、なんぴとたりともサービスにログインできない状態にしてしまったという話をします。正規表現にはまじで気をつ... 続きを読む

ロードバランサ配下のサーバを全部切り離してサービス停止させてしまった話 - Qiita

2023/12/05 19 users Qiita サーバ エンジニア 出来事 全部

はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の6日目です。 この記事で取り上げるやらかしは数年前の出来事です。 当時新卒2年目のエンジニアだった私が、ロードバランサ配下のサーバを全部切り離してサービス停止させてしまった話について、ここに供養させていただきます。 自分の失... 続きを読む

「本番環境などでやらかしちゃった人」アドベントカレンダーが今年もやってきた　「本番サーバー60台のホスト名を全部catにしてしまった話」など

2023/12/05 9 users アドベントカレンダー ITエンジニア ホスト名

「本番環境などでやらかしちゃった人」アドベントカレンダーが今年もやってきた　「本番サーバー60台のホスト名を全部catにしてしまった話」など ITエンジニアの“やらかし”をアドベントカレンダー形式で共有する「本番環境などでやらかしちゃった人 Advent Calendar 2023」が12月1日にスタートした。「本番サーバー60台... 続きを読む

本番環境などでやらかしちゃった人のカレンダー | Advent Calendar 2023 - Qiita

2023/11/25 16 users ITエンジニア 反響 人々 興味 Qiita

あなたは他のITエンジニアのやらかし話に興味ありますか？ それともあなたが何かやらかしちゃって懺悔する場所を探してますか？ ここは「やらかし」を共有することで深い学びを得て、より明るい2024年にしたい人々が集うカレンダーです。 昨年私も参加することで心に響く学びや、多くの反響をいただくことができました。... 続きを読む

本番サーバー60台のホスト名を全部 cat にしてしまった話 - Qiita

2023/12/04 534 users Qiita cat みなさま 年末進行 ホスト名

この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の4日目です。年末進行、いかがお過ごしでしょうか？みなさま無事に仕事が納まることを願っております… 新人インフラエンジニアが、本番ウェブサーバー60台のホスト名を全部 cat にしてしまった話について、ここに供養させていただきたいと思います ... 続きを読む

スタディサプリにおけるKarpenterの導入トラブル振り返り - スタディサプリ Product Team Blog

2023/11/20 10 users Karpenter Aoi Kubernetes node

スタディサプリにおけるKarpenterの導入トラブル振り返り こんにちは。スタディサプリ小中高SREの@aoi1です。 スタディサプリでは、Kubernetesを利用しているのですが、Nodeの運用自動化のために2023年3月から本番環境を含む全環境でKarpenterを導入しています。 Karpenterのおかげで開発者体験を向上させることができた... 続きを読む