awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店

2024/05/27 115 users CLI github.com ビルド AWS CLI 起動

最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com... 続きを読む

「達人が教えるWebパフォーマンスチューニング 〜ISUCONから学ぶ高速化の実践」を執筆しました - 酒日記 はてな支店

2022/05/20 275 users isucon Webパフォーマンスチューニング 共著 俊彰

「達人が教えるWebパフォーマンスチューニング 〜ISUCONから学ぶ高速化の実践」という本を6名の共著で執筆しました。技術評論社さんから、2022年6月4日発売予定です。電子版もでます。 gihyo.jp Amazon はこちら。 達人が教えるWebパフォーマンスチューニング 〜ISUCONから学ぶ高速化の実践 作者:藤原 俊一郎,馬場 俊彰,... 続きを読む

AWS Lambda のミニマルなデプロイツール lambroll を書いた - 酒日記 はてな支店

2019/10/31 54 users ミニマル Lambda function はてな支店 経緯

3行で シンプル/ミニマルな Lambda のデプロイツール lambroll を書いてるよ Lambda API 以外は極力触らないやつです 既存 function の移行も簡単です 開発の経緯 AWS Lambda を管理、デプロイするのに数年来 Apex を使っていましたが、最近更新がないと思っていたら案の定というか、残念ながら No longer maintained と... 続きを読む

AWS X-Ray による ISUCON8 本選問題の解析 - 酒日記 はてな支店

2018/10/28 180 users AWS X-Ray 本選問題 ISUCON8 解析 講評

ISUCON8 の本選問題は、競技者がコントロールできない外部 API 呼び出しを多数含んだ出題内容でした。 講評では、 サービスの特性を適切に分析した上で、まとめるところはまとめたり、遅延させるところは遅延させるなど ……とさらっと書かれていますが、実際そんなことを短時間で分析することは可能なのかよ！という話題... 続きを読む

ISUCON8 本選出題記 あるいはISUCONベンチマーカー負荷調整の歴史 - 酒日記 はてな支店

2018/10/24 84 users FUJIWARA ISUCON8 講評 歴史 はてな支店

ISUCON 8 の本選出題を同僚の @ken39arg と担当しました。参加された皆様、運営にご協力して頂いたすべての関係者の方々にお礼申し上げます。 恒例の #isucon pic.twitter.com/iXAjgfgbeZ— fujiwara (@fujiwara) 2018年10月20日 問題についての講評は公式の ISUCON8 本選問題の解説と講評 をご覧頂くとして、こちらでは... 続きを読む

builderscon 2018 に行ってきました - 酒日記 はてな支店

2018/09/09 50 users builderscon 2018 はてな支店

bulderscon 2018 tokyo に参加してきました。 今年は前後に CEDEC(登壇) と ISUCON(出題) があったので、発表する余裕はなさそうだなということで応募しなかったんですが、やっぱりカンファレンスは聞いているだけだと発表したくなりますね。来年は応募したい。 聞いたトーク Envoy internals deep dive Envoy、まだ若い... 続きを読む

ISUCON 7 予選2日目を3位で通過しました - 酒日記 はてな支店

2017/10/23 55 users はてな支店 予選2日目 3位 acidlemon 空前

2017 - 10 - 23 ISUCON 7 予選2日目を3位で通過しました まずは出題と運営チームの皆様にお礼を。予選から1チーム3台、合計1200台のサーバを用意するという空前の規模で、快適な競技環境を用意していただいてありがとうございました。 isucon.net 今回は ISUCON 4 の時の fujiwara 組 (@ fujiwara , @acidlemon, @handlena... 続きを読む

Consulクラスタ内でファイルを分散配布する tuggle を書いた - 酒日記 はてな支店

2017/02/14 106 users daemon consul デプロイツール クラスタ 分散

2017 - 02 - 14 Consulクラスタ内でファイルを分散配布する tuggle を書いた github.com これはなに? HTTPを使って、ファイルを Consul クラスタ 内で分散配布する daemon です。Go で書かれています。読みかたは「たぐる」です。 開発動機と ユースケース 拙作の Stretcher というデプロイツールがあります。嬉しいことに、自分が勤務している... 続きを読む

nginx実践入門 - 酒日記 はてな支店

2016/01/26 60 users nginx実践入門 久保達彦 単行本 道井俊介 著者

2016 - 01 - 26 nginx実践入門 「nginx実践入門」 を著者の @cubicdaiya さんからいただきました。ありがとうございます。 簡単ですが感想など。 nginx実践入門 (WEB+DB PRESS plus) 作者: 久保達彦,道井俊介 出版社/メーカー: 技術評論社 発売日: 2016/01/16 メディア: 単行本（ソフトカバー） この商品を含むブログ (1件) を... 続きを読む

ISUCON5 で優勝しました - 酒日記 はてな支店

2015/11/02 145 users ISUCON5 はてな支店 sugyan 本選 カヤック

2015-11-02 ISUCON5 で優勝しました ISUCON5、予選を無事通過して10/31(土)に開催された本選に参加し、優勝しました。 チームは ISUCON 1 の時の初代「fujiwara組」再結成ということで、@songumu, @sugyan とのカヤックの元同僚メンバーです。 最初に、毎回素晴らしいイベントを開催、運営していただいている @941 さんをはじめとした運営チームの... 続きを読む

ISUCON5予選を全体1位で通過しました - 酒日記 はてな支店

2015/09/28 174 users ISUCON5予選 はてな支店 全体１位 FUJIWARA

2015-09-28 ISUCON5予選を全体1位で通過しました ISUCON5 の予選1日目にチーム「fujiwara組」(@fujiwara, @songmu, @sugyan) として参加して、全体通して1位のスコアで通過しました。 isucon.net 今回は ISUCON 1 の時の優勝チームを再結成という形になったわけですが、最初はISUCON 4の時と同じ社内のチームででようかと思っ... 続きを読む

YAPC::Asia 2015で発表してきました & ConsulとStretcherについて - 酒日記 はてな支店

2015/08/23 51 users YAPC asia トーク 半分 2015-08-23

2015-08-23 YAPC::Asia 2015で発表してきました & ConsulとStretcherについて YAPC::Asia 2015 でトークを採用していただいたので、発表してきました。 YAPC::Asiaは自分は2006年から10回皆勤で、トークは2009年LT、2010〜2013, 2015は本編で計6回もしてるんですね…YAPC::Asiaにはここまでのエンジニア人生の半分... 続きを読む

Amazon SQSを利用してS3からRedshiftにデータ投入するRinというツールを書いた - 酒日記 はてな支店

2015/05/18 65 users RedShift RIN fluentd 諸々 ロク

2015-05-18 Amazon SQSを利用してS3からRedshiftにデータ投入するRinというツールを書いた fluentdで集約したログをRedshiftに投入するのに、これまでは fluent-plugin-redshift を使っていたのですが、諸々の理由でこれを置き換えるツールをGoで書きました。 Rin - Redshift data Importer by SQS messa... 続きを読む

Consul KVSをバックエンドにしたリアルタイムダッシュボード #monitoringcasual - 酒日記 はてな支店

2015/01/30 67 users monitoringcasual モニカジ バックエンド

2015-01-30 Consul KVSをバックエンドにしたリアルタイムダッシュボード #monitoringcasual 最近悩んでいることを解決する小さいアプリケーションを書いたので、monitoring casual talks #7 で発表してきました。 モニカジは毎回全員発表で濃い話がいろいろできて楽しいですね！ Consul KV Dashboard // Speaker Deck ... 続きを読む

Goで並列実行のベンチマークを取るためのライブラリ parallel-benchmark を書いた - 酒日記 はてな支店

2014/07/18 60 users 並列実行 ベンチマーク Benchmark parallel

以前 Perl で、forkして並列実行するベンチマークを取るためのライブラリ、Parallel::Benchmark というのを書きました。 Parallel::Benchmark というモジュールを書きました - 酒日記 はてな支店これを使うと、単に Perl コードのベンチマークだけではなく、並列に外部にアクセスして計測を行うような (たとえばApacheBenchのような) ベンチマークツ... 続きを読む

Consul の情報を Chef / Ohai から使う ohai-plugin-consul を作ったのとその周辺の話 - 酒日記 はてな支店

2014/06/10 58 users plu consul ohai FUJIWARA Chef

先日とあるサービスに Consul を入れました。内部 DNS と、たとえば nginx からアプリケーションサーバに振り分ける定義をするために service を使用しています。そこで使うために、ohai-plugin-consul を書きました。Github にあります。fujiwara/ohai-plugin-consul ? GitHubOhai の version 6 と 7 で plu... 続きを読む

Perlでインストールされているモジュールを全部リストアップする - (ひ)メモ

2014/01/27 71 users perl モジュール Installed cpanfile

@fujiwara さんのこれ、新しいPerlに今まで使ってたモジュールをまとめてインストールする - 酒日記 はてな支店ExtUtils::Installedで現在インストールされているモジュールからcpanfileを作るをベースにちょっと弄ってモジュールをリストアップするスクリプトを書いて使ってたんですが、core モジュールがリストアップされてなかったので、もろもろ対応したのを上げましたので... 続きを読む

社内Gyazoの画像をAmazon S3に逃がしてスケーラブルに運用する - 酒日記 はてな支店

2013/12/26 131 users スケーラブル Gyazo disk Gyazoサーバ サーバ

Gyazo、便利ですよね。大変便利なので、社内でプライベートなGyazoサーバを用意して使っている会社も多いと思います。うちでもサーバのパフォーマンスは特に必要ないので社内に適当なVMを立てて運用していたのですが、数年単位で運用していると画像ファイルが増えていくためdiskをなんとかする必要に迫られました。ここでどんどん増えるファイルはAmazon S3に逃がそう、という自然な発想に至るわけですが... 続きを読む

nginxでメソッドごとにリクエスト数制限を掛けたい - 酒日記 はてな支店

2013/06/20 167 users nginx アプリケーションサーバ ＳＥＣ リトライ POST

アプリケーションでどうしても捌けない量のリクエストが一時的に押し寄せてしまう場合、アプリケーションサーバが死ぬのを避けるために GET は制限を掛けたいが、POST はリトライが面倒なのでなるべく通してあげたい、というような要求を nginx で処理できるかどうか。実装として一番望ましいのは GET は 100 req/sec で制限 (超えたら503) POST は無制限のようにメソッドごとに別... 続きを読む

MySQLでデータ領域をシステムと別diskにするならtmpdirも設定した方がいい - 酒日記 はてな支店

2013/04/24 137 users Zabbix バッファプール tmpdir MySQL ホスト

某所に300ホスト以上を2年ほど監視していたZabbixのMySQLがありまして、データが100GBぐらいになってメモリ8GBのホストではdisk IOが辛くなってきたので、移行することにしました。普段はそんなにでもないのですが、housekeeperが動作して古いデータを消しに行くとバッファプールに乗っていない部分に読みに行って重いのです。この際折角なので Intel S3700 (サーバ用のS... 続きを読む

#isucon2 で優勝してきました - 酒日記 はてな支店

2012/11/03 110 users isucon2 はてな支店

なんでもありのいい感じにスピードアップコンテスト ISUCON が 2 になって帰ってきたので、参加して優勝を勝ち取ってきました。まとめ的なものはこちらから livedoor Techブログ : ISUCON今回は前回の ISUCON 優勝メンバーのひとり @sugyan が転職して出題側に回ってしまったので、@typester を招聘してチーム編成。@songmu と共に3人でチーム「fujiw... 続きを読む

fluentdで複数箇所から同一のファイルに出力する - 酒日記 はてな支店

2012/10/27 57 users fluentd oranie Path Orange エントリ

このエントリは「ウィークリーFluentdユースケースエントリリレー」への参加記事です。ウィークリーFluentdユースケースエントリリレーまとめ - iをgに変えるとorangeになることに気づいたoranieの日記fluentd で一番手軽な出力 plugin といえば out_file ですね。path を指定するだけでファイルに出力できますが、使い方に気をつけないと落とし穴があるよ、という... 続きを読む

ロードアベレージを監視して任意のコマンドを実行する(monitで) - 酒日記 はてな支店

2012/07/26 157 users ロードアベレージ monit コマンド etc 負荷

他に似たツールがあれば教えて欲しいですロードアベレージを監視して任意のコマンドを実行するコマンド - blog.nomadscafe.jpいままで使ったことはなかったのですが、monit でできるはず、と思って実験。一般的には、負荷が上がったりプロセスが応答しなくなったら再起動、のような用途に使うツールです。 # /etc/monit/monitrc check system localhost ... 続きを読む

chef-solo + capistrano で複数ホストを管理する - 酒日記 はてな支店

2012/07/05 119 users chef-solo Capistrano インストール 構成

chef-server は仕組みが大げさでインストールも大変だし、10〜20台ぐらいなら chef-solo と capistrano を組み合わせればいいよね？（同案多数）Capistranoとchef-soloを組み合わせて使う | ひげろぐcapistrano + chef-soloで構成管理する - delirious thoughts実はこれまでもずっと、適当に書き殴った shell s... 続きを読む

cron で > /dev/null して椅子を投げられないための3つの方法 - 酒日記 はてな支店

2012/06/13 711 users cron Twitter dev null いい加減

(タイトルは釣りです)いい加減、>/dev/null 2>&1と書くのをやめたらどうか - DQNEO起業日記 この記事のタイトルが twitter で流れてきたのを見て、「そうだ！出力を /dev/null に捨てるなんてとんでもないよね！」と思ってよく読んだら /dev/null に間違いなく捨てる方法だったのでつい crontabに > /dev/null 書いたら椅子投げる 2012-06... 続きを読む