日々の覚書: Docker時代にMySQLのserver-idを自動で振りたい

2016/12/25 37 users MySQL 覚書 Docker時代 セットアップスクリプト

やってることはつまり昔から語られているアレです。 MySQLのserver-idの振り方 - blog.nomadscafe.jp 本番環境に突っ込むときはセットアップスクリプトがよしなにやってくれるようにしてあるんですが、DockerだとCMDでセットアップスクリプトを毎回流すの…？ とかなってもんにょりしたのでmysqld_safeにパッチを書きました。結構前ですが。 Docker_image... 続きを読む

PHP BLT#1でLTしてきました - blog.nomadscafe.jp

2015/11/27 16 users

PHPの勉強会なので、いままでお会いしたことのない方とお話ができてよかったです。 発表内容は大きくなってしまったmaster.phpファイルをどうやって高速に読むかというお話です。PHPではリクエストの終了とともに全てのメモリを捨ててしまうので、変わらないデータもリクエストの度にキャッシュからロードしなくてはいけません。大きなphpファイルがあれば当然毎回の読み込みがオーバーヘッドとなってきます。... 続きを読む

ISUCON5にチーム「GoBold」で参加して特別賞と3位でした - blog.nomadscafe.jp

2015/11/17 22 users cubicdaiya shmorimo GoBold 本選

そろそろ傷が癒えてきた。。 ISUCON5の本選にメルカリのインフラ改めSite Reliability Engineerで結成したチーム「GoBold」で参加して、最も速く決められた得点に到達したチームに与えられる特別賞と最終的に3位となりました。チームメンバーは @cubicdaiya、@shmorimo、@kazeburo の3人です 出題のtagomorisさん、kamipoさん、運営の9... 続きを読む

ISUCON5予選に参加して2位で予選通過しました - blog.nomadscafe.jp

2015/09/28 42 users 予選 ISUCON5予選 kazeburo shmorimo

ISUCON5 の予選にメルカリのインフラ系エンジニアで結成したチーム「GoBold」で参加して、無事2位で通過しました。チームのメンバーは、@cubicdaiya、@shmorimo、@kazeburoの3人で、普段から横にならんで座って、メルカリのパフォーマンス改善やサーバ環境の整備に携わっています。 今回の予選問題、ずいぶん盛ってきたなーというのが最初の印象。モリスさんも予選問題を本選のよう... 続きを読む

MyNA(MySQLユーザ会)会 2015年8月 でメルカリのデータベース戦略とPHPについて喋って来た - blog.nomadscafe.jp

2015/08/28 65 users MyNA MySQL PHP メルカリ 資料

kamipoさんOracle ACEおめでとうございます。 MyNA(MySQLユーザ会)会 2015年8月 でメルカリのデータベース戦略とPHPについて喋って来たので、資料を公開します。 メルカリのデータベース戦略 ／ PHPとMySQLの怖い話 MyNA会2015年8月 from Masahiro Nagano 内容はWEB+DB PRESS Vol.88の記事に書いたこと+新ネタと、PH... 続きを読む

「100万円欲しいかー！」「おー！！」YAPC::Asia Tokyo 2015 で「ISUCONの勝ち方」を喋って来た - blog.nomadscafe.jp

2015/08/27 55 users YAPC isucon チューニング おー 後半

YAPC::Asia Tokyo 2015で「ISUCONの勝ち方」という発表をしてきました。 ISUCONの勝ち方 YAPC::Asia Tokyo 2015 from Masahiro Nagano 技術的な内容も後半にありますが、ISUCONがどうして始まったのか、ISUCONで良い成績をだすためにはどんな準備をして、チューニングのためにどんなことを考え、調査するのが良いのかについて喋ってき... 続きを読む

株式会社メルカリに入社しました - blog.nomadscafe.jp

2015/02/03 103 users 株式会社メルカリ

入社なう pic.twitter.com/OSi3NaCAnV— masahiro nagano (@kazeburo) February 2, 2015 1000万ダウンロードと会社の2周年という記念の日に入社しました。 2周年を迎えたメルカリ、ダウンロード数は1000万超に - TechCrunch iOS、Androidアプリのダウンロード数はもちろん、商品の出品数や流通額も大幅に伸びていま... 続きを読む

wrkでunix domain socketなHTTPサーバをベンチマーク - blog.nomadscafe.jp

2015/01/27 33 users wrk Gazelle アプリケーションサーバ rhebok

wrkに無理矢理なpatchをあてて、unix domain socket経由でHTTPサーバをベンチマークできるようにしてみました。 kazeburo/wrk at unixdomain pullreqはしてない。 GazelleやRhebokといったアプリケーションサーバを作っていますが、TCP経由のベンチマークではEphemeral Portの枯渇やTIME WAITの上限にあたってしまい、... 続きを読む

h2o と server_starter で graceful restart with Docker - blog.nomadscafe.jp

2015/01/22 53 users wrk H2O HUPシグナル Docker わか

h2o はserver_starter経由のgraceful restartをサポートしているので試してみた。ついでにdockerで動かしてみた。 h2o/h2o 実際にwrkでベンチマークしながらコンテナにHUPシグナルを送り、graceful restartを行ってみたのが次の動画 左上がh2oをdocker経由で起動しているウィンドウ、HUPを受けてh2oのプロセスを入れ替えている様子がわか... 続きを読む

Taobaoが公開しているnginxベースのWebサーバ Tengine の health check 機能 を試す - blog.nomadscafe.jp

2015/01/14 73 users Taobao nginxベース health check

Tengineはアジア最大級のECサイト「淘宝網」が公開しているWebサーバです。 The Tengine Web Server alibaba/tengine Nginxをベースにいくつかの機能拡張を行い、また開発も続いていて最新のstableバージョンに追従しているようです。 主な機能拡張は上記のサイトにも上がっていますが、興味があるところを上げると、 nginx-1.6.2をベース。ngin... 続きを読む

Docker と SO_REUSEPORT を組み合わせてコンテナのHot Deployにチャレンジ - blog.nomadscafe.jp

2015/01/08 112 users memcached Docker rhebok コンテナ 単体

「Docker と SO_REUSEPORT を組み合わせてみる。おそらくその1」のその2です。 結論から言うと、「単体ではリクエストの取りこぼしが若干あるけど、Reverse Proxyを工夫すればコンテナのHot Deployを実現できるかも」という感じです。 Rhebok の SO_REUSEPORT 対応 前回は簡単に検証するためにmemcachedを使いましたが、今回はアプリケーションサ... 続きを読む

Docker と SO_REUSEPORT を組み合わせてみる。おそらくその1 - blog.nomadscafe.jp

2015/01/07 165 users Docker Listener Prefork accept

SO_REUSEPORTはLinux Kernel 3.9からサポートされている機能で、複数のプロセス/Listenerから同じTCPポートをbind可能にして、Kernelが それぞれのプロセスに接続を分散してくれるという機能です。preforkなサーバはlistenしてからworkerをforkし、それぞれでacceptを行うという手順を踏みますが、SO_REUSEPORTを使えばそれとは関係... 続きを読む

「Webエンジニアが知っておきたいインフラの基本」はぜひこの冬休みにWebエンジニア・ディレクタに読んでみて欲しい一冊 - blog.nomadscafe.jp

2014/12/28 227 users ハートビーツ MSP ディレクタ チューニング 俊彰

サーバの監視やモニタリングなどのサービス・ソリューションを提供するMSP(マネージメントサービスプロバイダ)のハートビーツの馬場さんが「Webエンジニアが知っておきたいインフラの基本」という本を出版されました。 Webエンジニアが知っておきたいインフラの基本 ~インフラの設計から構成、監視、チューニングまで~posted with amazlet at 14.12.28馬場 俊彰 マイナビ (20... 続きを読む

Unicornの2倍のパフォーマンスを実現したRackサーバ「Rhebok」をリリースしました - blog.nomadscafe.jp

2014/12/19 225 users Unicorn Rackサーバ gems Gazelle ２倍

“Hello World”なベンチマークでUnicornに比べ2倍高速に動作するRackサーバをリリースしました。 rubygems: http://rubygems.org/gems/rhebok github: https://github.com/kazeburo/rhebok PerlのGazelleをベースに作っています。Rackアプリケーションの運用経験がほぼないので、機能不足があると... 続きを読む

Gazelle: new Simple and Fast Plack Handler for Performance Freaks - blog.nomadscafe.jp

2014/11/13 52 users Gazelle Handler nginx Plack 前提

Gazelle という新しいPlack::Handler(Server)をリリースしました https://metacpan.org/release/Gazelle 前のISUCONの結果報告で「Chobi」として紹介していたものを名前を変更しました。 GazelleはnginxやApacheでreverse proxyを行うことを前提に書かれたPlack::Handlerです。nginxの後ろに... 続きを読む

ISUCON4 で優勝してきました！！！ #isucon - blog.nomadscafe.jp

2014/11/10 154 users isucon ISUCON4

去年に引き続き、ISUCONにLINEの選抜チーム「チーム生ハム原木」で出場して優勝することが出来ました！！！！ @tagomoris、@sugyan お疲れ様でした！！ #isucon 2014で優勝しました - すぎゃーんメモ 最後の最後、残り15分でnginxの設定を行う場所を間違えていたということに気付き、ローカルのベンチマークでしか検証ができず、どの程度のスコアになるのか、またfailす... 続きを読む

LINE選抜で isucon4 予選に参加してきました。暫定スコア「51192」を出すためにやったこと - blog.nomadscafe.jp

2014/09/29 39 users 暫定スコア 予選 LINE選抜 tagomoris 場数

今年もこの季節がやってきました。 今年のISUCON4は出題がクックパッドになりました。自分たちは去年に引き続き @sugyan @tagomoris とLINE選抜チームを組んで参加しました。 共催枠なので予選免除で本選には出れるのですが、場数も重要だと去年参加して分かったので予選も参加しました。参加は1日目の土曜日です。 結果は「51192」ランキングには入りませんが、10位相当のスコアになり... 続きを読む

YAPC::Asia Tokyo 2014 で LT と、Docker についての発表をしてきました - blog.nomadscafe.jp

2014/08/31 49 users YAPC Docker perl Tokyo タイトル

YAPC::Asia Tokyo 2014 Tokyo の1日目の「Web Framework BenchmarksとPerlの現状報告会」というタイトルでLTと、2日目に「Dockerで遊ぼう」という発表をしてきました。 Web Framework Benchmarksと Perl の現状報告会 YAPC::Asia Tokyo 2014 LT from Masahiro Nagano うしろの... 続きを読む

YAPC::Asia Tokyo 2014 で Docker の話をします！！ - blog.nomadscafe.jp

2014/08/27 15 users YAPC Docker 各所 コマ Asia TOKYO

8月28日から30日まで開かれる YAPC::Asia Tokyo 2014 で Dockerの話をします。 コマは2日目、30日の朝イチの「多目的教室3」です Dockerで遊んでみよっかー - YAPC::Asia Tokyo 2014 各所で盛り上がりに盛り上がっているDockerを試して、遊んで、どんなものなのか理解していこうという内容です。Hello Worldで終わるのではなく、身近な... 続きを読む

「ISUCONで学ぶ Webアプリケーションのパフォーマンス向上のコツ 実践編 完全版」を公開しました - blog.nomadscafe.jp

2014/08/22 221 users Webアプリケーション パフォーマンス向上 SQL コツ

昨日のエントリで紹介した「Webアプリケーションの パフォーマンス向上のコツ 実践編」ですが、いくつかスライドを追加して、「完全版」として公開しました。 ISUCONで学ぶ Webアプリケーションのパフォーマンス向上のコツ 実践編 完全版 from Masahiro Nagano ISUCONだけに限らず、一般的なWebアプリケーション、SQLのチューニングの参考となる資料となっていると思... 続きを読む

「ISUCON 夏期講習 2014」のサーバ環境 AMI を公開しました - blog.nomadscafe.jp

2014/08/21 75 users tagomoris AMI isucon スコア サーバ環境

学生さん限定のイベント「ISUCON 夏期講習」今年もやりました。イベントは、tagomorisからISUCONやWebアプリケーションについての座学を行ったあとに、ISUCON3の予選問題にチャレンジをしてもらいました。またチャレンジをしてもらいながら、どのようにWebアプリケーションのパフォーマンスをあげていったらよいのか、自分の方から説明をしました。今年はスコアをあげることができる参加者が多... 続きを読む

Heroku上でProcletを使っていろいろ動かすと便利 - blog.nomadscafe.jp

2014/07/01 31 users Proclet WebUI Heroku上 worker 生成

最近、Module::CoreListのWebUIと、perl-buildで使っているperlのリリースとアーカイブのリストの生成をHerokuに移動しました。両方とも、情報を更新するworkerとappサーバが必要になるので、Heroku上でProcletを使ってappサーバとworkerなどを動かしてみました。 HerokuでのProcletの使い方 まず、cpanfileとProcfileを... 続きを読む

GitHubとDocker HubのAutomated Buildを組み合わせてGrowthForecastのDocker imageの作成を自動化したハナシ - blog.nomadscafe.jp

2014/06/26 76 users kazeburo GrowthForecast hub 作成

タイトルがそのままですが、GrowthForecastのDocker imageを作りました。 https://registry.hub.docker.com/u/kazeburo/growthforecast/ 使い方は単純に起動するだけなら次のようになります。 $ docker run -p 5125:5125 kazeburo/growthforecast これだと、データが永続化されないの... 続きを読む

VagrantのVMを使い捨てる。vagrant-destroy-provisionerをリリースしました - blog.nomadscafe.jp

2014/06/16 42 users Vagrant gems DESTROY RubyGems

最近、Vagrantのprovisionerを使ってパッケージの作成などをいくつか行っているのですが、その際にVMを落とし忘れ、ホストしてるマシンの余計なリソースを使ってしまっていることがあります。 なので、provisionerでサーバをdestroy/haltするやつを書いてみました。 rubygems: https://rubygems.org/gems/vagrant-destroy-pr... 続きを読む

plenvやxbuildで使っているperl-buildを信頼性の向上目指してアップデートしました - blog.nomadscafe.jp

2014/06/13 45 users Docker plenv コミット権限 スクリプト 依存度

plenvやxbuildで使っているperl-buildなのですが、ひろむ氏からコミット権限頂いてアップデートをしました。 変更点としてはいつでも使えるように search.cpan.org への依存度を減らしたことと、だれでも同じように作業ができるよう依存モジュールを1つのスクリプトにまとめるfatpackにDockerを導入して自動化した点です。 search.cpan.org への依存度の削... 続きを読む