pvpool〜メルカリの商品閲覧数カウントアップの裏側〜 - Mercari Engineering Blog

2018/02/26 126 users Mercari Engineering Blog 裏側

2018 - 02 - 26 pvpool〜メルカリの商品閲覧数カウントアップの裏側〜 SREチームの @cubicdaiya です。今回はメルカリの商品閲覧数カウントアップの裏側について紹介します。 メルカリの商品閲覧数 メルカリでは出品されている商品の閲覧数を「出品した商品」の一覧や「いいね！した商品」の一覧画面から見ることができます。以下は「いいね！した商品」の一覧画面です。（開発版アプリの... 続きを読む

ImageFluxを利用した画像配信の最適化〜動的リサイズとWebP変換〜 - Mercari Engineering Blog

2018/01/30 115 users ImageFlux リサイズ SREチーム メルカリ 事例

2018 - 01 - 30 ImageFluxを利用した画像配信の最適化〜動的リサイズとWebP変換〜 SREチームの @cubicdaiya です。今回はメルカリにおける画像配信と ImageFlux を利用した画像の動的なリサイズとWebP変換の導入によってアプリのデータ通信量を大幅に削減した事例について紹介します。 ImageFlux ImageFlux はクラウド画像変換サービスです。U... 続きを読む

消すだけなのに rm -rf がいっつも長くて待ちきれない問題 - kuenishi's blog

2017/10/06 154 users bokko kuenishi's blog いっつ 問題 何か

2017 - 10 - 06 消すだけなのに rm -rf がいっつも長くて待ちきれない問題 rmコマンドで大量のファイルを削除しようとするとjournaldがめっちゃリソース持っていく件 — bokko (@cubicdaiya) 2017年8月3日 今時のファイルシステムはみんなジャーナルもってて何かあったときにそこからリカバリする仕組みになってるので、当たり前といえばそうなんだけども。 （T... 続きを読む

lltsvでLTSV形式のデータをサクサクパースしよう - Mercari Engineering Blog

2017/05/09 143 users LTSV Key value SREチーム コロン

2017 - 05 - 09 lltsvでLTSV形式のデータをサクサクパースしよう SREチームの @cubicdaiya です。 今回は lltsv というツールを利用して LTSV 形式のデータを処理する術について解説します。 LTSV LTSV はLabeled Tab-separated Valuesの略で、コロンで区切られたラベルと値の組み合わせ(key:value)をタブ区切りで表現... 続きを読む

nginxによるTCPロードバランサー - Mercari Engineering Blog

2016/08/17 328 users nginx ロードバランサー UDP TCP http

2016 - 08 - 17 nginxによるTCPロードバランサー SREチームの @cubicdaiya です。今回はnginxによるTCPレイヤーでのロードバランスについて解説します。 ロードバランサーとしてのnginx nginxはHTTPやTCP、UDP等の複数のレイヤーでロードバランサーとして稼働させることができます。（TCPロードバランサーは1.9.0以降、UDPロードバランサーは1... 続きを読む

３つのnginxをうまく使い分けよう〜nginx、OpenResty、Tengine〜 - Mercari Engineering Blog

2016/05/25 326 users nginx openresty メルカリ パフォーマンス 何度

2016 - 05 - 25 ３つのnginxをうまく使い分けよう〜nginx、OpenResty、Tengine〜 SREチームの @cubicdaiya です。今回はメルカリで利用実績のある以下の3つのnginxの使い分けに紹介します。 nginx OpenResty Tengine nginxとメルカリ 本ブログや過去のイベントでも何度か紹介していますが、メルカリではパフォーマンスやスケーラ... 続きを読む

サーバサイドWebアプリケーションエンジニアにとって必携の一冊。「nginx実践入門」が発売されます - Mercari Engineering Blog

2016/01/15 98 users 必携 nginx実践入門 SRE kazeburo 久保

2016 - 01 - 15 サーバサイドWebアプリケーションエンジニアにとって必携の一冊。「nginx実践入門」が発売されます SRE(Site Reliability Engineering)チームの@ kazeburo です。 1/16(土)にSREチームの久保(@ cubicdaiya )が執筆に参加した「nginx実践入門」が技術評論社から発売されるので、紹介します。 gihyo.jp... 続きを読む

Slackへの通知をAttachmentsでわかりやすく... - Mercari Engineering Blog

2016/01/12 62 users attachments ペイロード Slack メッセージ

2016 - 01 - 12 Slackへの通知をAttachmentsでわかりやすく... Slack Site Reliability Engineering Teamの @cubicdaiya です。今回はSlackのライトなお話です。 SlackのAttachments SlackにはIncoming WebhooksやWeb APIでメッセージを投稿する際、ペイロードに Attachem... 続きを読む

fluent-agent-hydraで省エネログ転送 - Mercari Engineering Blog

2015/12/15 74 users アクセスログ メルカリ アプリケーション固有 APIサーバ

2015 - 12 - 15 fluent-agent-hydraで省エネログ転送 Site Reliability Engineering Teamの @cubicdaiya です。 今回はGo製のログ転送エージェントである fluent-agent-hydra とメルカリでの利用事例について紹介します。 メルカリとFluentd メルカリではAPIサーバのアクセスログやアプリケーション固有のロ... 続きを読む

ハイパフォーマンスngx_lua - Mercari Engineering Blog

2015/11/25 282 users Mercari Engineering Blog Lua

2015 -11 -25 ハイパフォーマンスngx_lua Site Reliability Engineering（SRE） Teamの @cubicdaiya です。 今回は数あるnginxのサードパーティモジュールの中でも一際強力で、メルカリでも活用している ngx_lua の便利な活用方法や最適化集について紹介します。 ngx_lua ngx_luaは軽量スクリプト言語のLuaでnginx... 続きを読む

ISUCON5本選で3位(+特別賞)でした - 考える人、コードを書く人

2015/11/17 21 users kazeburo shmorimo GoBold コード 3位

2015-11-17 ISUCON5本選で3位(+特別賞)でした ISUCON5本選に@kazeburo、@shmorimo、@cubicdaiyaの3人でチーム「GoBold」として参加して3位になりました。また、合わせて運営が定めたスコア（100,000点）に最も早く到達したチームにもらえる特別賞ももらいました。 10万点最初に到達したチームは GoBold でした。おめでとうございます！NH... 続きを読む

ISUCON5にチーム「GoBold」で参加して特別賞と3位でした - blog.nomadscafe.jp

2015/11/17 22 users shmorimo GoBold 本選 出題 メルカリ

そろそろ傷が癒えてきた。。 ISUCON5の本選にメルカリのインフラ改めSite Reliability Engineerで結成したチーム「GoBold」で参加して、最も速く決められた得点に到達したチームに与えられる特別賞と最終的に3位となりました。チームメンバーは @cubicdaiya、@shmorimo、@kazeburo の3人です 出題のtagomorisさん、kamipoさん、運営の9... 続きを読む

Consulを利用したTLSセッションチケットの自動更新 - Mercari Engineering Blog

2015/11/16 121 users consul 複数台 チーム名 自動更新

2015-11-16 Consulを利用したTLSセッションチケットの自動更新 Site Reliability Engineering Team（通称SRE）の@cubicdaiyaです。最近チーム名が変わりました。 今回はConsulを利用して複数台のnginxサーバのTLSセッションチケットを自動更新する仕組みについて紹介します。 TLSセッションチケット TLSセッションチケットは簡単に言... 続きを読む

nginxでApacheのMaxRequestsPerChild相当の機能を実現する - Qiita

2015/11/09 45 users nginx Qiita github.com Apache

ついカッとなって書いた。 https://github.com/cubicdaiya/ngx_bumpylife タイトルにもある通り、ngx_bumpylifeはnginxでApache HTTP ServerのMaxRequestsPerChildに相当する挙動を実現するための拡張モジュールです。 さらに言うとap-mod_bumpy_lifeがやってるようなMaxRequestsPerChi... 続きを読む

ISUCON5予選に参加して2位で予選通過しました - blog.nomadscafe.jp

2015/09/28 42 users 予選 ISUCON5予選 kazeburo shmorimo

ISUCON5 の予選にメルカリのインフラ系エンジニアで結成したチーム「GoBold」で参加して、無事2位で通過しました。チームのメンバーは、@cubicdaiya、@shmorimo、@kazeburoの3人で、普段から横にならんで座って、メルカリのパフォーマンス改善やサーバ環境の整備に携わっています。 今回の予選問題、ずいぶん盛ってきたなーというのが最初の印象。モリスさんも予選問題を本選のよう... 続きを読む

ISUCON5予選 2位で通過しました - 考える人、コードを書く人

2015/09/28 44 users ISUCON5予選 コード kazeburo GoBold

2015-09-28 ISUCON5予選 2位で通過しました ISUCON5予選に@kazeburo、@shmorimo、@cubicdaiya(敬称略)の3人でチーム「GoBold」として参加してきました。 isucon.net 15時過ぎるくらいまではスコアが伸び悩んでいましたが、結果的に2位でフェニッシュすることができました。 以下はスコアの遷移をグラフ化したものです。 GoBoldスコア遷... 続きを読む

Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 - Mercari Engineering Blog

2015/09/09 146 users fluentd BigQuery ログデータ ngx_lua

2015-09-09 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り... 続きを読む

nginx-build〜nginxのビルドプロセスを自動化〜 - Mercari Engineering Blog

2015/08/26 95 users ビルドプロセス nginx レスポンス メルカリ 安定稼働

2015-08-26 nginx-build〜nginxのビルドプロセスを自動化〜 インフラチームの@cubicdaiyaです。今回はnginxのビルドプロセスを自動化するツールであるnginx-buildについて紹介します。 メルカリとnginx メルカリでは多数のnginxを活用し、高速なレスポンスやサービスの安定稼働を実現するのに重要な役割を果たしています。実際の活用事例には、 リバースプロ... 続きを読む

WEB+DB PRESS Vol.88 にメルカリのデータベース設計の記事を書きました - Mercari Engineering Blog

2015/08/20 63 users メルカリ データベース設計 Web+DB Press 運用

2015-08-20 WEB+DB PRESS Vol.88 にメルカリのデータベース設計の記事を書きました 2015年8月22日発売のWEB+DB PRESS Vol.88 にメルカリのデータベース設計、運用に関する特集記事をインフラチームの@cubicdaiya、@siroken3、@kazeburoの3人で書かせて頂きました。 WEB+DB PRESS Vol.88gihyo.jp 特集のタ... 続きを読む

nginxとGoでつくるメルカリのプッシュ通知システム - Mercari Engineering Blog

2015/08/11 515 users nginx 校正 変遷 メルカリ 原稿

2015-08-11 nginxとGoでつくるメルカリのプッシュ通知システム 原稿の締め切りを越えた先にあるもの、それは校正です。「俺達の戦いはこれからだ！」的な展開に胸が熱く・・・いえ、ちょっと胃のあたりがチクチクする@cubicdaiyaです。 今回はメルカリのプッシュ通知システムとその変遷について紹介します。 メルカリとプッシュ通知 メルカリではアプリ内でのさまざまなイベントの発生時に対象ユ... 続きを読む

Slackプロキシサーバ〜slackboard〜を利用したメルカリのSlack活用法 - Mercari Engineering Blog

2015/07/06 237 users メルカリ チャットツール Slack 逃避 原稿

2015-07-06 Slackプロキシサーバ〜slackboard〜を利用したメルカリのSlack活用法 最近原稿の締め切りが追いかけてくる夢をよく見る@cubicdaiyaです。今回はその逃避の一環として定番のチャットツールであるSlackのメルカリでの活用法について紹介します。 メルカリでのSlack活用 多くのエンジニア組織がそうであるようにメルカリではSlackを単なる社内チャットに留ま... 続きを読む

nginx-buildでnginxをビルドしよう - Qiita

2014/12/01 60 users nginx Qiita github.com Linux 環境

nginx-buildはGoで書かれたnginxをビルドするためのツールです。Goの環境が整っていればgo getでインストールすることができます。 また、Goがインストールされてない環境向けに↓でビルド済みバイナリ(linuxとmacの64bit版)を用意しています。 https://github.com/cubicdaiya/nginx-build/releases nginx-buildにで... 続きを読む

#pyfes 2013.11で発表してきました - blog.harukasan.jp

2013/12/07 7 users pixiv 表題 Speaker Deck インフラ 土曜日

2013-12-08 #pyfes 2013.11で発表してきました はじめてSpeaker Deckを使っています。 さて、表題の通り先週の土曜日、先月末の11月30日、Python Developers Festa 2013.11で"pixivのインフラを支える技術"と題して、発表させて頂きました。流れとしてはid:cubicdaiyaの人が応募してまして、なんか2本立てはさすがにつらい、とい... 続きを読む