タグ Yuta.Kikuchi
人気順 5 users 10 users 50 users 500 users 1000 usersログ集計システムを自前で作る - Yuta.Kikuchiの日記
2014/02/12
273 users
index
自前
log
バッチ
ロク
Log | 08:28 | Index ログ集計システムの要件DB設計 データ保存方針 table設計サーバ構成Fluentdfluentd,fluent-plugin-mysql-bulk install td-agent.confmysqlにデータが格納される事を確認する 集計用のバッチ その他 Table肥大化防止 可視化 ログ集計システムの要件爆弾ログ処理班の@yutakikucです。ログ... 続きを読む
一日も早く起業したい人が「やっておくこと、知っておくべきこと」読了 - Yuta.Kikuchiの日記
起業 | 08:37 | 起業前にこんにちは、広告配信の最適化で常に頭が一杯な@yutakikucです。平日の深夜に読み進めた本は起業前の初歩的な知識がまとまっているものでした。具体的な起業手順が分かりやすく書いてあるので、実際の作業にとても参考になると思います。[必要なもの]の項目にあるような普通に考えると当たり前の内容も多いのでその辺りは読み飛ばし、お金/起業手順を中心に読み進めると良いと思い... 続きを読む
Google先生の検索結果リンクが予想以上に作り込まれていた件 - Yuta.Kikuchiの日記
2013/08/09
106 users
Referer
Google先生
日記
index
予想以上
研究, 調査 | 08:46 | Index 検索結果のリンクは単なるRedirectorでは無かった 検索結果のhttps化 httpsからhttpページへの遷移ではブラウザはRefererを送らないGoogle先生はRerererを送る仕組みを実装してくれたRefererが送信される処理の流れを追う httpsからhttpsページへの遷移はどうなるかGoogle Analyticsで検索Que... 続きを読む
データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Yuta.Kikuchiの日記
2013/08/01
452 users
爆速化
ランダムサンプリング
業務速度
sed
awk
Linux | 08:43 | Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使うawkを使う sortの--random-sortを使うScript言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ！ 列データ取得 重複行のカウント 合計値出力平均値出力 複数フ... 続きを読む
MongoDBの集計機能が便利過ぎて泣けてくるお話し - Yuta.Kikuchiの日記
2013/04/26
259 users
nginx
MongoDB
fluentd
リアルタイム
ロク
MongoDB | 12:39 | MongoDBイン・アクション作者: Kyle Banker,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2012/12/14メディア: 大型本購入: 5人 クリック: 55回この商品を含むブログ (4件) を見るMongoDB集計機能CentOSでNginxのログをFluentdを使ってMongodbにリアルタイムで格納する - Yu... 続きを読む
業種別企業の平均年齢と年収の辞書データを公開しました - Yuta.Kikuchiの日記
2013/03/18
196 users
sleep
年収
辞書データ
Python
ファイナンス
Python, 自然言語処理 | 08:38 | 平均年齢と年収の辞書データ企業別の平均年齢と年収のデータをネットで探していたのですが、リストとしてまとまっているものが無かったので作成しました。以前作成した業種別企業名辞書の企業コードを基にYahoo!ファイナンスから平均年齢と年収のデータを引き当てます。当然ですが、Yahoo!ファイナンス様のサーバ負荷が高まらないように引当時にはsleepを入れ... 続きを読む
joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記
Linux | 08:48 | Linuxシステムプログラミング作者: Robert Love,ロバートラブ,千住治郎出版社/メーカー: オライリージャパン発売日: 2008/04/16メディア: 大型本購入: 5人 クリック: 106回この商品を含むブログ (29件) を見る 結合Unix/Linuxの標準コマンドで2つのファイルの共通keyで連結することができます。共通keyでの結合にはjoi... 続きを読む