タグ Yuta.Kikuchi
人気順 10 users 50 users 100 users 500 users 1000 users類似度計算と転置Indexとb-Bit Minwise Hashing - Yuta.Kikuchiの日記
調査 | 00:30 | Recommend Engineでの類似度計算RecommendEngineを作る時の話。アイテム間の相関を計算する為にユーザーの購買データからJaccard係数やCos類似度を求める手法が一般的です(アイテム×ユーザーTableと、アイテム×アイテム相関Tableが必要)。しかしアイテムの個数(N)×ユーザー数(M)の行列を作り、Nの中から2つのアイテムを取り出してそれ... 続きを読む
ログ集計システムを自前で作る - Yuta.Kikuchiの日記
2014/02/12
273 users
index
自前
log
バッチ
ロク
Log | 08:28 | Index ログ集計システムの要件DB設計 データ保存方針 table設計サーバ構成Fluentdfluentd,fluent-plugin-mysql-bulk install td-agent.confmysqlにデータが格納される事を確認する 集計用のバッチ その他 Table肥大化防止 可視化 ログ集計システムの要件爆弾ログ処理班の@yutakikucです。ログ... 続きを読む
一日も早く起業したい人が「やっておくこと、知っておくべきこと」読了 - Yuta.Kikuchiの日記
起業 | 08:37 | 起業前にこんにちは、広告配信の最適化で常に頭が一杯な@yutakikucです。平日の深夜に読み進めた本は起業前の初歩的な知識がまとまっているものでした。具体的な起業手順が分かりやすく書いてあるので、実際の作業にとても参考になると思います。[必要なもの]の項目にあるような普通に考えると当たり前の内容も多いのでその辺りは読み飛ばし、お金/起業手順を中心に読み進めると良いと思い... 続きを読む
defineを辞めてhidefを使う - Yuta.Kikuchiの日記
PHP | 08:53 | PHPカンファレンス2013に参加してきましたPHPカンファレンス2013 2013/9/14(土)に開かれたPHPカンファレンス2013に参加してきました。主催、運営、スピーカーを担当された方々、大変お疲れ様でした。全体的には大半の人が知っている基礎的な内容が多かったと思います。スピーカーの方々も本当はもっとコアな話がしたいんだろうなぁとか、でも難しい話をし始めるとみ... 続きを読む
プロセス管理の初歩テクニック - Yuta.Kikuchiの日記
2013/08/19
57 users
tmux
index
Linux
コミュニティー
コマンド
Linux | 08:44 | Index 一言 Terminalログアウト後もプロセスを残すプロセスの2重起動防止 簡単に不要なプロセスをkillするtmuxの薦め 一言はてなって不思議なコミュニティーで具体的な実装や調査分析よりも便利なコマンドとかを紹介するネタが何故か重宝されるようなので、良く使うプロセス管理系コマンドの初歩テクニックを書いてみます。( コマンドの学習をより必要とする人が多く... 続きを読む
Google先生の検索結果リンクが予想以上に作り込まれていた件 - Yuta.Kikuchiの日記
2013/08/09
106 users
Referer
Google先生
日記
index
予想以上
研究, 調査 | 08:46 | Index 検索結果のリンクは単なるRedirectorでは無かった 検索結果のhttps化 httpsからhttpページへの遷移ではブラウザはRefererを送らないGoogle先生はRerererを送る仕組みを実装してくれたRefererが送信される処理の流れを追う httpsからhttpsページへの遷移はどうなるかGoogle Analyticsで検索Que... 続きを読む
データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Yuta.Kikuchiの日記
2013/08/01
452 users
爆速化
ランダムサンプリング
業務速度
sed
awk
Linux | 08:43 | Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使うawkを使う sortの--random-sortを使うScript言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ！ 列データ取得 重複行のカウント 合計値出力平均値出力 複数フ... 続きを読む
【進撃の巨大データ】Log集計用DBとシステム構成の美しい設計を考える - Yuta.Kikuchiの日記
2013/07/09
95 users
MySQL
巨大データ
美しい設計
システム構成
日記
Mysql | 08:49 | Log集計用DB設計 考える問題Document無しのAgile開発をガチで推奨したい@yutakikucです。【進撃の巨大データ】の第2回目として巨大アクセスLog集計用DBの設計について勉強した内容についてメモしたいと思います。DB周りはそこまで詳しく無いので詳しい皆様からの突っ込み大歓迎でございます。また図々しいですが知恵をください(笑)。今日の主目的は下の2... 続きを読む
MongoDBの集計機能が便利過ぎて泣けてくるお話し - Yuta.Kikuchiの日記
2013/04/26
259 users
nginx
MongoDB
fluentd
リアルタイム
ロク
MongoDB | 12:39 | MongoDBイン・アクション作者: Kyle Banker,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2012/12/14メディア: 大型本購入: 5人 クリック: 55回この商品を含むブログ (4件) を見るMongoDB集計機能CentOSでNginxのログをFluentdを使ってMongodbにリアルタイムで格納する - Yu... 続きを読む
業種別企業の平均年齢と年収の辞書データを公開しました - Yuta.Kikuchiの日記
2013/03/18
196 users
sleep
年収
辞書データ
Python
ファイナンス
Python, 自然言語処理 | 08:38 | 平均年齢と年収の辞書データ企業別の平均年齢と年収のデータをネットで探していたのですが、リストとしてまとまっているものが無かったので作成しました。以前作成した業種別企業名辞書の企業コードを基にYahoo!ファイナンスから平均年齢と年収のデータを引き当てます。当然ですが、Yahoo!ファイナンス様のサーバ負荷が高まらないように引当時にはsleepを入れ... 続きを読む
joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記
Linux | 08:48 | Linuxシステムプログラミング作者: Robert Love,ロバートラブ,千住治郎出版社/メーカー: オライリージャパン発売日: 2008/04/16メディア: 大型本購入: 5人 クリック: 106回この商品を含むブログ (29件) を見る 結合Unix/Linuxの標準コマンドで2つのファイルの共通keyで連結することができます。共通keyでの結合にはjoi... 続きを読む