AWS Athena雑感 - Go ahead!

2016/12/05 117 users

Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので，知り合いが試した情報も含めて，今思っている所を書いてみる． 実装 Athenaのページにあるように，実行エンジンは独自実装ではなくて，Facebookが公開しているPrestoを使っている．FacebookのみならずTreasure Data，A... 続きを読む

Fluentdの現実装のPros/Cons - Go ahead!

2015/04/13 165 users Pros cons エラーハンドリング データストリーム 内部

TODO: 必要なら図を足す 内部のイベントストリームの扱い Pros: Inputがスケーラブルに実装しやすく，データストリームを正常時/エラー時で切り替えやすい Cons: エラーハンドリングがブロッキングモデルよりも複雑になりやすい 以下長々と理由書きます． Fluentdはイベントストリームを効率良く，またロバストに扱うことを目的に設計されています．そのため，独自の転送プロトコル(forw... 続きを読む

Fluentdの現実装のPros/Cons - Go ahead!

2015/04/13 165 users cons Pros エラーハンドリング データストリーム 内部

TODO: 必要なら図を足す 内部のイベントストリームの扱い Pros: Inputがスケーラブルに実装しやすく，データストリームを正常時/エラー時で切り替えやすい Cons: エラーハンドリングがブロッキングモデルよりも複雑になりやすい 以下長々と理由書きます． Fluentdはイベントストリームを効率良く，またロバストに扱うことを目的に設計されています．そのため，独自の転送プロトコル(forw... 続きを読む

Fluentdとログ収集のパターン - Go ahead!

2014/07/31 464 users fluentd ToDo ログコレクタ ログ収集 ロク

「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く(TODO: 簡単なイメージ図を貼る)． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るは... 続きを読む

MPP on Hadoop, Redshift, BigQuery - Go ahead!

2014/07/23 158 users RedShift BigQuery MpP プレッシャー 各社

MPP on Hadoop, Redshift, BigQuery Jul 23rd, 2014 | Comments Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，も... 続きを読む

そろそろFluentd v11についてひとこと言っておくか - Go ahead!

2014/03/05 130 users ひとこと Fluentd v11

リリースは永遠にされません！ 日本では色々なところでv11の噂がまことしやかに囁かれていますが， 俺がメインメンテナである限りv11がリリースされることはないので，諦めてv0.10.xを使ってください！ 以下まじめな話になります． v11が生まれた背景と現状 v11が生まれたのは1年以上前です．背景には，v10と呼ばれる今のバージョンがプロトタイプを兼ねたリリースであり， 「利用者のフィードバック... 続きを読む

Pickadate.js

2013/02/17 147 users Pickadate.js Responsive month

Pickadate.js pickadate.js A mobile-friendly, responsive, and lightweight jQuery dateinput picker 9.6kb min, 4.0kb gzipped As easy as: $('.datepicker').pickadate(). Go ahead… pick a date. Month & year ... 続きを読む