AWS Athena雑感 - Go ahead!

2016/12/05 117 users

Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので，知り合いが試した情報も含めて，今思っている所を書いてみる． 実装 Athenaのページにあるように，実行エンジンは独自実装ではなくて，Facebookが公開しているPrestoを使っている．FacebookのみならずTreasure Data，A... 続きを読む

Fluentdの現実装のPros/Cons - Go ahead!

2015/04/13 165 users cons Pros エラーハンドリング データストリーム 内部

TODO: 必要なら図を足す 内部のイベントストリームの扱い Pros: Inputがスケーラブルに実装しやすく，データストリームを正常時/エラー時で切り替えやすい Cons: エラーハンドリングがブロッキングモデルよりも複雑になりやすい 以下長々と理由書きます． Fluentdはイベントストリームを効率良く，またロバストに扱うことを目的に設計されています．そのため，独自の転送プロトコル(forw... 続きを読む

Fluentdの現実装のPros/Cons - Go ahead!

2015/04/13 165 users cons Pros エラーハンドリング データストリーム 内部

TODO: 必要なら図を足す 内部のイベントストリームの扱い Pros: Inputがスケーラブルに実装しやすく，データストリームを正常時/エラー時で切り替えやすい Cons: エラーハンドリングがブロッキングモデルよりも複雑になりやすい 以下長々と理由書きます． Fluentdはイベントストリームを効率良く，またロバストに扱うことを目的に設計されています．そのため，独自の転送プロトコル(forw... 続きを読む

Serverspec本 - Go ahead!

2015/01/12 17 users Serverspec本

著者のmizzyさんから頂きました．ありがとうございます！ Serverspecそのものの説明はいらないとは思いますが，公式サイトと書籍へのリンクを張っておきます． Serverspec - Home O’Reilly Japan - Serverspec 本の感想 ソフトウェアの書籍でよくあるような「Serverspecはこう使う」といよりも「Serverspecはなぜこうなっているのか？」とい... 続きを読む

Fluentd UI - Go ahead!

2014/08/03 42 users fluent アナウンス ユーザ エコシステム 英語

fluent/fluentd-ui Fluentdのエコシステムの一つとして，Fluentd UIをリリースしました． すでに試してくれたユーザもいるようなので，現在の使用感などは下記の記事を参考にしてください． Fluentd UIが出たので触ってみた Touch the fluentd-ui(1) この記事ではFluentd UIそのものについてつらつらと書きたいと思います．英語でのアナウンス... 続きを読む

Fluentdとログ収集のパターン - Go ahead!

2014/07/31 68 users fluentd ToDo ログコレクタ ログ収集 ロク

「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く(TODO: 簡単なイメージ図を貼る)． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るは... 続きを読む

Fluentdとログ収集のパターン - Go ahead!

2014/07/31 464 users fluentd ToDo ログコレクタ ログ収集 ロク

「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く(TODO: 簡単なイメージ図を貼る)． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るは... 続きを読む

MPP on Hadoop, Redshift, BigQuery - Go ahead!

2014/07/23 158 users BigQuery RedShift MpP プレッシャー 各社

MPP on Hadoop, Redshift, BigQuery Jul 23rd, 2014 | Comments Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，も... 続きを読む

そろそろFluentd v11についてひとこと言っておくか - Go ahead!

2014/03/05 130 users ひとこと Fluentd v11

リリースは永遠にされません！ 日本では色々なところでv11の噂がまことしやかに囁かれていますが， 俺がメインメンテナである限りv11がリリースされることはないので，諦めてv0.10.xを使ってください！ 以下まじめな話になります． v11が生まれた背景と現状 v11が生まれたのは1年以上前です．背景には，v10と呼ばれる今のバージョンがプロトタイプを兼ねたリリースであり， 「利用者のフィードバック... 続きを読む

D言語の現状 - Go ahead!

2013/10/19 93 users D言語 現状 Facebook プロダクション 言語

「FacebookがプロダクションでD言語の利用を始めた」ことに関する記事が少し話題になってます．で，これだけだとD言語が他の言語のようにプロダクションreadyと勘違いする方もいるかもしれないので，今の現状について書いておきます． この記事の一言まとめ 手軽にプロダクションで使えるわけではありません！ 詳細が知りたい方は以降をお読みください. 今回の話 FacebookのAndreiはTDPLと... 続きを読む

D言語の現状 - Go ahead!

2013/10/19 93 users D言語 現状 Facebook プロダクション 言語

「FacebookがプロダクションでD言語の利用を始めた」ことに関する記事が少し話題になってます．で，これだけだとD言語が他の言語のようにプロダクションreadyと勘違いする方もいるかもしれないので，今の現状について書いておきます． この記事の一言まとめ 手軽にプロダクションで使えるわけではありません！ 詳細が知りたい方は以降をお読みください. 今回の話 FacebookのAndreiはTDPLと... 続きを読む

Search logs using Fluentd and Kibana - Go ahead!

2013/04/17 31 users Collector 17th

Search logs using Fluentd and Kibana Apr 17th, 2013 | Comments Fluentd is a flexible and robust event log collector, but Fluentd doesn’t provide own datastore and Web UI. So if you want to search stor... 続きを読む

Stormをはじめよう - Go ahead!

2013/03/30 12 users Storm Trident O’Reilly 概要 英語

O’Reillyの方からStormをはじめようを献本して頂いて読んだのでレビュー！ 感想 最近増えてきている100ページくらいの本なので，さっくり読めました． 簡単にまとめると ”英語は読みたくないので情報が古くてもStormの概要を日本語で読みたい” という方向けの本． 大きな理由は以下: Stormの対象バージョンが0.7.1と古い．俺でもTridentというのが0.8から入っているのを知って... 続きを読む

Pickadate.js

2013/02/17 147 users Pickadate.js Responsive month

Pickadate.js pickadate.js A mobile-friendly, responsive, and lightweight jQuery dateinput picker 9.6kb min, 4.0kb gzipped As easy as: $('.datepicker').pickadate(). Go ahead… pick a date. Month & year ... 続きを読む

Change The Game - Go ahead!

2012/10/31 79 users

知ってる人はもう知っているとは思いますが，10月をもって1年と10ヶ月勤めた謎のベンチャーPreferred Infrastructure, Incを去りました．PFIの方々，本当に有り難うございました！ エントリを書けと色々な人に脅されているので，てきとうに書きます． 環境 インターンで飛び込み，そのテンションのまま大学を辞めて入社．俺みたいな機械学習や情報検索の基礎すらなかった人間が，今では機... 続きを読む

Change The Game - Go ahead!

2012/10/31 79 users

知ってる人はもう知っているとは思いますが，10月をもって1年と10ヶ月勤めた謎のベンチャーPreferred Infrastructure, Incを去りました．PFIの方々，本当に有り難うございました！ エントリを書けと色々な人に脅されているので，てきとうに書きます． 環境 インターンで飛び込み，そのテンションのまま大学を辞めて入社．俺みたいな機械学習や情報検索の基礎すらなかった人間が，今では機... 続きを読む