KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 - Mercari Engineering Blog

2017/11/02 80 users KPI Cloud Dataflow SRE 数値 刷新

2017 - 11 - 02 KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 メルカリのバックエンドを支える SRE(Site Reliability Engineering) チームに最近加わりました @syu_cream です。 本記事では KPI に関わる数値を計算してレポートを生成する集計システムの刷新に取り組んでいる話を紹介します。 現在は刷新の途中で... 続きを読む

Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 　テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース

2017/05/29 254 users DWH インメモリ Docker データウェアハウス デプロイ

日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応で... 続きを読む

データ分析にはどのようなツールが必要なのか--エンジニア編（前編） - ZDNet Japan

2015/12/09 55 users ZDNet Japan エンジニア編 ツール 前編 データ分析

前回はマーケティング部門側の視点から、日々の分析に役立つ技術について解説した。今回は前後編に分けて、おもに主に情シス部門に向けて、エンジニアの視点からデータ分析において役立つさまざまな技術を紹介する。 情シス部門側は分析チームにおいて、下記のような業務を担う可能性が高い。集計処理の自動化 分析レポートの継続化 データの収集 分析用データの蓄積 これらを実施する上で役立つ技術は、いったいどのようなも... 続きを読む

fluentd pluginで集計処理をする(Norikra以外で) - Qiita

2014/12/09 52 users Qiita fluentd Norikra 一石 かけら

fluentd pluginで集計処理をする(Norikra以外で)fluentd(224)moaikidsが2014/12/09に投稿(2014/12/09に編集)編集履歴(2)編集リクエストを作成する はじめに 世間的には「fluentdで集計 ≒ Norikra!!!!!」という流れで、それに対して一石を投じる気のかけらも私には無いわけですが、Norikraを用いるまでもない軽微な処理を実行... 続きを読む

fluent-plugin-datacounter を norikra に置き換えるべき理由と設定方法 - sonots:blog

2014/05/04 77 users fluentd sonots Norikra 理由 設定方法

2014年05月04日15:27 カテゴリ fluent-plugin-datacounter を norikra に置き換える 本記事では、Fluentd で fluent-plugin-datacounter を使って行っていた集計処理を Norikra に委譲する設定方法を解説します。まえおきそもそもなぜ置き換える必要があるのかというと、ズバリ Fluentd は「分散集計処理」をするのには... 続きを読む

単純な集計とデータサイエンスによる分析とで結果が食い違うかもしれない3ケース - 銀座で働くデータサイエンティストのブログ

2013/08/06 178 users データサイエンティスト 集計 データサイエンス 銀座 分析

一般に、データ分析の大半はそれほど高度なテクニックの類を必要としないものです。僕も常日頃から口に出して言うことが多いんですが、「統計学だの機械学習だのの出番なんてそもそも少なくて当たり前」。工数もかかるし、できればやらない方が良いです。ぶっちゃけ単純な四則演算で十分なケースの方が多数派でしょう。 なので、普段はDB上でSQL（というかHiveなど）でサクッと四則演算だけで集計処理を済ませてしまって... 続きを読む

カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4） － Publickey

2013/05/20 170 users インメモリ リレーショナルデータベース Publickey

カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4） 現在主流となっているOracle、SQL Server、DB2などのリレーショナルデータベースは事実上すべて、行（ロー）指向で内部の処理を行っています。一方で、最近急速に注目されているのが、列指向で内部処理を行い、大量データの集計や分析処理に優れた「カラム型データベ... 続きを読む