Kafka StreamsのWindowStateStoreを利用した集計処理で未来のタイムスタンプを扱う際の危険な罠 - Qiita

2020/03/05 6 users Qiita スレ Kafka Streams 特定 ユーザー毎

Kafka StreamsにはWindow Aggregationという仕組みがある。 特定の時間間隔毎にイベントの数を数えたり等を行うための機能だ。 で、それを利用してユーザー毎のイベント実行回数をカウントする処理を書いていたのだが、何故か結果が合わない。 テストコードでは再現しないし確率的に結果がズレるという状況が発生した。 ... 続きを読む

KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 - Mercari Engineering Blog

2017/11/02 80 users KPI Cloud Dataflow SRE 数値 刷新

2017 - 11 - 02 KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 メルカリのバックエンドを支える SRE(Site Reliability Engineering) チームに最近加わりました @syu_cream です。 本記事では KPI に関わる数値を計算してレポートを生成する集計システムの刷新に取り組んでいる話を紹介します。 現在は刷新の途中で... 続きを読む

Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 　テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース

2017/05/29 254 users DWH インメモリ Docker データウェアハウス デプロイ

日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応で... 続きを読む

flentdと連動して集計処理を行うNorikraの導入方法 | OXY NOTES

2015/12/17 29 users Norikra CentOS6 数値 インストール プラグイン

NorikraをCentOS6にインストール ビックデータ時代のログ管理ソフト flentd 。 その利便性と安定した動作から、業界ではログ管理の標準になりつつあります。 そんなflentdにも苦手な分野があります。 条件を指定した集計処理です。環境によって異なる集計処理を実装するには数値を操作するプラグインを組み合わせる必要がありました。 カウント処理で言えば「 fluent-plugin-da... 続きを読む

データ分析にはどのようなツールが必要なのか--エンジニア編（前編） - ZDNet Japan

2015/12/09 55 users ZDNet Japan エンジニア編 ツール 前編 データ分析

前回はマーケティング部門側の視点から、日々の分析に役立つ技術について解説した。今回は前後編に分けて、おもに主に情シス部門に向けて、エンジニアの視点からデータ分析において役立つさまざまな技術を紹介する。 情シス部門側は分析チームにおいて、下記のような業務を担う可能性が高い。集計処理の自動化 分析レポートの継続化 データの収集 分析用データの蓄積 これらを実施する上で役立つ技術は、いったいどのようなも... 続きを読む

fluentd pluginで集計処理をする(Norikra以外で) - Qiita

2014/12/09 52 users Qiita fluentd Norikra 一石 かけら

fluentd pluginで集計処理をする(Norikra以外で)fluentd(224)moaikidsが2014/12/09に投稿(2014/12/09に編集)編集履歴(2)編集リクエストを作成する はじめに 世間的には「fluentdで集計 ≒ Norikra!!!!!」という流れで、それに対して一石を投じる気のかけらも私には無いわけですが、Norikraを用いるまでもない軽微な処理を実行... 続きを読む

fluent-plugin-datacounter を norikra に置き換えるべき理由と設定方法 - sonots:blog

2014/05/04 77 users fluentd sonots Norikra 理由 設定方法

2014年05月04日15:27 カテゴリ fluent-plugin-datacounter を norikra に置き換える 本記事では、Fluentd で fluent-plugin-datacounter を使って行っていた集計処理を Norikra に委譲する設定方法を解説します。まえおきそもそもなぜ置き換える必要があるのかというと、ズバリ Fluentd は「分散集計処理」をするのには... 続きを読む

単純な集計とデータサイエンスによる分析とで結果が食い違うかもしれない3ケース - 銀座で働くデータサイエンティストのブログ

2013/08/06 178 users データサイエンティスト 集計 データサイエンス 銀座 分析

一般に、データ分析の大半はそれほど高度なテクニックの類を必要としないものです。僕も常日頃から口に出して言うことが多いんですが、「統計学だの機械学習だのの出番なんてそもそも少なくて当たり前」。工数もかかるし、できればやらない方が良いです。ぶっちゃけ単純な四則演算で十分なケースの方が多数派でしょう。 なので、普段はDB上でSQL（というかHiveなど）でサクッと四則演算だけで集計処理を済ませてしまって... 続きを読む

カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4） － Publickey

2013/05/20 170 users インメモリ リレーショナルデータベース Publickey

カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4） 現在主流となっているOracle、SQL Server、DB2などのリレーショナルデータベースは事実上すべて、行（ロー）指向で内部の処理を行っています。一方で、最近急速に注目されているのが、列指向で内部処理を行い、大量データの集計や分析処理に優れた「カラム型データベ... 続きを読む

ニコニコ動画歌ってみたタグ週間新着動画の推移からみる考察 - 週刊歌らん作者のはてなダイアリー

2012/04/27 23 users 推移 考察 数値 週刊歌らん作者 毎週

各種考察ニコニコ動画歌ってみたタグ週間新着動画の推移の前提条件この研究では、2008年11月第3週以降、以下の条件で取得したデータを元に毎週投稿された新着動画のデータのみを用いて数値の集計処理を行った結果を元に分析を行っている。毎週月曜日05時00分00秒〜翌週月曜日04時59分59秒の期間にニコニコ動画へ投稿された動画を集計対象としている。以下の方法を組み合わせてニコニコ動画へ投稿された動画の再... 続きを読む