Apache Kafkaのトラブルシューティングに見る、LINEが“根本的な”原因究明を大切にする理由 - ログミーTech

2019/12/12 6 users トラブルシューティング ログミーTech 原因究明 line

Apache Kafkaのトラブルシューティングに見る、LINEが“根本的な”原因究明を大切にする理由 Reliability Engineering Behind The Most Trusted Kafka Platform #2/2 2019年11月20、21日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。1日目は「Engineeri... 続きを読む

Apache Kafkaで発生した原因不明のパフォーマンス低下と、それを解決するためにやったこと - ログミーTech

2019/08/08 111 users ログミーTech パフォーマンス低下 原因 LINE株式会社

Apache Kafkaで発生した原因不明のパフォーマンス低下と、それを解決するためにやったこと Kafka Broker performance degradation by mysterious JVM pause 2019年7月17日、kafka.apache.jpが主催するイベント「Apache Kafka Meetup Japan #7」がLINE株式会社にて開催されました。分散ストリーミングプラットフォーム「A... 続きを読む

Apache Kafkaにも注目 ―Hadoop, Spark，分散処理フレームワークをめぐる2019年：新春特別企画｜gihyo.jp … 技術評論社

2019/01/08 12 users 分散処理フレームワーク Apache Spark 展望 活用

あけましておめでとうございます。 今年も大規模データ向けの分散処理フレームワークの展望についてご紹介します。例年Apache HadoopとApache Sparkを中心にお届けしておりましたが，今年はこれらに加えて，2018年に活用が広がりが認知された分散メッセージシステムのApache Kafkaについても 同様に取り上げたいと思いま... 続きを読む

DBへの変更をイベントストリームに変換するOSS: Debeziumの紹介とチュートリアル - 赤帽エンジニアブログ

2018/12/06 17 users イベントストリーム OSS 須江 チュートリアル 日付

Red Hatの須江です。 本記事は赤帽エンジニアAdvent Calendar 2018の6日目です。 (子供の寝かしつけで一緒に寝落ちして日付が変わってしまいましたが12/6分です。。。) Debeziumとは? DebeziumはDBに対するデータ操作をキャプチャしてイベントストリームに変換してくれる分散プラットフォームです。Apache Kafkaをベース... 続きを読む

Amazon.co.jp: Apache Kafka 分散メッセージングシステムの構築と活用: 株式会社NTTデータ, 岩崎 正剛, 佐々木 徹, 猿田 浩輔, 吉田 耕陽, 都築 正宜: Book

2018/09/16 22 users 猿田 都築 正剛 浩輔 岩崎

続きを読む

Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す – ITアーキテクトブログ – Medium

2018/01/03 426 users medium Producer PoC Apache 本番運用

Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す Distributed computing Advent Calendar 2017 の12/15分の投稿です。 Apache Kafka: Producer, Broker and Consumer 2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache... 続きを読む

IaaS基盤をテストする環境を作る話 - Qiita

2017/12/08 14 users Qiita IaaS基盤 IDL メッセージングシステム 環境

この記事は 富士通クラウドテクノロジーズ Advent Calendar 2017 の8日目です。 昨日は @YoshidaY さんの「 gRPCでApache Kafkaを使ってみる 」でした。メッセージングシステムにIDLと、マイクロサービスの要になりそうな話でしたね。今後どのように活用していくのか、期待しています。 前置き 新卒入社3年目の @ntoofu です。普段は弊社IaaSの仮想化基... 続きを読む

Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム － Publickey

2017/11/13 230 users Publickey Kafka 到達 Confluent 機能

大量のデータを高速に収集できるメッセージ処理システムとして知られる「 Apaceh Kafka 」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから 発表されました 。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。 さまざまなアプリ... 続きを読む

Apache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースで － Publickey

2017/09/04 165 users スケーラビリティ Confluent ストリームデータ ロク

Apache Kafkaを用いたリアルタイムデータ処理の商用サービスを提供しているConfluentは、Apache Kafkaに対応したオープンソースのSQLエンジン「KSQL」のデベロッパープレビューを リリースしました 。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理できるソフトウェアです。さまざまなアプリケーションから送られてくるログや大量のセンサーな... 続きを読む

Apache Kafkaを使ったマイクロサービス基盤

2016/01/31 16 users マイクロサービス基盤 middle twitte class

class: center, middle # Apache Kafka を使った マイクロサービス基盤 [2016/01/31 Scala Matsuri](http://scalamatsuri.org/)  --- class: middle - twitte... 続きを読む

高速にApache Kafkaを試す - Qiita

2015/09/10 54 users Qiita

Apache kafkaに入門した 最近Apache kafkaを探求している．触ることも多くなったのでローカルで簡単に試せる環境をちゃんと整えた．JVMだし動かすの大変そうと思われがちだがDockerを使えばコマンド1発で起動できる．以下では実際にBrokerを立ててsyslogの配信/購読をやってみる． バージョンは 0.8.2 を対象に書いている． まずKafka（Broker）を動かす．D... 続きを読む

Apache Kafkaに入門した | SOTA

2015/09/04 577 users Sota Kafka メッセージング Apache バージョン

Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）． バージョンは 0.8.2 を対象に書いている． Apache ... 続きを読む

Apache Kafka

2011/11/16 21 users

Why we built this Kafka is a messaging system that was originally developed at LinkedIn to serve as the foundation for LinkedIn's activity stream processing pipeline. Activity stream data is a normal ... 続きを読む