大規模Kafkaクラスターで起きた「SYN flood」　LINEはどのように問題を特定して解決したか

2021/11/17 7 users line ミドルウェア クラスター 問題 後半

2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで岡田遥来氏が、LINEで最もよく使われるミドルウェアの1つ「Kafka」クラスターのリクエスト遅延を、どのように解決したかについて紹介しました。後半は、実際どの... 続きを読む

Kafkaに接続するJavaアプリケーションをGravitonインスタンスへ移行してパフォーマンスを改善する - joker1007’s diary

2021/08/23 5 users ワークロード マルチスレッド性能 ドキュメント 既存 前後

社内向けのドキュメントと兼用したので、前提とかメンバー向けの解説が含まれているので、前後のパフォーマンスの変化だけを見たい人は、下の方のグラフ画像までスクロールしてください。 gravitonインスタンスを活用するモチベーション ワークロードによる相性はあるが、特にマルチスレッド性能で既存のインスタンスよ... 続きを読む

Kafkaを利用したジョブキューライブラリ「Decaton」の活用事例 - LINE ENGINEERING

2020/05/13 8 users GitHub OSS LINE Engineering

先日 LINE が開発するライブラリ Decaton が OSS として公開されました。 Decaton は Kafka を利用したジョブキューライブラリで、LINE 社内で幅広く利用されています。 GitHub – line/decaton: High throughput asynchronous task processing on Apache Kafka 今回の記事では、LINE で Decaton がどのように利用されて... 続きを読む

AWS、オープンソースベンダのライセンス変更による商用サービスの制限は「顧客を見ていない」と反論 － Publickey

2019/12/22 90 users Publickey AWS 反論 redis MongoDB

RedisやMongoDB、Kafka、Elastisearchなどのオープンソースソフトウェアの開発元企業が、AWSなど大手クラウドベンダがそのオープンソースを用いたマネージドサービスを提供して大きな利益を上げていることに反発して、ライセンスを変更するなどで商用サービス化を制限する動きがあることは、今年の1月の記事で紹介しまし... 続きを読む

GoogleがMongoDB、Redis、Elastic、Kafkaと協業、OSS開発元の収益を重視（アスキー） - Yahoo!ニュース

2019/04/09 36 users GCP DataStax InfluxData OSS 協業

Googleは2019年4月9日（米国時間）、サンフランシスコで開幕した「Google Cloud Next 2019」で、MongoDB、Neo4j、Elastic、Radis Labs、Confluent、DataStax、InfluxDataと、GCPからのマネージドサービス提供を柱としたパートナーシップを発表した。 OSSの商用クラウドサービス化をめぐって、OSSの開発元とクラウドベン... 続きを読む

Camel K(=Kubernetes × Operator × EIP)の紹介 - 赤帽エンジニアブログ

2019/02/04 14 users eip operator サーバレス Kubernetes

こんにちはRed Hatの Fuse/AMQ(Apache Camel/ActiveMQ/Kafka) のテクニカルサポート担当の山下です。 今回はCamel Kを紹介する Nicola Ferraro氏のブログの翻訳です。Camel Kというのは、Kubernetes上でネイティブに動作し、サーバレスおよびマイクロサービスアーキテクチャに特化してデザインされた、EIP(エンタープラ... 続きを読む

O'Reilly Japan - Kafka

2018/07/20 67 users 笹井 上岡 原書 システ Gwen Shapira

Kafka Neha Narkhede、Gwen Shapira、Todd Palino　著、上岡 真也　監訳、笹井 崇司　訳 2018年08月03日 発売予定 312ページ ISBN978-4-87311-849-9 フォーマット Print PDF 原書: Kafka: The Definitive Guide 本書では、リアルタイムのストリーム処理基盤であるKafkaを本番環境で動かし、その上に堅牢で高性能なシステ... 続きを読む

O'Reilly Japan - Kafka

2018/07/20 67 users 笹井 上岡 原書 システ Gwen Shapira

Kafka Neha Narkhede、Gwen Shapira、Todd Palino　著、上岡 真也　監訳、笹井 崇司　訳 2018年08月03日 発売予定 312ページ ISBN978-4-87311-849-9 フォーマット Print PDF 原書: Kafka: The Definitive Guide 本書では、リアルタイムのストリーム処理基盤であるKafkaを本番環境で動かし、その上に堅牢で高性能なシステ... 続きを読む

O'Reilly Japan - Kafka

2018/07/20 67 users 笹井 上岡 原書 システ Gwen Shapira

Kafka Neha Narkhede、Gwen Shapira、Todd Palino　著、上岡 真也　監訳、笹井 崇司　訳 2018年08月03日 発売予定 312ページ ISBN978-4-87311-849-9 フォーマット Print PDF 原書: Kafka: The Definitive Guide 本書では、リアルタイムのストリーム処理基盤であるKafkaを本番環境で動かし、その上に堅牢で高性能なシステ... 続きを読む

Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 / ペンギン愛好家 さん - ニコナレ

2018/04/02 67 users fluentd Spark ニコナレ データ分析基盤

新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/even... すべて表示 続きを読む

Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム － Publickey

2017/11/13 230 users Publickey Apache Kafka 到達 データ

大量のデータを高速に収集できるメッセージ処理システムとして知られる「 Apaceh Kafka 」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから 発表されました 。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。 さまざまなアプリ... 続きを読む

ConfluentがKafkaによるメッセージングシステムの長年の夢、‘正確に一度だけ’をついに実現 | TechCrunch Japan

2017/07/01 38 users メッセージングシステム Confluent 門外漢 長年 実現

オープンソースの分散メッセージストリーミングツール Apache Kafka の商用化サービス（リアルタイムデータストリーミング）を提供している Confluent が今週、Kafkaのユーザーにとって嬉しい機能を 発表した 。それは、Kafkaを使ってメッセージを、“正確に一度だけ”送る能力だ。 それのどこがすごいのか、門外漢には分かりづらいが、Kafkaのような高速メッセージングツールを使って... 続きを読む

インメモリデータベースのMemSQL、マネージドサービスをAWSとAzure、Google Cloudで提供すると発表。リアルタイム検索可能なデータウェアハウス実現 － Publickey

2017/06/20 41 users Publickey MemSQL マネージドサービス AWS

MemSQLはリアルタイムに分析や検索が可能なデータウェアハウスを実現するためのインメモリデータベース。分散処理に対応して性能と容量が向上するのに加え、メモリだけでなく分散ストレージにも対応してデータを配置するため、ペタバイトクラスの大規模データを扱えるスケーラビリティも備えていると説明されています。 ほかのデータベースからのデータのロードや、Kafkaなどを経由してIoTからストリーミングデータ... 続きを読む

株式会社ドワンゴを退職しました。 - だいたいよくわからないブログ

2017/02/28 51 users 株式会社ドワンゴ ブログ Scala ドワンゴ 側面

2017 - 02 - 28 株式会社ドワンゴを退職しました。 2017年2月28日付けで株式会社 ドワンゴ を退職しました。 新卒入社から二年弱、 Scala を書いたり、 ScalaText の作成に参加したり、Kafkaを運用したりしていました。 短い期間でしたがscalazコントリビューター1位＆2位の人 *1 を含め、色々な側面ですごい人達と同じチームで仕事が出来たのはとてもいい経験にな... 続きを読む

Graylog ではじめるログ管理 - クックパッド開発者ブログ

2015/11/25 300 users KINESIS セキュリティグループ SaaS Kibana

2015 -11 -25 Graylog ではじめるログ管理 こんにちは。インフラストラクチャー部 セキュリティグループの星 ( @kani_b ) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理... 続きを読む

Apache Kafkaに入門した | SOTA

2015/09/04 577 users Sota Apache Kafka メッセージング 導入 対象

Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）． バージョンは 0.8.2 を対象に書いている． Apache ... 続きを読む

プロのボウリング選手でも倒せない「最も難しいスプリット」の並び方が判明 - GIGAZINE

2015/03/11 39 users GIGAZINE スプリット 判明 哀しみ レーン

By Alexander C. Kafka 「パカーン！」と勢いよくピンを倒したはずが、レーンの右と左にピンが分かれて残る「スプリット」を見た時に感じる哀しみは得も言われぬものがあります。スプリットを全て倒すスプリットメイクに成功した者は神にも近い尊敬を集めることになるのですが、そんな中でも「最も倒しにくいスプリット」の並び方が判明しました。 Hardest shot in bowling: It... 続きを読む

StormとKafkaによるリアルタイムデータ処理 - Yahoo! JAPAN Tech Blog

2014/10/27 87 users Storm リアルタイムデータ処理 Yahoo もと 読者

こんにちは、鈴木カズです。 社内向けの監視システム構築のため、StormやKafkaを利用して開発を行っていました。 そのときの経験をもとに、まずStormによる実際のシステムがどんなものかということを紹介し、KafkaSpoutの処理内容、カスタマイズ方法、Stormのメッセージ処理などを説明したいと思います。 読者としては、StormやKafkaについて興味があり記事を読んだりしたことがあるが... 続きを読む

Shopify: Kafka + Dockerの導入 - ワザノバ | wazanova

2014/07/27 31 users Docker Shopify wazanova ワザノバ 導入

http://company.myshopify.com/blogs/technology/14909841-kafka-producer-pipeline-for-ruby-on-rails 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約4時間前 オンラインストア & リアルショップ向けのアプリを提供しているShop... 続きを読む

Pinterest: 漏れなくログを拾うSectorをオープンソースで提供 - ワザノバ | wazanova

2014/04/30 20 users points Engineering Pinterest

http://engineering.pinterest.com/post/84276775924/introducing-pinterest-secor 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約4時間前 Pinterestが課金フローのログ収集に使っているSectorをオープンソースで提供しました。Kafkaか... 続きを読む

Apache Sparkってどんなものか見てみる（その１ - 夢とガラクタの集積場

2013/09/01 216 users ガラクタ Apache Spark 集積場 ＲＤＤ 阿呆

こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず... 続きを読む

Kafkaによるリアルタイム処理

2011/11/27 82 users Jav Twitter Photos ickr.com

Kafkaによるリアルタイム処理 - Presentation Transcript Kafka Twitter: yanaoki 2011/11/27 16 +WEB http://www.flickr.com/photos/devnull/19765635/2011 11 27 • • • Kafka • Kafka2011 11 27 • Twitter: @yanaoki • • • Jav... 続きを読む