サイバーエージェントはHBaseからTiDBへ移行、大規模データ処理基盤における検証結果を明かす

2024/08/27 14 users TiDB サイバーエージェント 要点整理 移行 性能

性能と運用面での変化はどれくらい？ 移行における要点整理 記事公開日：2024年8月27日 2024年7月3日に開催された「TiDB User Day 2024」では、オープンソースのNewSQLデータベース「TiDB」が、実際にどのように使われているか、ユーザーによる事例などを通して紹介された。サイバーエージェント グループIT推進本部 デ... 続きを読む

３週間で出来たEvent SourcingでCQRSなアーキテクチャ上でのHBaseのupgrade - Chatwork Creator's Note

2019/07/10 18 users CQRS Upgrade Note アーキテクチャ上 3週間

プロジェクトのリーダーである、cw-sakamotoがこの超重要プロジェクトを終え、軽い燃え尽き症候群になっているので、代わりにcw-tomitaが代筆しております。 マラソンガチ勢(ベストタイム３時間１７分)であるcw-sakamotoによって、Carbon X(50マイルでの世界記録を出したランナーが履いていたランニングシューズの名前)... 続きを読む

サマーインターンシップでHBaseをJDK 11で動かしZGCとの性能を評価してもらった話 - LINE ENGINEERING

2018/12/18 50 users サマーインターンシップ ZGC 性能 JDK 11

こんにちは、LINEのメッセンジャーアプリのサーバサイドエンジニアをしている’18卒のエンジニアのbitter_foxです。この記事はLINE Advent Calendar 2018の18日目の記事です。 弊社では夏休みの1ヶ月間〜2ヶ月間、学生に実際の業務を体験してもらう就業型のサマーインターンシッププログラムを実施しております。 弊社の... 続きを読む

Amazon Web Services ブログ: Apache Spark on Amazon EMR

2015/06/17 45 users Amazon Web Services ブログ Pig 本日

spark Amazon EMR上でApache Sparkがサポートされました！そのことについてEMRのプロダクトマネージャのJoh Fritzのブログを書いていますので、これを翻訳してみます。 今井 -- 本日、Amazon EMRはApache Sparkをサポートしたことを発表いたします。Amazon EMRはHiveやPig、HBase、Presto、ImpalaなどのHadoopエコシ... 続きを読む

NoSQL「HBase」はIoTにも最適--柔軟なスキーマでデータ構造の変更に対応 - ZDNet Japan

2015/03/09 56 users NoSQL IoT スキーマ ASF OSS

NoSQL「HBase」はIoTにも最適--柔軟なスキーマでデータ構造の変更に対応 草薙昭彦 （MapR Technologies） 2015年03月09日 19時14分 HBase登場の背景 2月24日、オープンソースソフトウェア（OSS）プロジェクト支援団体Apache Software Foundation (ASF) は「Apache HBase 1.0」のリリースを発表しました。HBas... 続きを読む

「Apache HBase」がバージョン1.0に到達、開発開始から7年で － Publickey

2015/03/02 30 users Publickey Hadoop Bigtable 到達 特長

GoogleのBigTableを参考にオープンソースで開発されたHBaseは、HadoopのファイルシステムであるHDFS上に構築されたキーバリューストア型のデータベース。高いスケーラビリティや柔軟なテーブル構造、自動シャーディングやフェイルオーバー機能などを特長とします。 そのHBaseがバージョン1.0に到達したことが、The Apache Software Foundation Blogにポ... 続きを読む

「HBase は素晴らしい！言うならばそれは SKVS ！」という台詞に最後は全て喰われていた HBase 徹底入門刊行記念セミナーで著者の方々のサインをもらってきた #hbase_ca - #garagekidztweetz

2015/02/02 27 users garagekidztweetz 台詞 著者 サイン 最初

2015-02-02 「HBase は素晴らしい！言うならばそれは SKVS ！」という台詞に最後は全て喰われていた HBase 徹底入門刊行記念セミナーで著者の方々のサインをもらってきた #hbase_ca conference HBase lifelog 何気に今年最初の勉強会ログの公開になりますが、今日は、先日、 2015-01-28 に発売されたHBase徹底入門の刊行記念イベントが渋谷マ... 続きを読む

Apache Drillを使用してYelpの生データを数分で分析する方法 | Hadoop Times

2014/12/02 15 users Yelp MongoDB マイルストーン SQLクエリ 月毎

Apache Drillは、急成長しているオープンソースプロジェクトの１つであり、その月毎のリリースに伴い、このコミュニティも飛躍的に進歩しています。最新のDrill 0.6リリースも、このプロジェクトにとって重要なマイルストーンでした。今回のリリースでは、(現在既に対応済みのファイルシステム、HBase、および、Hiveソースに加え) MongoDBに直接SQLクエリを行えるようになる等、重要な... 続きを読む

検索Crawlerを作る - Web就活日記

2014/09/23 16 users Web就活日記 Solr Nutch 2014-09-23

2014-09-23 検索Crawlerを作る Solr in Action作者: Trey Grainger,Timothy Potter出版社/メーカー: Manning Pubns Co発売日: 2014/04/05メディア: ペーパーバックこの商品を含むブログを見る Nutch + Solr + Hbase + Zookeeper Nutchで特定のWebPageをCrawlingしてSo... 続きを読む

Hadoopも2.0時代に突入：「Hadoop 2」データ処理とサービスの同時実行が可能な安定版が公開 - ＠IT

2013/10/17 12 users Hadoop Storm 同時実行 双方向 安定版

StormもHBaseも並行実行できる新しいジョブスケジューラ、リソースマネージャを追加したApache Hadoop 2系の安定版がリリース。バッチ混合、双方向でのリアルタイムワークロード実行など、強力な機能を持つ。 Apache Software Foundationは2013年10月16日、大規模分散処理フレームワークのメジャーアップデート「Apache Hadoop 2」の安定版リリースを... 続きを読む

HBaseを使って簡易アクセス解析サービスを作ってみよう （1/3）：CodeZine

2013/07/12 46 users CodeZine アクセスカウンタ アトミック 特性 前回

前回はHBaseを使ったアプリケーションのケーススタディとして、簡易ブログサービスを作りました。今回は、HBaseの強い一貫性を利用した簡易アクセス解析サービスを作ってみましょう。 はじめに　HBaseは強い一貫性を持ち、アトミックなインクリメント処理が可能であることは前回までに説明してきました。今回はその特性を利用して、大規模なアクセスカウンタを作成していきます。　HBaseを大規模なアクセス解... 続きを読む

漢(オトコ)のコンピュータ道: 書評：「7つのデータベース 7つの世界」

2013/04/03 246 users 書評 オトコ redis NoSQL CouchDB

2013-04-03 書評：「7つのデータベース 7つの世界」 訳者、角 征典氏より献本御礼。「7つのデータベース 7つの世界」はそのタイトルの通り、7種類のデータベースソフトウェアについて解説したNoSQLの道標とも言うべき書籍である。7種類のデータベースとして紹介されているのは、PostgreSQL、Riak、HBase、MongoDB、CouchDB、Neo4j、Redisである。本書は非常... 続きを読む

ニュース - 「LINE」を支えるHBaseの裏側など、Hadoop Conferenceが開催：ITpro

2013/01/22 61 users Hadoop ITpro オープンソースソフトウエア OSS

オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」のユーザー会「Hadoop Conference Japan 2013 Winter」が2013年1月21日、東京ビッグサイトで開催された（写真1）。スマートフォン向けコミュニケーションツール「LINE」を運営するNHN Japanの中村俊介氏が、LINEのストレージとして利用する「HBase」の運用ノウハウを語るなど、ユー... 続きを読む

HBaseを触ってみよう （1/5）：CodeZine

2013/01/16 103 users CodeZine MapReduce Bigtable 標準

HBaseは、Googleの基盤ソフトウェアである「Bigtable」のオープンソースクローンであり、大量データに対応した分散ストレージシステムです。HBaseを用いることで、スケーラブルで信頼性のあるデータベースを構築することができます。また、MapReduceを標準でサポートしており、HBaseに保存したデータに対してバッチ処理を行うことも可能です。しかし、SQLで扱えないことや、RDBとのス... 続きを読む

HBaseを学ぶのに良さそうなプレゼン資料6つ - NAVER まとめ

2012/07/29 23 users NAVER

While running a simple key/value based solution on HBase usually requires an equally simple schema, it is less trivial to operate a different application that h 続きを読む

livedoor Techブログ : 第2回NHNテクノロジーカンファレンス開催！

2012/07/24 73 users 第2回NHNテクノロジーカンファレンス GREE 伊勢幸一

NHN技術部会、株式会社データホテルの伊勢幸一です。 おまたせいたしました。 お約束通り、来る8月18日（土)、第2回NHNテクノロジーカンファレンスを開催します！ 今回のテーマはこちら！ 「H （エッチ)」 もともと本当は第2回テーマとして今流行のHTML5大特集を予定していたのですが、前回のカンファレンスでスピーカーをして頂いたGREEの藤本さんから、 「LINEで使っているHBaseの話を聞... 続きを読む

HBaseのRowKeyの設計についてのメモ - wyukawa’s blog

2012/07/23 27 users アーキテクチャ wyukawa’s blog 大文字 メモ

HBaseFacebook Messageで使われたり、LINEのストレージで使われたり、と事例も多く出てきているHBase（Bは大文字。これ重要）ですが、個人的に少し興味も湧いてきたのでちょっと調べてます。HBaseはLog-Structured Merge-tree (LSM-tree)というアーキテクチャを使っており大量データの書き込みに最適化されています。なので大量の書き込みがあり読み込み... 続きを読む

第1回NHNテクノロジーカンファレンスに行ってきた - WebService::Blog->new( user => ’hide_o_55’ )

2012/05/21 18 users WebService USER Blog- New Sat

5/19(Sat)に第1回NHNテクノロジーカンファレンスに行って来ました。参加申込み時点では内容が決まっておらず不安でしたが、懇親会も含めていろいろ話せたので楽しかったです。NHNテクノロジーカンファレンスは四半期毎に開催されるようなので、テーマが面白そうならまた参加したいです。次回はLineのHBaseの話がいいなぁ〜|ω･｡)ﾁﾗｯﾁﾗｯ 以下、内容については動画が公開されているので、感想を... 続きを読む

Zabbix jp勉強会 Hadoop-HBaseの監視_20120512

2012/05/12 23 users Hadoop Zabbix 運用 Copyright

Zabbix jp勉強会 Hadoop-HBaseの監視_20120512 — Presentation Transcript ZabbixによるHadoop/HBaseの監視 Hadoop/HBaseの運用におけるZabbixの活用事例日本ヒューレット・パッカード株式会社テクノロジーコンサルティング統括本部データセンターソリューション第一本部コアテクノロジー部石田精一郎1 © Copyright... 続きを読む

事例：とある写真共有アプリでのMongoDB

2011/09/23 81 users MongoDB 事例 写真共有アプリ

事例：とある写真共有アプリでのMongoDB - Presentation Transcript MongoDB@just_do_neet 1 • MongoDB• MongoDB Topic• HBase• 2 Adoption stories of ‘MongoDB’ MongoDB 3 • RDBMS MongoDB → →• MongoDB• GridFS 4 NAVER Photo Al... 続きを読む

次世代アーキテクチャ - 急がば回れ、選ぶなら近道

2011/07/05 31 users 近道 次世代アーキテクチャ slide SlideShare

次世代アーキテクチャについての考えをまとめておく。 まずは、Hbaseの勉強会のお話。 某界隈では割と話題になったので、 細かいブログやサイトは結構、紹介されている。 ので特に詳細は省く。 一応tatsuyaさんのSlideshareは Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and ... slideを見ている... 続きを読む

FacebookがHBaseを大規模リアルタイム処理に利用している理由（後編） － Publickey

2011/07/04 130 users Facebook Publickey 後編 基盤 解説

Facebookは大規模なデータ処理の基盤としてHBaseを利用しています。なぜFacebookはHBaseを用いているのか、どのように利用しているのでしょうか？ 7月1日に都内で行われた勉強会で、Facebookのソフトウェアエンジニアであるジョナサン・グレイ（Jonathan Gray）氏による解説が行われました。 この記事は、「FacebookがHBaseを大規模リアルタイム処理に利用してい... 続きを読む

FacebookがHBaseを大規模リアルタイム処理に利用している理由（前編） － Publickey

2011/07/04 304 users Facebook Publickey スライド 基盤 前編

Facebookは大規模なデータ処理の基盤としてHBaseを利用しています。なぜFacebookはHBaseを用いているのか、どのように利用しているのでしょうか？ 7月1日に都内で行われた勉強会で、Facebookのソフトウェアエンジニアであるジョナサン・グレイ（Jonathan Gray）氏による解説が行われました。 解説はほぼスライドの内容そのままでした。当日使われた日本語訳されたスライドが公... 続きを読む

東の空が朱く染まるように 忍者ツールズを支える自作サーバーたち

2011/06/29 37 users 忍者ツールズ Hadoop HDFS サイバーエージェント

実は忍者ツールズでは一部自作サーバーを使っているサービスがあります。 [忍者アナライズ] Hadoopに最適化したサーバーで、HDFS、HBase等が動いているサーバーです。 そして、今回新たにサーバーリプレースに合わせて新自作サーバーを構築しました。 このサーバーが適用されるサービスはほぼすべて。 バックエンドシステムの更新を行う過程において導入を決めました。 参考にしたのはサイバーエージェント... 続きを読む

分散データベース「HBase」の安定運用を目指して : Preferred Research

2011/05/09 224 users Hadoop HDFS ZooKeeper エントリ ヘタ

1年経ってiPhone4の電池がヘタってきた、太田です。 指数関数的にエントリ数が少なくなってきた本ブログですがw、景気付けのためにエントリを投稿したいと思います！本日はHBaseについてです。 Linux と Hadoop と HBase と ZooKeeper に詳しいあなた！あなたがターゲットです。 HBaseとは? HBaseとは、HDFS (Hadoop Distributed File... 続きを読む