はてブログ

はてなブックマーク新着エントリーの過去ログサイトです。



タグ Impala

新着順 人気順 5 users 10 users 50 users 100 users 500 users 1000 users
 
(1 - 15 / 15件)
 

HiveとImpalaにワークフロースケジューラーに入れてみた（前編） - CyberZ公式エンジニアブログ

2015/11/12 このエントリーをはてなブックマークに追加 11 users Instapaper Pocket Tweet Facebook Share Evernote Clip CyberZ Hive Hadoop環境 遠藤 後編

2015-11-12 HiveとImpalaにワークフロースケジューラーに入れてみた（前編） こんにちは、CyberZのエンジニアの遠藤です。 もうすっかり秋めいてきたので、温泉に行きたい今日このごろです。 さて、今回は社内にあるデータ分析用基盤のHadoop環境にワークフロースケジューラーを導入したので、前編と後編に分けてCyberZでの導入事例を書きたいと思います。 弊社ではさまざまなデータの... 続きを読む

Amazon Web Services ブログ: Apache Spark on Amazon EMR

2015/06/17 このエントリーをはてなブックマークに追加 45 users Instapaper Pocket Tweet Facebook Share Evernote Clip Amazon Web Services ブログ Pig 本日

spark Amazon EMR上でApache Sparkがサポートされました！そのことについてEMRのプロダクトマネージャのJoh Fritzのブログを書いていますので、これを翻訳してみます。 今井 -- 本日、Amazon EMRはApache Sparkをサポートしたことを発表いたします。Amazon EMRはHiveやPig、HBase、Presto、ImpalaなどのHadoopエコシ... 続きを読む

Impalaにファイルで投入したデータはいつから検索可能になるの？ - Taste of Tech Topics

2014/12/14 このエントリーをはてなブックマークに追加 22 users Instapaper Pocket Tweet Facebook Share Evernote Clip Qiita kimukimu Spark SQL エントリ

2014-12-14 Impalaにファイルで投入したデータはいつから検索可能になるの？ Hadoop Impala こんにちは。kimukimu(@kimutansk)です。このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの12/14分です。多くの人がSQLなら書けるということで、 開発者でなくても自在に検索を定義可能なS... 続きを読む

Evolution of Impala #hcj2014

2014/07/08 このエントリーをはてなブックマークに追加 29 users Instapaper Pocket Tweet Facebook Share Evernote Clip hcj2014 UDF Cloudera Sho クエリ言語

Evolution of Impala #hcj2014 Presentation Transcript 1   Evolu(on  of  Impala   Sho  Shimauchi,  Cloudera   2014/07/08   2   今日のトピック   •  Cloudera  Impala  とは？   •  クエリ言語とユーザビリティ   •  メタデータ管理   •  UDF... 続きを読む

Amazon Elastic MapReduceでニコニコデータセットを使ってHiveとImpalaの速度を比較する。 - Qiita

2014/05/11 このエントリーをはてなブックマークに追加 64 users Instapaper Pocket Tweet Facebook Share Evernote Clip RDS ElastiCache Hive Qiita ＥＣ

EC2安くなる 気がついたら、EC2がだいぶ値下げしていて、我が家の ニコニコデータセットの分析環境のHive利用料も安くなっていた。 参考 【AWS発表】42回目の値下げ！EC2、S3、RDS、ElastiCache、そしてElastic MapReduceも！ http://aws.typepad.com/aws_japan/2014/03/aws-price-reduction-42-ec2... 続きを読む

スマートフォン内の写真をカテゴリ毎に自動分類するImpala、待望のAndroid版が登場 | TechCrunch Japan

2014/04/09 このエントリーをはてなブックマークに追加 42 users Instapaper Pocket Tweet Facebook Share Evernote Clip 待望 TechCrunch JAPAN カテゴリ毎 登場 写真

Impalaを初めて使った人はたいてい大いに驚くことになるだろう。AIによって写真を自動的に分類してくれるアプリケーションだ。このアプリケーションに、ついにAndroid版が登場した。スマートフォンにためた写真をチェックしてジャンルごとに分類してくれるのだ。ジャンルには「Cats」、「Indoor」、「Women」、あるいは「Party Life」などといったものがある。 あまり自慢できた話でもな... 続きを読む

Cloudera Impalaのアーキテクチャ | Tech Blog

2013/12/26 このエントリーをはてなブックマークに追加 25 users Instapaper Pocket Tweet Facebook Share Evernote Clip アーキテクチャ Cloudera Impala Hive

Cloudera Impalaは一から開発されたHadoop上の分散クエリエンジンです。英語の資料はそれなりに公開されていますが、日本語の情報が少ないのでまとめてみました一人アドベントカレンダー２５日目、最終日です。 最終日はCloudera Impala（以下Impala）について。Impalaは分散クエリエンジンです。最近EMRでも利用できるようになりました。 Hiveとは何が違うのか、なぜH... 続きを読む

AWSがHadoopビッグデータのクェリツールImpalaをサポート | TechCrunch Japan

2013/12/17 このエントリーをはてなブックマークに追加 17 users Instapaper Pocket Tweet Facebook Share Evernote Clip AWS Cloudera TechCrunch JAPAN

Amazon Web ServicesにImpalaのサポートが加わった。これはClouderaがGoogleに倣って開発したクェリツールで、大量のデータを並列処理によりリアルタイムで処理する。Impalaでは、デベロッパがAWSのElastic MapReduceの上で、SQLふうの言語を使ってクェリを行える。それは高速でアクセス性も良く、オープンソースの分散コンピューティングシステムHadoo... 続きを読む

Amazon Web Services ブログ: 【AWS発表】 Amazon EMRでImpalaを使って大規模データを分析可能に

2013/12/16 このエントリーをはてなブックマークに追加 31 users Instapaper Pocket Tweet Facebook Share Evernote Clip Hive Amazon EMR SQLライク AWS発表 分析

ImpalaはHadoop用のオープンソースのクエリーツールです。使い慣れたSQLライクなステートメントを使って、Inmalaの分散インメモリクエリーエンジンを起動して、すばやく、効率的に大量のデータ処理を行えます。多くの場合、ImpalaはHiveよりも圧倒的に高速で、リアルタイムにデータをやり取りすることができます。ImpalaはHDFSおよびHBaseのテーブルに保存されたデータを処理するこ... 続きを読む

Impala: iPhone内の写真を自動でカテゴリ分けしてくれる。神がかった精度でマジすごい。無料。 - たのしいiPhone！ AppBank

2013/11/26 このエントリーをはてなブックマークに追加 29 users Instapaper Pocket Tweet Facebook Share Evernote Clip AppBank たのしいiPhone ふーん ロケーション

その分類精度と処理スピードは目を見張るほど！ すごすぎてびびるアプリなんて久々です・・・！ Impalaは写真のロケーションや写っている人物を認識し、完全自動で分類してくれるアプリ。 これだけだと「ふーん」と思うかもしれませんが、その精度がすごいのなんのって・・・！ 「人物」「外」「室内」なんて簡単ものはもちろん「海」「日の出」「女性」「男性」なんて細かい分類もしてくれちゃうんです！！ ごちゃごち... 続きを読む

凄すぎる！写真を自動でカテゴリ別に分類してくれるiPhoneアプリ「Impala」 | 男子ハック

2013/11/12 このエントリーをはてなブックマークに追加 48 users Instapaper Pocket Tweet Facebook Share Evernote Clip iPhone JUNP_N iPhoneアプリ 男子ハック

@JUNP_Nです。iPhoneで写真を撮影したはいいけれど、放置しっぱなしでカメラロールの中はグチャグチャという人におすすめしたいiPhoneアプリ「Impala」のご紹介。自動でカメラロール内をカテゴリ分類してくれて超すごいですよ！ Impala カテゴリ : 写真／ビデオ , ユーティリティ 販売元 :Euvision Technologies かなりの高精度で自動分類してくれるから整理下手... 続きを読む

【感動】写真を"猫"や"食べもの"などのカテゴリに自動で分類！iPhoneアプリ「Impala」がすごいぞ - アップス！-iPhoneの無料アプリ情報やニュースを配信中

2013/11/10 このエントリーをはてなブックマークに追加 11 users Instapaper Pocket Tweet Facebook Share Evernote Clip アップス iPhone archives 食べもの http

【感動】写真を"猫"や"食べもの"などのカテゴリに自動で分類！iPhoneアプリ「Impala」がすごいぞ http://www.appps.jp/archives/2109055.html【感動】写真を"猫"や"食べもの"などのカテゴリに自動で分類！iPhoneアプリ「Impala」がすごいぞ 2013年11月10日 カテゴリ:iPhone・アップル写真・フォルダ管理アプリ こんにちは、アプリー... 続きを読む

写真を自動的にカテゴリー分類してくれるImpala, 無料iPhoneアプリとしてローンチ | TechCrunch Japan

2013/11/09 このエントリーをはてなブックマークに追加 64 users Instapaper Pocket Tweet Facebook Share Evernote Clip Everpix ローンチ 日没 抄訳 iPhone上

【抄訳】 最新のiPhoneアプリImpalaは、写真のカテゴリー分類を自動的に行う処理でEverpixがやり残したようなことをやってくれる。iPhone上のすべての写真を”アウトドア”、”建物”、”食べ物”、”パーティー”、”友だち”、日没”などなどのカテゴリーに自動的に分類してくれる*のだが、Everpixと違ってサーバを使わない。写真を分類するソフトは完全にユーザのデバイス上で動く。〔*: ... 続きを読む

Cloudera Impala #pyfes 2012.11.24

2012/11/24 このエントリーをはてなブックマークに追加 31 users Instapaper Pocket Tweet Facebook Share Evernote Clip Cloudera Impala Hive Hadoop

Cloudera Impala #pyfes 2012.11.24 — Presentation Transcript Cloudera Impala
低レイテンシクエリエンジン 2012/11/24   @shiumachi   アジェンダ  •  Impalaとは  •  Hadoop、Hive、そしてImpala  •  どれくらい速いの？  •  Impala  と  Hive  の違い ... 続きを読む

Impala — Gist

2012/10/25 このエントリーをはてなブックマークに追加 28 users Instapaper Pocket Tweet Facebook Share Evernote Clip gist

なんかClouderaが出したらしい．Hiveと違ってMapReduceをやらず，独自のクエリエンジンを使っている．場合によっては10x以上速くなるらしい． 構成 Frontend / Backendのサーバが2種類．FrontendがBeeswax経由でWebから叩けたりする．BackendはHDFSとかのデータノード上でクエリとかを実行するやつだと思われる(2.の実行エンジン辺り？)． ソース... 続きを読む

 
(1 - 15 / 15件)