Amazon Elastic MapReduceでニコニコデータセットを使ってHiveとImpalaの速度を比較する。 - Qiita

2014/05/11 64 users RDS ElastiCache Hive Qiita ＥＣ

EC2安くなる 気がついたら、EC2がだいぶ値下げしていて、我が家の ニコニコデータセットの分析環境のHive利用料も安くなっていた。 参考 【AWS発表】42回目の値下げ！EC2、S3、RDS、ElastiCache、そしてElastic MapReduceも！ http://aws.typepad.com/aws_japan/2014/03/aws-price-reduction-42-ec2... 続きを読む

Googleに負けじとAmazonがS3, EC2, ElastiCache, Elastic MapReduce, RDSを大幅値下げ | TechCrunch Japan

2014/03/27 27 users Googl RDS ElastiCache 一連 大幅値下げ

Amazonが今日（米国時間3/26）、同社のクラウドプラットホーム上の一連のサービスの料金値下げを発表した。値下げの対象となるサービスは、ストレージサービスS3、クラウドコンピューティングプラットホームEC2、ElastiCache、Elastic MapReduce、およびクラウドデータベースRDSで、この値下げによりAmazonのプラットホーム上でアプリケーションを運用する費用が、Googl... 続きを読む

Amazon Web Services ブログ: 【AWS発表】42回目の値下げ！EC2、S3、RDS、ElastiCache、そしてElastic MapReduceも！

2014/03/27 143 users AWS 値下げ RDS ElastiCache 最初

料金の値下げについて書くのはいつも楽しいです。AWSがお客様の代わりに作業をすすることで、時間とともに、より価値が高いものになっていること、そして、時間とともに、より費用対効果の高いものになっていることをお客様が知るのを見るのは大変うれしいです。 このブログを以前からご覧になっている皆様であれば、AWSが頻繁に値下げを行っていることを知っていると思います。そして本日2008年の最初の値下げから実に... 続きを読む

Amazon Web Services ブログ: 【AWS発表】KinesisとElastic MapReduceを使ってストリーミングデータを処理する

2014/03/02 34 users アプリケ ストリーミングデータ KINESIS スケール

このブログをよくご覧いただいている方は、Amazon Kinesisが、大規模なスケールでストリーミングデータをリアルタイムに処理する、完全マネージド型のサービスであることはすでにご存知でしょう。 先月、Kinesis Storm Spoutを紹介したときブログで書いたとおり、Kinesisは完全なエンドツーエンドのストリーミングデータアプリケーションの１構成要素に過ぎません。 このようなアプリケ... 続きを読む

AWSがHadoopビッグデータのクェリツールImpalaをサポート | TechCrunch Japan

2013/12/17 17 users AWS Cloudera TechCrunch JAPAN

Amazon Web ServicesにImpalaのサポートが加わった。これはClouderaがGoogleに倣って開発したクェリツールで、大量のデータを並列処理によりリアルタイムで処理する。Impalaでは、デベロッパがAWSのElastic MapReduceの上で、SQLふうの言語を使ってクェリを行える。それは高速でアクセス性も良く、オープンソースの分散コンピューティングシステムHadoo... 続きを読む

Elastic MapReduceを使って、FluentdでS3上に格納した、Ltsv形式のNginxのアクセスログを解析してみたお話。 - 練馬で暮らすエンジニアのつぶやき

2013/09/14 44 users fluentd アクセスログ MySQL ログレベル 練馬

2013-09-15 Elastic MapReduceを使って、FluentdでS3上に格納した、Ltsv形式のNginxのアクセスログを解析してみたお話。 今回何故、Elastic MapReduce + S3 + Fluentd + nginxを調査したのか Mysqlとか、analyticsとか、そのほかで色々データは取っていってるのですが、 更に細かく解析するためには、ログレベルでの解析... 続きを読む

はじめてのEMR／fluentdでS3にアップロードしたログをElastic MapReduceで検索・集計する ｜ Developers.IO

2013/09/12 55 users ベストプラクティス EMR パケット 植木和樹 AWS

今回解決したい課題 こんにちは植木和樹です。本日の課題はタイトルの通り「fluentdでS3のバケットにアップロードしたログを検索・集計する」です。EC2でサーバを構築した場合、インスタンスがTerminateした後もログが参照できるようfluentdを使ってS3にファイルをアップロードしておくのがAWSのベストプラクティスです。 「Amazon Recommends Fluentd as “Be... 続きを読む

Amazon Elastic MapReduceを使ってみた - moratorium

2009/04/02 521 users FRI 連日 moratorium 民間 Amazon

Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon Ela... 続きを読む