［速報］Amazonクラウド、新サービス「RedShift」発表。データウェアハウスの価格破壊へ － Publickey

2012/11/28 306 users データウェアハウス Publickey invent AWS

Amazonクラウドを運営する米Amazon Web Services（AWS）は初めての大型カンファレンス「re:Invent」をラスベガスで開催。初日の基調講演で、クラウド上でデータウェアハウスを提供する新サービス「Redshift」を発表しました。 基調講演では企業向けにクラウドの有効性を説くことに焦点が当てられ、そのハイライトがこのRedshiftの発表でした。Redshiftの発表はAW... 続きを読む

複数のデータソース(Redshiftや主要RDBMS等)及びOS(Mac/Windows/Linux)対応の無償SQLクライアントツール『DBeaver』 ｜ Developers.IO

2017/05/05 283 users DBeaver Linux Developers.IO 複数

複数のデータソース(Redshiftや主要RDBMS等)及びOS(Mac/Windows/Linux)対応の無償SQLクライアントツール『DBeaver』 MySQL Oracle PostgreSQL RDS Redshift SQLServer 当ブログでは、これまでに『Amazon Redshiftに対応している事・繋がる事』を1つの評価軸として幾つかのツールを紹介して来ましたが、その一覧に... 続きを読む

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery - Speaker Deck

2019/02/17 165 users DWH ZOZOTOWN BigQuery お引越

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery 続きを読む

MPP on Hadoop, Redshift, BigQuery - Go ahead!

2014/07/23 158 users BigQuery MpP Go ahead プレッシャー 各社

MPP on Hadoop, Redshift, BigQuery Jul 23rd, 2014 | Comments Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，も... 続きを読む

「脱Oracle」の背景にある、Oracle Databaseの価値を改めて考える | Future Tech Blog - フューチャーアーキテクト

2019/11/21 114 users フューチャーアーキテクト Aurora DynamoDB

はじめに2019年10月15日、Amazonは自社サービスにおける実質的な”脱Oracle”を発表しました。75PBに及ぶデータを、傘下のAWSが提供するDatabase Service（AuroraやDynamoDB、Redshiftなど）へと移行したとの事。 この一報は、Amazonというグローバル規模のECの巨人、クラウド・プラットフォーマーのリーダーの一角が、大... 続きを読む

スキューのない世界を目指して - クックパッド開発者ブログ

2017/07/25 79 users すきゅー クエリ クラスター Ruby テーブル

2017 - 07 - 25 スキューのない世界を目指して こんにちは。インフラストラクチャー部データ基盤グループの小玉です。 先日Amazon Redshift（以下、Redshift）で32TBのテーブルを全行スキャンするクエリを3本同時に走らせたまま帰宅し、クラスターを落としてしまいました。 普段はRedshiftのクエリをチューニングしたり、データ基盤周りの仕組みを慣れないRubyで書いた... 続きを読む

気軽なSNS Mobile Push の話

2013/11/01 78 users Presentation Transcript AWS

気軽なSNS Mobile Push の話 Presentation Transcript 気軽なSNS Mobile Push の話 星野 豊 (@con_mame) クックパッド株式会社 インフラストラクチャー部 AWS / MySQL / Redshift / DataStore etc... http://d.conma.me/ http://facebook.com/conmame Pu... 続きを読む

7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話　〜手の内全部お見せします〜

2023/05/14 77 users Snowflake lang events about 片岡

SNOWDAY JAPAN 2023で「7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話　〜手の内全部お見せします〜」というタイトルで登壇した資料です。 https://www.snowflake.com/about/events/snowday-japan-2023/?lang=ja 独自のテレビ視聴質データを利用したCM効果分析サービスを提供するREVISIO株式会社の片岡が、7年... 続きを読む

Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 | Amazon Web Services ブログ

2018/02/09 76 users ベストプラクティス Top extract ブログ load

Amazon Web Services ブログ Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 by AWS Japan Staff | on 10 FEB 2018 | in Amazon Redshift* , AWS Big Data* | Permalink | Share ETL（Extract、Transform、Load）プロセスを使用すると... 続きを読む

RedshiftとBigQueryでよく使うSQLの違いTips - Gunosyデータ分析ブログ

2018/02/28 67 users BigQuery Gunosy SQL インターン 小川

2018 - 02 - 28 RedshiftとBigQueryでよく使うSQLの違いTips データ分析部インターン生の小川です。インターンでは主に動画収集のロジック実装に取り組んでいました。 Gunosyではログの管理にRedshiftとBigQueryを使用しています。 サービスはAWS上で動いているものも多いので基本はRedshiftで、ログの量が多いものやアドホック分析に用いるものはBi... 続きを読む

AWSのフルマネージドサービスのみ使ってIoT向けビッグデータ基盤を構築する ｜ Developers.IO

2015/04/20 67 users AWS フルマネージドサービス Developers.IO

はじめに KinesisやRedshiftを使ったビッグデータ基盤の運用負荷を減らせないかと考えていたところ、Lambdaが正式公開されましたのでAWSのフルマネージドサービスだけで構築できないかやってみました。今回、構築したのはスマホアプリやIntel Edisonなどの端末からセンサー情報をKinesisに送信後、S3を経由してRedshiftにデータをロードするところまでになります。処理とし... 続きを読む

Amazon SQSを利用してS3からRedshiftにデータ投入するRinというツールを書いた - 酒日記 はてな支店

2015/05/18 65 users RIN fluentd 諸々 Amazon SQS ロク

2015-05-18 Amazon SQSを利用してS3からRedshiftにデータ投入するRinというツールを書いた fluentdで集約したログをRedshiftに投入するのに、これまでは fluent-plugin-redshift を使っていたのですが、諸々の理由でこれを置き換えるツールをGoで書きました。 Rin - Redshift data Importer by SQS messa... 続きを読む

AWSでコスト計算する時はData Transfer Out Byteが重要です - 日報 #118 - 俺の報告

2015/03/04 65 users AWS 日報 コスト Dynamo サーバサイド

2015-02-20 AWSでコスト計算する時はData Transfer Out Byteが重要です - 日報 #118 お金の話です。 AWSの。 一般的なアプリのサービスの場合、 サーバサイドのメインコストは下記の3つです。 RDS固定費 EC2固定費 S3固定費 転送料金 使っていれば大物コストになりうるのはRedshiftやDynamo、CloudSearchあたりだと思いますが、 まぁ... 続きを読む

TreasureData - 大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装 - Qiita

2014/12/14 62 users Qiita TreasureData Hive MySQL

大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装TreasureData(45)frsyukiが2014/12/14に投稿(2014/12/14に編集)編集履歴(2)編集リクエストを作成する こんにちは。古橋です。今日はいつものはてなブログから趣向を変えて、QiitaでTDアドベントカレンダー14日目の投稿です。 Hiveのクエリ結... 続きを読む

ASCII.jp：無印良品の顧客動向をディープに探るRedshiftとトレジャーデータ (1/2)

2014/05/25 56 users MUJI passport 両者 統合 良品計画 衣料品

「無印良品」を展開する良品計画は、実店舗と無印良品ネットストアの統合を目指した会員制サービス「MUJI passport」を昨年から展開している。両者の十億件におよぶデータ解析を実現するべく、良品計画では2つのクラウド型ビッグデータ解析ツールを使い分けている。 2つのクラウド型サービスでデータ解析を行なう 衣料品や家具、雑貨、日用品、食品などのオリジナル商品を販売する「無印良品」。自然の素材を活か... 続きを読む

Amazon Web Services ブログ: 高速、簡単、無料で試せるRDS MySQLからRedshiftへのデータ同期

2014/10/27 53 users RDS MySQL データ同期 無料 ブログ

すでにご存知かもしれませんが、私はAmazon RDSの大ファンです。データベースの維持・管理ではなく、アプリケーションに注力できる事実を、とても気に入っています。また、Amazon Redshiftによる破壊的な価格、パフォーマンス、容易な管理性についても興奮しています。ペタバイト級のフル・マネージドなデータ・ウェアハウスは、1時間あたり$0.25且つ1TBあたり年間$1,000以下でご利用いた... 続きを読む

僕らのMySQL5.6移行紀(仮)

2013/10/25 53 users 僕ら Presentation Transcript 僕達

僕らのMySQL5.6移行紀(仮) Presentation Transcript 僕達のMySQL5.6移行記 星野 豊 (@con_mame) クックパッド株式会社 インフラストラクチャー部 AWS / MySQL / Redshift / DataStore etc... http://d.conma.me/ http://facebook.com/conmame 5.6 使ってますか？ 5... 続きを読む

Redshiftのことを話してきました - まめ畑

2013/08/24 52 users AWS まめ畑 AWS Redshift on Zusaar

2013-08-24 Redshiftのことを話してきました AWS Redshift 先日、cloudpack Night #7 - A New Hope - on ZusaarでRedshiftの話をしてきました。今回のcloudpack nightは各社若手新卒のLTの初々しい感じで始まって、懇親会までAWSの深い話が続いていました。そこで、Redshiftの利用事例を話してきました。 会場... 続きを読む

ビッグデータを支える人々 - 「RedshiftはHadoopキラーになる」、FlyDataの藤川氏に聞く：ITpro

2014/08/06 43 users FlyData ITpro DWH シリコンバレー AWS

藤川幸一氏がシリコンバレーで起業した米フライデータ（FlyData）は、様々なデータソースから米アマゾン・ウェブ・サービス（AWS）のデータウエアハウス（DWH）サービス「Amazon Redshift」にデータを転送するというサービス「FlyData」を提供する。藤川氏はAWSのRedshiftが「Hadoopキラーになりつつある」との見方を示す。 フライデータのビジネスの現状はどうか？ 当社は... 続きを読む

［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amazon Aurora zero-ETL integration with Amazon Redshift」発表。AWS re:Invent 2022

2022/11/29 42 users あいだ AWS 米ラスベガス 基調講演 年次イベント

Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2022」が米ラスベガスで開催中です。 2日目の基調講演には、AWS CEOのAdam Selipsky氏が生バンドの演奏とともに登場しました。 Selipsky氏は、さまざまなデータを分析する上で多数の分析ツールのあいだでデータを転送しなければならない問題を指摘し、データ転... 続きを読む

[-*煙猴*-]: Twitter廃人をRedshift + Tableau Desktopで丸裸にする

2014/10/15 41 users Twitter account settings 丸裸 煙猴

2014/10/15 Twitter廃人をRedshift + Tableau Desktopで丸裸にする やってはみたけど会社のブログに書くには微妙だったシリーズ。 皆さんご存知かも知れませんが、当方Tweet数20万オーバーのTwitter廃人です。 さて、Twitterには自アカウントの過去の全ツイートを取得できる機能があります。取得は[Settings]-[Account]-[Your T... 続きを読む

AWS Solutions Architect ブログ: RedshiftとRでビッグデータ解析

2014/04/02 41 users AWSソリューションアーキテクト 解析 統計分析 なか 可視化

AWSソリューションアーキテクトの蒋(@uprush)です。 初期コストがなく、導入しやすいペタバイト級のデータウェアハウスAmazon Redshiftは、非常に多くの皆様に利用頂いています。そのなかでも特に多いのは、Redshiftに保存されているビッグデータをBIや可視化ツールを使った解析です。 データ解析ツールとしてRが有名です。Rは統計分析や可視化するためのオープンソースソフトウェアで、... 続きを読む

NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 | IT Leaders

2021/09/07 29 users クエリー BigQuery BigQue NTTドコモ 移行

IT Leaders トップ ＞ テクノロジー一覧 ＞ データベース ＞ 新製品・サービス ＞ NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 データベース データベース記事一覧へ [新製品・サービス] NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQue... 続きを読む

SnowflakeとRedshiftの比較検証 - Speaker Deck

2020/07/28 25 users Snowflake Speaker Deck 比較検証 結果

300コア近くのRedshiftクラスタを運用している広告配信プロダクトでSnowflakeを検証した結果をご紹介します。 続きを読む

新機能『Redshift Spectrum』の内部構造を考察する ｜ Developers.IO

2017/04/25 25 users Redshift Spectrum 内部構造 熱い視線 速報

はじめに こんにちは、yokatsukiです。 日本時間2017/04/20深夜に発表されたAmazon Redshift(以下Redshift)の新機能『Redshift Spectrum』、RedshiftからS3のファイルを直接参照できるということで熱い視線を浴びています。 弊社でも早速使ってみて、多数の"試してみた"記事を書きました。 【速報】Amazon Redshift：S3のデータを... 続きを読む