7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話　〜手の内全部お見せします〜

2023/05/14 77 users Snowflake lang events about 片岡

SNOWDAY JAPAN 2023で「7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話　〜手の内全部お見せします〜」というタイトルで登壇した資料です。 https://www.snowflake.com/about/events/snowday-japan-2023/?lang=ja 独自のテレビ視聴質データを利用したCM効果分析サービスを提供するREVISIO株式会社の片岡が、7年... 続きを読む

「脱Oracle」の背景にある、Oracle Databaseの価値を改めて考える | Future Tech Blog - フューチャーアーキテクト

2019/11/21 114 users フューチャーアーキテクト Aurora DynamoDB

はじめに2019年10月15日、Amazonは自社サービスにおける実質的な”脱Oracle”を発表しました。75PBに及ぶデータを、傘下のAWSが提供するDatabase Service（AuroraやDynamoDB、Redshiftなど）へと移行したとの事。 この一報は、Amazonというグローバル規模のECの巨人、クラウド・プラットフォーマーのリーダーの一角が、大... 続きを読む

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery - Speaker Deck

2019/02/17 165 users DWH ZOZOTOWN BigQuery お引越

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery 続きを読む

RedshiftとBigQueryでよく使うSQLの違いTips - Gunosyデータ分析ブログ

2018/02/28 67 users BigQuery Gunosy SQL インターン 小川

2018 - 02 - 28 RedshiftとBigQueryでよく使うSQLの違いTips データ分析部インターン生の小川です。インターンでは主に動画収集のロジック実装に取り組んでいました。 Gunosyではログの管理にRedshiftとBigQueryを使用しています。 サービスはAWS上で動いているものも多いので基本はRedshiftで、ログの量が多いものやアドホック分析に用いるものはBi... 続きを読む

Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 | Amazon Web Services ブログ

2018/02/09 76 users ベストプラクティス Top extract ブログ load

Amazon Web Services ブログ Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 by AWS Japan Staff | on 10 FEB 2018 | in Amazon Redshift* , AWS Big Data* | Permalink | Share ETL（Extract、Transform、Load）プロセスを使用すると... 続きを読む

スキューのない世界を目指して - クックパッド開発者ブログ

2017/07/25 79 users すきゅー クエリ クラスター Ruby テーブル

2017 - 07 - 25 スキューのない世界を目指して こんにちは。インフラストラクチャー部データ基盤グループの小玉です。 先日Amazon Redshift（以下、Redshift）で32TBのテーブルを全行スキャンするクエリを3本同時に走らせたまま帰宅し、クラスターを落としてしまいました。 普段はRedshiftのクエリをチューニングしたり、データ基盤周りの仕組みを慣れないRubyで書いた... 続きを読む

複数のデータソース(Redshiftや主要RDBMS等)及びOS(Mac/Windows/Linux)対応の無償SQLクライアントツール『DBeaver』 ｜ Developers.IO

2017/05/05 283 users DBeaver Linux Developers.IO 複数

複数のデータソース(Redshiftや主要RDBMS等)及びOS(Mac/Windows/Linux)対応の無償SQLクライアントツール『DBeaver』 MySQL Oracle PostgreSQL RDS Redshift SQLServer 当ブログでは、これまでに『Amazon Redshiftに対応している事・繋がる事』を1つの評価軸として幾つかのツールを紹介して来ましたが、その一覧に... 続きを読む

Amazon SQSを利用してS3からRedshiftにデータ投入するRinというツールを書いた - 酒日記 はてな支店

2015/05/18 65 users RIN fluentd 諸々 Amazon SQS ロク

2015-05-18 Amazon SQSを利用してS3からRedshiftにデータ投入するRinというツールを書いた fluentdで集約したログをRedshiftに投入するのに、これまでは fluent-plugin-redshift を使っていたのですが、諸々の理由でこれを置き換えるツールをGoで書きました。 Rin - Redshift data Importer by SQS messa... 続きを読む

AWSのフルマネージドサービスのみ使ってIoT向けビッグデータ基盤を構築する ｜ Developers.IO

2015/04/20 67 users AWS フルマネージドサービス Developers.IO

はじめに KinesisやRedshiftを使ったビッグデータ基盤の運用負荷を減らせないかと考えていたところ、Lambdaが正式公開されましたのでAWSのフルマネージドサービスだけで構築できないかやってみました。今回、構築したのはスマホアプリやIntel Edisonなどの端末からセンサー情報をKinesisに送信後、S3を経由してRedshiftにデータをロードするところまでになります。処理とし... 続きを読む

AWSでコスト計算する時はData Transfer Out Byteが重要です - 日報 #118 - 俺の報告

2015/03/04 65 users AWS 日報 コスト Dynamo サーバサイド

2015-02-20 AWSでコスト計算する時はData Transfer Out Byteが重要です - 日報 #118 お金の話です。 AWSの。 一般的なアプリのサービスの場合、 サーバサイドのメインコストは下記の3つです。 RDS固定費 EC2固定費 S3固定費 転送料金 使っていれば大物コストになりうるのはRedshiftやDynamo、CloudSearchあたりだと思いますが、 まぁ... 続きを読む

TreasureData - 大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装 - Qiita

2014/12/14 62 users Qiita TreasureData Hive MySQL

大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装TreasureData(45)frsyukiが2014/12/14に投稿(2014/12/14に編集)編集履歴(2)編集リクエストを作成する こんにちは。古橋です。今日はいつものはてなブログから趣向を変えて、QiitaでTDアドベントカレンダー14日目の投稿です。 Hiveのクエリ結... 続きを読む

Amazon Web Services ブログ: 高速、簡単、無料で試せるRDS MySQLからRedshiftへのデータ同期

2014/10/27 53 users RDS MySQL データ同期 無料 ブログ

すでにご存知かもしれませんが、私はAmazon RDSの大ファンです。データベースの維持・管理ではなく、アプリケーションに注力できる事実を、とても気に入っています。また、Amazon Redshiftによる破壊的な価格、パフォーマンス、容易な管理性についても興奮しています。ペタバイト級のフル・マネージドなデータ・ウェアハウスは、1時間あたり$0.25且つ1TBあたり年間$1,000以下でご利用いた... 続きを読む

MPP on Hadoop, Redshift, BigQuery - Go ahead!

2014/07/23 158 users BigQuery MpP Go ahead プレッシャー 各社

MPP on Hadoop, Redshift, BigQuery Jul 23rd, 2014 | Comments Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，も... 続きを読む

ASCII.jp：無印良品の顧客動向をディープに探るRedshiftとトレジャーデータ (1/2)

2014/05/25 56 users MUJI passport 両者 統合 良品計画 衣料品

「無印良品」を展開する良品計画は、実店舗と無印良品ネットストアの統合を目指した会員制サービス「MUJI passport」を昨年から展開している。両者の十億件におよぶデータ解析を実現するべく、良品計画では2つのクラウド型ビッグデータ解析ツールを使い分けている。 2つのクラウド型サービスでデータ解析を行なう 衣料品や家具、雑貨、日用品、食品などのオリジナル商品を販売する「無印良品」。自然の素材を活か... 続きを読む

気軽なSNS Mobile Push の話

2013/11/01 78 users Presentation Transcript AWS

気軽なSNS Mobile Push の話 Presentation Transcript 気軽なSNS Mobile Push の話 星野 豊 (@con_mame) クックパッド株式会社 インフラストラクチャー部 AWS / MySQL / Redshift / DataStore etc... http://d.conma.me/ http://facebook.com/conmame Pu... 続きを読む

僕らのMySQL5.6移行紀(仮)

2013/10/25 53 users 僕ら Presentation Transcript 僕達

僕らのMySQL5.6移行紀(仮) Presentation Transcript 僕達のMySQL5.6移行記 星野 豊 (@con_mame) クックパッド株式会社 インフラストラクチャー部 AWS / MySQL / Redshift / DataStore etc... http://d.conma.me/ http://facebook.com/conmame 5.6 使ってますか？ 5... 続きを読む

Redshiftのことを話してきました - まめ畑

2013/08/24 52 users AWS まめ畑 AWS Redshift on Zusaar

2013-08-24 Redshiftのことを話してきました AWS Redshift 先日、cloudpack Night #7 - A New Hope - on ZusaarでRedshiftの話をしてきました。今回のcloudpack nightは各社若手新卒のLTの初々しい感じで始まって、懇親会までAWSの深い話が続いていました。そこで、Redshiftの利用事例を話してきました。 会場... 続きを読む

［速報］Amazonクラウド、新サービス「RedShift」発表。データウェアハウスの価格破壊へ － Publickey

2012/11/28 306 users データウェアハウス Publickey invent AWS

Amazonクラウドを運営する米Amazon Web Services（AWS）は初めての大型カンファレンス「re:Invent」をラスベガスで開催。初日の基調講演で、クラウド上でデータウェアハウスを提供する新サービス「Redshift」を発表しました。 基調講演では企業向けにクラウドの有効性を説くことに焦点が当てられ、そのハイライトがこのRedshiftの発表でした。Redshiftの発表はAW... 続きを読む