データウェアハウスをRedshiftからSnowflakeに移行するために考えたこと（１） - Uzabase for Engineers

2024/12/06 13 users データウェアハウス Snowflake NewsPicks

この記事は NewsPicks Advent Calendar 2024 の6日目の記事です。 ソーシャル経済メディア「NewsPicks」の中村です。最近はデータ基盤の開発運用、データアナリストのサポート、LLM活用等をやっています。 現在、NewsPicksではデータウェアハウスとして長年利用してきたAmazon RedshiftからSnowflakeへの移行を進めてい... 続きを読む

dbtでCIを実現するために、Github ActionsでAWSのVPC越えしたい。 - KAYAC engineers' blog

2023/12/08 7 users mashiike VPC dbt ひとこと AWS

この記事はTech KAYAC Advent Calendar 2023の8日目の記事です。 こんにちわ。その他事業部SREチームの@mashiikeです。 最近、風変わりな記事を連投しているのですが、今回も風変わりです。 ひとことで要約すると、 私は！Github Actionsから！Redshiftにアクセスしたいんだ！！！ です。 TL;DR dbtのCIを実現したい。ロ... 続きを読む

AWS、Aurora MySQLとRedshiftをほぼリアルタイムに同期する「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」正式版に。追加料金なしで利用可能

2023/11/12 16 users OLTP DWH Amaz AWS Aurora MySQL

Amazon Web Services（AWS）は、Aurora MySQLとAmazon Redshiftのあいだでデータをほぼリアルタイムに同期する新サービス「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」（以下、zero-ETL）が正式版となったことを発表しました。 参考：［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amaz... 続きを読む

GitHub - scratchdata/ScratchDB: Scratch is an open-source alternative to BigQuery, Redshift, and Snowflake. Runs on Clickhouse.

2023/10/27 5 users GitHub

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. 続きを読む

[Redshift]勝手にサマータイム？

2023/06/02 7 users 構文 UTC サマータイム きっかけ 協定世界時

RedshiftでCONVERT_TIMEZONE関数を用いてUTC(協定世界時)から日本時間へ変換する処理を実装しています。 ある日、ユーザーからの問い合わせをきっかけに、UTCから日本時間へ正しく変換されていないことが発覚しました。 UTC+10 CONVERT_TIMEZONEの構文は下記の通りです。 CONVERT_TIMEZONE( ['source_timezone',] 'targe... 続きを読む

7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話　〜手の内全部お見せします〜

2023/05/14 77 users Snowflake lang events about 片岡

SNOWDAY JAPAN 2023で「7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話　〜手の内全部お見せします〜」というタイトルで登壇した資料です。 https://www.snowflake.com/about/events/snowday-japan-2023/?lang=ja 独自のテレビ視聴質データを利用したCM効果分析サービスを提供するREVISIO株式会社の片岡が、7年... 続きを読む

論文から垣間見るAmazon Redshiftの進化と深化 2022 #jawsug #bdjaws | DevelopersIO

2022/12/24 14 users DevelopersIO コンサルティングチーム 論文 進化

データアナリティクス事業本部のコンサルティングチームの石川です。 本日は、2022年5月に発表された論文 「Amazon Redshift re-invented」を実際に読み、難しいところや弊社が実際に検証をした点を補足して解説します。普段はRedshiftの機能や使い方の解説が多く、あまり触れられることの少ないUnder the hoods 的なお... 続きを読む

［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amazon Aurora zero-ETL integration with Amazon Redshift」発表。AWS re:Invent 2022

2022/11/29 42 users あいだ AWS 米ラスベガス 基調講演 年次イベント

Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2022」が米ラスベガスで開催中です。 2日目の基調講演には、AWS CEOのAdam Selipsky氏が生バンドの演奏とともに登場しました。 Selipsky氏は、さまざまなデータを分析する上で多数の分析ツールのあいだでデータを転送しなければならない問題を指摘し、データ転... 続きを読む

AWSサービスのServerlessオプションの特徴・比較・まとめ・プロビジョニングとの違い －Aurora、Neptune、EMR、Redshift、MSK、SageMaker Inference－ - NRIネットコムBlog

2022/11/02 6 users クラスター プロビジョニング 小西秀和 インスタンス msk

小西秀和です。 今回は「AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い」の記事の一部としてAWSサービスの一部でクラスターやインスタンスのプロビジョニングに対して用意されているServerlessオプションについて、主なAWSサービスごとに特徴、設定項目、料金... 続きを読む

AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い －Serverless(Aurora、Neptune、EMR、Redshift、MSK、SageMaker Inference)、オンデマンドモード(Dynam

2022/11/01 11 users プロビジョニング 小西秀和 従来 近年 Neptune

小西秀和です。 従来ではプロビジョニングによる時間課金や容量課金が前提だったAWSサービスに近年相次いで機能追加が見受けられるServerlessオプション、オンデマンドモードについて特徴と比較のまとめをしたいと思います。 今回の記事の内容は次のような構成になっています。 プロビジョニングと比較したServerlessオ... 続きを読む

AWS上で分散インメモリDB「MySQL HeatWave」、オラクルが提供開始。Amazon AuroraとRedshiftの競合に

2022/09/13 9 users マネージドサービス オラクル 競合 MySQLベース AWS上

AWS上で分散インメモリDB「MySQL HeatWave」、オラクルが提供開始。Amazon AuroraとRedshiftの競合に オラクルは、AWS上でMySQLベースの分散インメモリデータベース「MySQL HeatWave」をマネージドサービスとして提供を開始したと発表しました（日本オラクルのプレスリリース）。 [Press Release] Oracle Announces MySQ... 続きを読む

ありがとうRedshift よろしくBigQuery - freee Developers Hub

2022/04/06 18 users BigQuery freee ナカミチ 移行 規模

ナカミチといいます。freeeのデータ基盤でエンジニア業に勤しむ日々です。 今回は長年freeeの分析環境を支えてくれたRedshiftをBigQueryに移行したお話。 なお技術的な詳細までは触れず、移行プロジェクト全体に関して記述しています。 (Techieな記事を期待した方スミマセンｍｍ) 移行の規模はどんなもんか ボリューム的... 続きを読む

NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 | IT Leaders

2021/09/07 29 users クエリー BigQuery BigQue NTTドコモ 移行

IT Leaders トップ ＞ テクノロジー一覧 ＞ データベース ＞ 新製品・サービス ＞ NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 データベース データベース記事一覧へ [新製品・サービス] NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQue... 続きを読む

DynamoDB から Redshift へデータ移送する話 （RedshiftのSUPER型の利用事例） - KAYAC engineers' blog

2021/04/26 14 users DynamoDB preview SUPER 池田 Blog

こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift が、ネイティブ JSON と半構造化データ処理のサポートを発表 (... 続きを読む

Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery - Speaker Deck

2021/01/28 20 users Speaker Deck リアルタイム BigQuery

Transcript Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた
 株式会社ZOZOテクノロジーズ
 SRE部
 塩崎 健弘 Copyright © ZOZO Technologies, Inc. © ZOZO Technologies, Inc. 株式会社ZOZOテクノロジーズ
 SRE部
 塩崎 健弘
 2年前にRedshiftをBigQueryにマイグレーションしたことが きっかけで... 続きを読む

SQL Server、BigQuery、Redshift 日付型の比較＆リファレンス - エニグモ開発者ブログ

2020/12/14 11 users BigQuery SQL Server 日付型

この記事はEnigmo Advent Calendar 2020 の14日目の記事です。 はじめに こんにちは、エニグモ 嘉松です。 簡単な自己紹介ですが、BUYMAのプロモーションやマーケティングを行っている事業部に所属して、その中のデータ活用推進室という部署で会社のデータ活用の推進やマーケティング・オートメーションツール（MAツール... 続きを読む

FirehoseのHTTP配信機能でMackerelにメトリックを投稿する - 酒日記 はてな支店

2020/08/03 10 users マネージド メトリック Firehose mackerel

先日、Amazon Kinesis Data Firehose が任意の HTTP エンドポイントに対しての配信機能をサポートしました。 aws.amazon.com 従来の S3 / Redshift / Elasticsearch Service などのマネージドなリソースに対してデータを配信する機能に加えて、自分で作った HTTP(s) のエンドポイントに対しても Firehose からデータを投... 続きを読む

SnowflakeとRedshiftの比較検証 - Speaker Deck

2020/07/28 25 users Snowflake Speaker Deck 比較検証 結果

300コア近くのRedshiftクラスタを運用している広告配信プロダクトでSnowflakeを検証した結果をご紹介します。 続きを読む

RedshiftとAurora、知らないうちにどんどん進化するAWSの2つのデータサービス (1/2)：ほぼ月刊AWS（1） - ＠IT

2020/07/27 7 users Aurora あいて AWS エッジ クラウド移行

ほぼ月刊AWS（1）：RedshiftとAurora、知らないうちにどんどん進化するAWSの2つのデータサービス (1/2) Amazon Web Servicesに関する新たな動きを月単位でまとめる新連載、「ほぼ月刊AWS」。第1回は、エッジとデータ関連サービス、既存システムのクラウド移行に関する新たな動きについてまとめます。 こんにちは、アイテ... 続きを読む

Amazon Aurora, Redshift, DynamoDBのワークロード別性能を比較する - Qiita

2020/06/29 6 users Qiita DynamoDB Aurora NoSQL RDB

はじめに AWSが提供する代表的なDBサービスには、クラウド前提で設計されたRDBのAmazon Aurora、 データ分析特化型RDBのAmazon Redshift、ワイドカラム型DB(NoSQL)のAmazon DynamoDB1があります。AWSの各DBサービスの使い分けについては、一般的には概ね業務系システムのDBにはAuroraやDynamoDB、分析系システムのDBには... 続きを読む

Google アナリティクス for Firebaseレポートの見方と10種類のレポートを解説 | はじめての「Google アナリティクス for Firebase」入門 | Web担当者Forum

2020/04/01 7 users 見方 入門 Web担当者Forum レポート 解説

はじめまして、アユダンテ株式会社の片岡 崇史と申します。普段はGoogle Tag Managerの実装支援やBigQueryやRedshiftを活用した分析支援等を行っています。 第二回は「Google アナリティクス for Firebaseレポートの見方と10種類のレポート」を詳しく解説していきます。 本連載では、モバイルアプリを計測する無料のトラ... 続きを読む

「脱Oracle」の背景にある、Oracle Databaseの価値を改めて考える | Future Tech Blog - フューチャーアーキテクト

2019/11/21 114 users フューチャーアーキテクト Aurora DynamoDB

はじめに2019年10月15日、Amazonは自社サービスにおける実質的な”脱Oracle”を発表しました。75PBに及ぶデータを、傘下のAWSが提供するDatabase Service（AuroraやDynamoDB、Redshiftなど）へと移行したとの事。 この一報は、Amazonというグローバル規模のECの巨人、クラウド・プラットフォーマーのリーダーの一角が、大... 続きを読む

データのクラウドへの引っ越しを助けるAloomaをGoogleが買収 | TechCrunch Japan

2019/02/20 13 users 買収 クラウド TechCrunch JAPAN 引っ越し

Googleが今日（米国時間2/19）、企業のすべてのデータソースをGoogleのBigQueryやAmazonのRedshift、Snowflake、あるいはMicrosoftのAzureなどのクラウドサービスに向けて整えるサービスAloomaを買収する、と発表した。Aloomaの仕事は、企業のデータパイプラインをユーザーに代わって管理することだ。また、このデータ統... 続きを読む

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery - Speaker Deck

2019/02/17 165 users DWH ZOZOTOWN BigQuery お引越

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery 続きを読む

RedshiftとBigQueryでよく使うSQLの違いTips - Gunosyデータ分析ブログ

2018/02/28 67 users BigQuery Gunosy SQL インターン 小川

2018 - 02 - 28 RedshiftとBigQueryでよく使うSQLの違いTips データ分析部インターン生の小川です。インターンでは主に動画収集のロジック実装に取り組んでいました。 Gunosyではログの管理にRedshiftとBigQueryを使用しています。 サービスはAWS上で動いているものも多いので基本はRedshiftで、ログの量が多いものやアドホック分析に用いるものはBi... 続きを読む