Google BigQueryからSnowflakeへ。バクラクのデータ基盤技術移管事例 - Findy Tools

2024/12/09 15 users LayerX バクラク クラウドサービス 経費精算 勤怠管理

公開日 2024/12/10更新日 2024/12/09Google BigQueryからSnowflakeへ。バクラクのデータ基盤技術移管事例 はじめにLayerXでは、「バクラク」という企業のバックオフィス業務を効率化するクラウドサービスを提供しています。稟議、経費精算、法人カード、請求書受取、請求書発行といった経理業務に加え、勤怠管理といった... 続きを読む

Apache Iceberg: The Definitive Guide 輪読会まとめ

2024/12/02 17 users Apache Iceberg ナウキャスト Iceberg

はじめに こんにちは！ナウキャストのデータエンジニアのけびんです。 今年の6月に Iceberg Table が Snowflake の機能として GA したのは記憶に新しいかと思います。 自分もこの時から Iceberg に興味を持ちブログを書いたりしました。 そんな中、ちょうど良いタイミングで Apache Iceberg: The Definitive Guide が202... 続きを読む

データウェアハウスをRedshiftからSnowflakeに移行するために考えたこと（１） - Uzabase for Engineers

2024/12/06 13 users データウェアハウス RedShift NewsPicks

この記事は NewsPicks Advent Calendar 2024 の6日目の記事です。 ソーシャル経済メディア「NewsPicks」の中村です。最近はデータ基盤の開発運用、データアナリストのサポート、LLM活用等をやっています。 現在、NewsPicksではデータウェアハウスとして長年利用してきたAmazon RedshiftからSnowflakeへの移行を進めてい... 続きを読む

dbtのUnit testsを導入してわかったこと - Oisix ra daichi Creator's Blog（オイシックス・ラ・大地クリエイターズブログ）

2024/12/06 10 users dbt Oisix オイシックス・ラ 整備 構築

はじめに DMO（Data Management Office）でデータプラットフォームセクションを担当しています東條です。データプラットフォームセクションはOisixを中心としたデータ基盤の構築・整備を担当しています。このデータ基盤にはSnowflakeとdbtを使用しています。今回dbt-core v1.8.0で追加されたUnit testsを導入してわかっ... 続きを読む

39社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 - Findy Tools

2024/10/07 73 users Findy Tools データアーキテクチャ 技術選定 各社

公開日 2024/10/08更新日 2024/10/0839社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 8つのデータ系ツール「BigQuery」「Databricks」「dbt」「Fivetran」「Lightdash」「Looker」「Snowflake」「TROCCOⓇ」に39社からご寄稿頂いたレビューから、各社のデータアーキテクチャをまとめた記事です。各... 続きを読む

データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的にする UNC5537 | Google Cloud 公式ブログ

2024/07/12 28 users Mandiant 恐喝 抄訳 標的 過程

※この投稿は米国時間 2024 年 6 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 はじめに Mandiant は、インシデント対応業務と脅威インテリジェンス収集の過程で、データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的とする脅威キャンペーンを特定しました。Snowflake は、大... 続きを読む

Snowflake の情報流出騒動は異例の事態ではなく、危険が迫っている前兆

2024/07/11 5 users 前兆 事態

執筆：Nick Biasini、協力：Kendall McKay、Guilherme Venere クラウド データ プラットフォーム Snowflake のログイン情報の流出、盗難に端を発した数々の影響と流出後の攻撃が続々とニュースになっています。 攻撃者は、情報窃取マルウェアを使用して Snowflake アカウントのログイン情報を入手しました。中には多要素... 続きを読む

Snowflake の Copilot が優秀すぎる件について

2024/05/02 20 users 喜田 MENU COPILOT マーケティングテクノロジー

マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、喜田です。 いままでSnowflakeのライトユーザーで一部機能だけに特... 続きを読む

無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場

2024/04/26 6 users コーディング 大規模言語モデル 商用利用 LLM 登場

クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for... 続きを読む

Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に

2024/04/19 29 users Meta LLM Kaggle Databricks クラウド

米Metaは4月18日（現地時間）、オープンソースのLLMの最新版「Llama 3」を発表した。80億パラメータと700億パラメータの2モデルで、いずれもほぼすべての主要クラウドサービス（AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake）で間もなく利用可能になる。... 続きを読む

モダンなタスク管理を可能にするSnowflake Python API

2024/03/15 65 users API タスク管理 table Python 別物

結論 Taskを管理するならSnowflake Python APIを使おう Snowflake Python APIとは Snowflake公式のPythonのオブジェクト管理ライブラリ「snowflake.core」のことです(Public Beta)。Snowflake Python Connectorとは全く別物です。 Snowflake Python APIを使用すると、Pythonコードを使ってSnowflakeのリソース(Table、Wa... 続きを読む

大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 - Findy Tools

2024/03/11 27 users Findy Tools 設計意図 大規模データ 現場 変化

公開日 2024/03/11更新日 2024/03/11大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 スケーラビリティやデータ活用までのリードタイム、価格面での懸念に応える製品として注目を集めるSnowflake。特に大規模なデータを取り扱う現場では、Snowflake導入によってどんな変... 続きを読む

【データ可視化/Streamlit】Streamlitで作ったアプリからSnowflakeのテーブルを自由に更新する方法 - Qiita

2024/03/10 11 users Qiita Streamlit 前置き 山口 挿入

前置き こんにちは。データエンジニアの山口です！ Streamlitでデータ可視化アプリを作成しており、 Streamlitアプリ上に手入力した値とSnowflake内の値を結合してデータを可視化したいなと思ったので、やり方を考えてみました。 結論 Streamlitアプリ上に手入力した値をSnowflakeのテーブルにデータを挿入・更新して、 ... 続きを読む

Findy Tools - Snowflake導入でどう変わった？身近なサービス4社の技術選定

2024/02/22 8 users Findy Tools スケーラビリティ 技術選定 懸念 昨今

公開日 2024/02/22更新日 2024/02/22Snowflake導入でどう変わった？身近なサービス4社の技術選定 データの利活用への重要性が年々高まっている昨今ですが、スケーラビリティやデータ活用までのリードタイム、価格面での懸念に応える製品としてSnowflakeに対する注目度も右肩上がりとなっています。 本記事では、Snowflak... 続きを読む

ディメンショナルモデリングに入門しよう！Snowflakeとdbt Cloudで「Building a Kimball dimensional model with dbt」をやってみた | DevelopersIO

2024/01/23 9 users DevelopersIO dbt 効率 日本語 日本

ディメンショナルモデリングに入門しよう！Snowflakeとdbt Cloudで「Building a Kimball dimensional model with dbt」をやってみた さがらです。 ここ２年ほどの間にdbtが日本でも急速に拡大し、様々な情報が日本語の記事でも見かけられるようになってきました。 dbtを採用してある程度活用を進めていくと、「より効率... 続きを読む

1ヶ月でSnowflakeのPoC検証から報告までを実現した効率化の取り組み - ぐるなびをちょっと良くするエンジニアブログ

2024/01/09 10 users エンジニアブログ 効率化 報告 1ヶ月

こんにちは。データ・AI戦略部 SREチームの小野です。2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 私の所属するデータ・AI戦略部は、クラウドやSaaSの活用を積極的に行っています。私自身も「業務に役立ちそうなサービス」を見つけたら上長に相談するようにしています。 今回は、... 続きを読む

Snowflake で1万"列"データを扱う技術 - Qiita

2023/12/09 65 users Qiita データモデリング クソデカ ツッコミ 技術

そうです。わずか10行しかないデータですが、 15,000列 あります。 「それデータモデリングをミスってるやん」というツッコミはあると思いますが、今回はそのあたりについてはノーコメントです。諸事情ありこのようなデータを扱うことになりました。 今回は Snowflake でもなかなか扱うことが難しい (横方向に) クソデカ... 続きを読む

Excel 365からノーコードでSalesforceやkintone、Snowflakeなど150以上のデータソースに双方向接続可能、CData Connect Cloudが新機能

2023/07/26 11 users SalesForce kintone Amaz ノーコード

Excel 365からノーコードでSalesforceやkintone、Snowflakeなど150以上のデータソースに双方向接続可能、CData Connect Cloudが新機能 CData Software Japanは、同社が提供するクラウドサービスCData Connect Cloudの新機能として、Webブラウザで利用するExcel 365からノーコードでSalesforceやkintone、Snowflake、Amaz... 続きを読む

NVIDIAとSnowflake、生成AIで提携　企業にSaaS上のデータ利用の独自AIアプリ構築環境提供へ

2023/06/28 7 users NVIDIA 生成AI 提携 テキスト読み上げ 米NVIDIA

米NVIDIAは6月27日（現地時間）、SaaS型データウェアハウスを手掛ける米Snowflakeとの提携を発表した。顧客企業が独自のデータを使ってカスタマイズした生成AIアプリを開発するための環境の提供を目指す。 この提携により、Snowflakeの顧客は、NVIDIAの自動音声認識、自然言語処理、テキスト読み上げのAIモデルを構築・... 続きを読む

Snowflake、文書からより深い洞察を引き出す新しい大規模言語モデル「Document AI」を発表

2023/06/28 5 users 深い洞察 文書 Document AI 言語モデル 発表

続きを読む

7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話　〜手の内全部お見せします〜

2023/05/14 77 users RedShift lang events about 片岡

SNOWDAY JAPAN 2023で「7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話　〜手の内全部お見せします〜」というタイトルで登壇した資料です。 https://www.snowflake.com/about/events/snowday-japan-2023/?lang=ja 独自のテレビ視聴質データを利用したCM効果分析サービスを提供するREVISIO株式会社の片岡が、7年... 続きを読む

BigQuery と Snowflake を徹底比較

2022/12/21 119 users BigQuery 徹底比較

最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。 続きを読む

Snowflakeのアーキテクチャはどうなっているか　圧倒的なスケーラビリティを実現するクラウドネイティブ設計思想

2021/11/25 15 users スケーラビリティ アーキテクチャ クラウドネイティブ 特長

Snowflakeのアーキテクチャはどうなっているか　圧倒的なスケーラビリティを実現するクラウドネイティブ設計思想：Snowflakeで何ができる？　基礎情報解説（3） 過去2回の記事でSnowflakeとは何か、何ができるかを見てきました。今回はSnowflakeの特長を裏付ける実装とクラウドネイティブな設計思想を見ていきます。 続きを読む

スノーフレイク (SNOW) の技術的な企業分析

2020/10/12 15 users カリフォルニア州サンマテオ ＳＮＯＷ 当初 拠点 米国

Snowflake（SNOW）は、2012年に設立されたクラウドベースのデータウェアハウス企業である。カリフォルニア州サンマテオに拠点を置く、同社は9月下旬にニューヨーク証券取引所に上場し、米国での株式公開で過去最大のソフトウェア企業となった。 当初、株式の価格は75ドルから85ドルの間と予想されていたが、同社は120ド... 続きを読む

SnowflakeとRedshiftの比較検証 - Speaker Deck

2020/07/28 25 users RedShift Speaker Deck 比較検証 結果

300コア近くのRedshiftクラスタを運用している広告配信プロダクトでSnowflakeを検証した結果をご紹介します。 続きを読む