クラウドデータレイク

2024/04/23 6 users ePub 発行年月日 機械学習 ビッグデータ分析 データ分析

TOPICS Database 発行年月日 2024年05月17日 発売予定 PRINT LENGTH 288 （予定） ISBN 978-4-8144-0067-6 原書 The Cloud Data Lake FORMAT Print PDF EPUB 大量のデータを効率的に管理し、ビッグデータ分析、機械学習、AIなどの高度なデータ分析を実現するためのデータ基盤として、クラウドデータレイクが注目されてい... 続きを読む

データカタログ特集　データ利活用に向けたアーキテクチャ6選 - Findy Tools

2024/04/03 29 users Findy Tools アーキテクチャ データ利活用 目次

整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビット... 続きを読む

ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ

2024/03/29 82 users SIEM 本質 限界 エンジニアブログ

三井物産デジタル・アセットマネジメントで、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 いきなりですが、ログ管理はどの職種どの場面でも重要です。セキュリティにおいても、古生代よりサーバー、ネットワーク機器、アプリケーションなどから出力されるログを一元的に収集し、監視や分析... 続きを読む

Elementaryを用いたデータ品質の可視化とデータ基盤の運用改善

2024/03/20 6 users Elementary 運用改善 可視化 データ品質

Tokyo dbt Meetup #8での登壇資料になります。 - https://www.meetup.com/tokyo-dbt-meetup/events/299602585/ 続きを読む

Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform

2024/03/08 10 users サーバレス Cloud Run Google Cloud

Google Cloudのサーバレスなサービスでデータ基盤を作った話. 続きを読む

次世代データ基盤：データレイクハウスを Google Cloud で実現する

2024/02/22 103 users Google Cloud MLOps 界隈 クラウドエース

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張... 続きを読む

先進的な技術を“合理的に”導入する。リクルートが「ニアリアルタイムデータ基盤」を実現できた背景 - はてなニュース

2024/02/22 13 users マッチング クライアント 精度向上 リクルート 収集

どんな企業にとってもデータは「資産」ですが、ユーザーとクライアントのマッチングを軸に事業を展開するリクルートにとっては、ビジネスを支える存在の一つです。 リクルートではサービスに関わるデータを収集・蓄積するデータ基盤を構築し、マッチングの精度向上を含むプロダクト改善などに活用してきました。例えばWe... 続きを読む

個人的なdbtの推しポイントを書いてみる - yasuhisa's blog

2024/02/11 15 users dbt ELT Dataform 部類 系統

dbtや同じ系統のDataformなど、ELTの特にTransform部分に強みを持つツールを使い始めて大体3年になる。主観だけど、それなりに使い倒している部類だと思う。 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog dbtを触ってみた感想 - yasuhisa's blog dbt カテゴリーの記事一覧 - yasuhisa's... 続きを読む

全社横断データ基盤における部分的セルフサービス化への取り組み - Sansan Tech Blog

2023/12/08 7 users Sansan Tech Blog BigQuery おかげ

研究開発部 Architect Groupの大澤秀一です。ブログ寄稿は約2年ぶりです。半年ぐらい前からランニングを始めて、先日フルマラソン完走してきました。おかげで足はボロボロです（笑）。 さて、私たちはBigQueryを中心とした、全社横断データ基盤（以下、データ基盤）の構築とデータ基盤をもとに社内のデータ利活用を推進... 続きを読む

ベアメタルで実現するSpark＆Trino on K8sなデータ基盤

2023/10/05 6 users ベアメタル

DDD&Scalaで作られたプロダクトはその後どうなったか?（Current state of products made with DDD & Scala）MicroAd, Inc.(Engineer)232 views•25 slides 続きを読む

データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog

2023/07/31 103 users SQL BigQuery syou6162 監視用 監視

Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む

バクラク事業におけるデータ組織とデータ基盤 2023 - LayerX エンジニアブログ

2023/07/04 14 users LayerX エンジニアブログ LayerX 認知負荷 構築

お世話になっております。LayerXの高際と申します。現在は、データ分析組織の立ち上げに注力しています。 本記事では、バクラク事業におけるデータ組織とデータ基盤をテーマに取り扱います。データ分析における認知負荷や属人性を解消するための取り組みや、良質なデータを提供するためのデータ基盤の構築について、具体... 続きを読む

バンダイナムコネクサスで構築しているデータ基盤の紹介 | バンダイナムコネクサス データエンジニア tech blog

2023/04/06 7 users バンダイナムコネクサス Tech Blog 紹介

データ戦略部データインフラストラテジーセクションでデータエンジニアリーダ兼、データストラテジストをしている藤井です。 現在、私の所属しているデータインフラストラテジーセクションは昨年12月に出来たばかりのセクションで名前のとおり、ネクサスの必需品である「データ」という必需品の基盤を支えるセクションで... 続きを読む

データ基盤の分散管理を考えるのに チームトポロジーを活用して整理した話 - MonotaRO Tech Blog

2023/02/28 9 users チームトポロジー 小谷 分散管理 株式会社MonotaRO

株式会社MonotaRO　データ基盤グループの小谷です。データ基盤グループでは、データに基づく意思決定や業務改善を通したビジネスの拡大を支援するため社内のデータ利活用サイクルを加速させるような取り組みを行っています。 この度は、当社での未来のデータ管理体制について、チームトポロジーの考え方を用いて整理して... 続きを読む

機械学習を実用化するエンジニアリングスキル

2023/02/09 10 users エンジニアリングスキル 機械学習 実用化 MLOps 文学部

Transcript Developers Summit 2023 Inspired 機械学習を実用化する エンジニアリングスキル 2023/02/09 Yusuke Shibui 自己紹介 shibui yusuke • もともと文学部の大学院卒。 • いろいろ → Launchable（いまここ） • MLOps & リサーチ & データ基盤 & バックエンド & インフラ & セールス & マーケティングエンジニア ◦... 続きを読む

私が妄想している最強のデータ基盤2023

2023/01/08 67 users 最強 ポエム 新年 最後 時点

新年になったので今年のやりたいことをまとめようと思いたち筆をとっています。単にやりたいこと書いてもただのポエムになってしまうので、私が今時点で妄想している最強のデータ基盤を描いて、その中でまだ触ったことのない技術を今年触っていこうという意気込みを最後に書こうと思います（意気込みだけにならないよう... 続きを読む

アジリティを保ってデータ基盤を作る取り組み - BASEプロダクトチームブログ

2022/12/02 6 users アジリティ BASEプロダクトチームブログ

はじめに この記事はBASE Advent Calendar 2022とLooker Advent Calender 2022 2日目の記事です。 こんにちは。BASE 株式会社 New Division BASE BANK Section にて、Engineering Program Manager (以下EPM)1をしている永野(@glassmonekey) です。 私達のBASE BANK Section チーム (以下 BANK チーム) はBASEの中でも、... 続きを読む

DuckDBとdbtとRillで作るローカルで動くDWHっぽいもの

2022/11/30 7 users dbt サマリ セキュリティ 一定 運用

この記事はdbt Advent Calendar 2022の12月1日の記事です。 サマリ DuckDBとdbtを使えばローカル環境で一定のデータ量であればオレオレDWHっぽいものが作れるようになる 社内にデータ分析基盤がない、データ活用しようにもデータ基盤がなく本格的に取り組もうと思うとセキュリティや運用までかんがえると始めることすら... 続きを読む

データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋を用意してみました. - Lean Baseball

2022/11/30 349 users Lean Baseball 処方箋 アーキテクト where

ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞... 続きを読む

日立やNTTデータ、資源循環のデータ覇権競う　欧州に対抗

2022/10/25 9 users 日立 資源循環 欧州 NTTデータ サーキュラーエコノミー

日立製作所、NTTデータなどが資源循環社会のデータ覇権競争に乗り出す。製造から再利用まで環境や機密情報を企業間で安全にやり取りするデータ基盤を構築する。国際標準化やルール形成で先行する欧州への対抗軸を目指す。 「欧州にルール形成や標準化で先行されている事例が少なくない。日本がサーキュラーエコノミーを... 続きを読む

DMBOKを用いたアセスメントでデータマネジメントを加速させる - MonotaRO Tech Blog

2022/07/27 132 users DMBOK アセスメント エントリ syou6162 省略

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤やデータマネジメントに興味を持たれている方はDMBOKを持っている / 読んだことがあるという方も多いのではないでしょうか。このエントリではDMBOK中に紹介されているデータマネジメント成熟度アセスメント(以下、アセスメントと省略)をモノタロウで... 続きを読む

全社員からデータ基盤への問い合わせが殺到して2人では捌けなくなったので仕組みで解決する話〜datatech-jp Casual Talks #2 登壇後記〜 - MonotaRO Tech Blog

2022/06/23 256 users 補足 from 背景 www.slideshare.net

データ基盤グループの吉本です。 今回は先日開催されたdatatech-jp Casual Talksで登壇した内容について補足も含め紹介します。 datatech-jp.connpass.com 発表資料はこちらです。 データ基盤に関わる問い合わせ対応を仕組みで解決する from 株式会社MonotaRO Tech Team www.slideshare.net 発表内容の背景（問い合わせ... 続きを読む

GitHub - Azure/jp-sqlsecurity: データ基盤で求められるセキュリティと、Microsoft Defender for SQL を使った効果的なセキュリティ対策について紹介

2022/05/31 6 users GitHub Azure Azure SQL 脅威 SQL

Azure SQL: セキュリティの脅威への対策ガイド 本ドキュメントでは、データ基盤、データベースで求められるセキュリティについて解説し、Microsoft Defender for SQL を使った効果的なセキュリティ対策について紹介しています。 ここで取り上げた製品・サービスの詳細および最新情報は、製品ドキュメントをご参照くださ... 続きを読む

「実践的データ基盤への処方箋」から読み解く「データを扱うビジネスパーソン」のキャリアパス - Lean Baseball

2022/04/21 8 users Lean Baseball ビジネスパーソン 処方箋 処方

なんやかんやで, ITコンサルタント（復帰）生活から半年経ったマンです. マネジメントからアーキテクチャ, はたまた技術的なLTまでやらせてもらえて楽しく過ごしております*1. 昨年の話になりますが, コミュニティーやその他の活動で色々とお世話になってる @yuzutas0さん達が執筆しました, 「実践的データ基盤への処方... 続きを読む

ありがとうRedshift よろしくBigQuery - freee Developers Hub

2022/04/06 18 users BigQuery RedShift freee ナカミチ 移行

ナカミチといいます。freeeのデータ基盤でエンジニア業に勤しむ日々です。 今回は長年freeeの分析環境を支えてくれたRedshiftをBigQueryに移行したお話。 なお技術的な詳細までは触れず、移行プロジェクト全体に関して記述しています。 (Techieな記事を期待した方スミマセンｍｍ) 移行の規模はどんなもんか ボリューム的... 続きを読む