TROCCO & BigQueryテーブルメタデータで手軽にデータ取り込みの正常性をチェックする - Nealle Developer's Blog

2024/12/17 16 users 上田 Park Direct Analyticsチーム 方法

本記事はニーリーアドベントカレンダー2024の17日目の記事 その2 です。 はじめに こんにちは。Analyticsチームの上田です。今回は小ネタとして、Park Directのデータ基盤ではどのようにデータ取り込みの正常性をチェックしているか？をご紹介します。 手軽さ (仕組みの単純さ・メンテナンスのしやすさ) を重視した方法... 続きを読む

39社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 - Findy Tools

2024/10/07 73 users Findy Tools データアーキテクチャ 技術選定 各社

公開日 2024/10/08更新日 2024/10/0839社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 8つのデータ系ツール「BigQuery」「Databricks」「dbt」「Fivetran」「Lightdash」「Looker」「Snowflake」「TROCCOⓇ」に39社からご寄稿頂いたレビューから、各社のデータアーキテクチャをまとめた記事です。各... 続きを読む

t_wadaさんにTROCCO®︎開発の悩みを壁打ちしてもらいました｜株式会社primeNumber

2024/10/04 14 users primenumber 中根 輪読会 t_wadaさん 様子

primeNumberのSoftwareEngineerの中根（@gtnao） です。 今回、特別講師として和田卓人さん（t_wadaさん）をお招きして社内勉強会を開催しました！ 勉強会はprimeNumberのオフィスで実施しました。社内には写真のように、広めのイベントスペースがあり、勉強会や輪読会がよく実施されています。 勉強会の様子。20名近く... 続きを読む

1年前の自分が読みたかった、データエンジニアリング入門 - Qiita

2023/12/09 15 users Qiita 価値 Advent Calendar 2023

はじめに 本記事は、trocco® Advent Calendar 2023の9日目の記事になります。trocco®だけを取り上げるわけではありませんが、この内容をおさえておくとその価値や使い方が理解しやすいと思いますし、もちろんユーザー以外でもデータエンジニアリング入門として読んでいただければと思います。 さて、私は今年の2月にtroc... 続きを読む

Embulkのcoreのソースコードから紐解くデータ転送のしくみ

2023/12/06 10 users embulk core ETL しくみ OSS

この記事は trocco Advent Calendar 2023 の6日目の記事となります。 はじめに 今回はtroccoの内部でも利用されているETLのためのOSSであるEmbulkについて、core部分のソースコードリーディングを通して、そのしくみを紐解いていきたいと思います。 おことわり Embulkの基本的な使い方などについては解説しません。 筆者... 続きを読む

令和のデータ活用「三種の神器」、重要ピースを埋めるtroccoの勝ち筋とは | Coral Capital

2022/02/21 7 users SaaS 神器 台頭 Coral Capital 手前

データ活用の重要性が認識されるようになって数年。クラウドの普及や、経営指標可視化のBI（Business Intelligence）ツールの民主化、多数のSaaSの台頭といったことにより、データ蓄積や可視化は一気に進んだように感じられるかもしれません。 しかし、現実にはダッシュボードに多様なデータを一覧する手前のプロセスに... 続きを読む

メルカリ社が運用する trocco & BigQuery のデータ分析基盤と経済性 #GoogleCloudDay / 20210526 - Speaker Deck

2021/05/26 30 users BigQuery GoogleCloudDay メルカリ社

Transcript None 䝯䝹䜹䝸♫䚷䚷䛜㐠Ⴀ䛩䜛 řŎIJîîIJБ�ŷ��ĔČ|ŞøŎŸ�䛾 䝕䞊䝍ศᯒᇶ┙䛸⤒῭ᛶ ᪂஭�ᓫᚿ ᰴᘧ఍♫�ŋŎĔīø[ŞīíøŎ ᇳ⾜ᙺဨ��aa�ව�䜹䝇䝍䝬䞊䝃䜽䝉䝇ᮏ㒊 �ᮏ㒊㛗 ⏣㑔�㞝ᶞ ᰴᘧ఍♫�SULPH1XPEHU�௦⾲ྲྀ⥾ᙺ&(2 ͱ�䛒䜙䜖䜛䝕䞊䝍䜢䚸 䝡䝆䝛䝇䛾ຊ䛻ኚ䛘䜛䚹Ͳ ŋŎĔīø[ŞīíøŎ�䛿䚸䝕䞊䝍䝔䜽䝜䝻䝆䞊䜹䞁䝟䝙䞊䚹 䛒䜙䜖䜛䝕䞊䝍䛜⇿Ⓨⓗ䛻ቑ䛘䛶䛔䛟᫬௦... 続きを読む

アプリケーション・エンジニアが1人でつくる、チャット小説アプリの分析基盤 | trocco(トロッコ)

2019/09/24 25 users トロッコ Peep ビーフ アプリケーションエンジニア 専任

はじめにtaskey株式会社の運営するチャット小説アプリ「ピープ(peep)」では、2019年5月よりビッグデータ分析基盤向けデータ統合自動化サービス「 trocco®」（トロッコ）をご活用いただいております。 スタートアップ企業では専任のデータエンジニアがいることは少なく、アプリケーションエンジニアが分析基盤を整備しな... 続きを読む