データエンジニアの始まり（翻訳） - satoshihirose

2018/07/23 111 users satoshihirose Lyft Facebook 翻訳

訳者まえがき 原著者 Maxime Beauchemin の許可を得て以下の記事を翻訳・公開しました。 medium.freecodecamp.org 原著者は、Apache Airflow や Apache Superset のクリエーターで、現在は Lyft で Data Engineer をしています。 データエンジニアの始まり（翻訳） 私は 2011 年にBIエンジニアとしてFacebookに入社しま... 続きを読む

グーグル、データオーケストレーションツール「Cloud Composer」をベータ公開 - ZDNet Japan

2018/05/02 27 users グーグル Cloud Composer ベータ公開 獲得

Googleは米国時間5月1日、Google Cloud Platformの新しいデータオーケストレーションツール「Cloud Composer」をオープンベータ版として 公開した 。Cloud Composerは、Airbnbが開発したワークフローにフォーカスするオープンソースプロジェクト「Apache Airflow」をベースとする。 ここ数年、Googleはパブリッククラウドで企業顧客を獲得... 続きを読む

Apache Airflow + Slack でデータクオリティチェックを自動化する - Qiita

2017/07/18 41 users Qiita Slack

データ分析をしている人にとっては，データのクオリティを日々モニタリングするのは頭痛の種です．最近のシリコンバレーでは，Data Engineer とは別に Data Quality Engineer というポジションで募集をしている企業もたまに見かけます．それぐらいデータの「質」には，気を配る必要がありリソースが掛かる分野といえるでしょう．とは言え，専任のポジションを設けるのはなかなか難しいので，... 続きを読む