現実の CSV ファイルのデータを BigQuery に load する仕組みを作るという泥臭い作業を dlt でやってみる

2024/01/28 7 users DLT load BigQuery CSV 現実

インストールされたバージョンを確認。 $ dlt --version dlt 0.3.25 また、gsfs, pandas, streamlit, google-cloud-bigquery-storage も必要になるのでインストールしておく。 2. pipeline project を作成#次のコマンドで pipeline project を用意する。 これは verified source として Filesystem、destination として ... 続きを読む

初めてのCapistrano | GMOアドパートナーズグループ TECH BLOG byGMO

2021/01/12 9 users byGMO Capistrano タスク 大学院 集計ミス

こんにちは！ GMOアドマーケティング入社2年目のH.Kです。 私は大学院で機械学習を触っていました。 入社して、「はい、これ最適化して」みたいな世界を想像してたのですが、実際は泥臭い作業が色々と。 とりあえずログに関するタスクを振ってもらえるようお願いしました。 そこでログの集計ミスの修正処理にCapistrano... 続きを読む

Facebookのニュースフィードを生成するアルゴリズムはどのようにして決められているのか？ - GIGAZINE

2016/01/06 43 users GIGAZINE Facebook トップシークレット 中身

By Chris Potter Facebookのホーム画面には、自分と関連する人やフォローしているアカウントの投稿などがタイムラインで表示されます。1日あたりに世界でFacebookを利用しているユーザーは10億人にものぼると言われており、そんなFacebookのタイムラインを決めているアルゴリズムの中身はトップシークレットともいわれていますが、その開発現場では意外とも思える泥臭い作業が行われて... 続きを読む

人が協調する方法の「調整から連携へ」の変化について - 表道具

2013/08/09 11 users 連携 表道具 調整 変化 対立

2013-08-10 人が協調する方法の「調整から連携へ」の変化について ここ数年、様々なコミュニティで回避できない対立に直面して、それについてよりよい道を探るという泥臭い作業をよくやっているのだが、それはもしかしたら根本的に古いことで、私がそういうことをする最後の世代なのではないかと思っている。 現在ビジネスなり社会を変えることなりをするというのは、基本的にマルチステークホルダーになる。15年前... 続きを読む