AirflowとKubernetesで機械学習バッチジョブの運用負荷を低減した話 - Yahoo! JAPAN Tech Blog

2020/12/25 5 users 運用負荷 Airflow Yahoo PayPayモール 事例

こんにちは。サイエンス統括本部でYahoo!ショッピングやPayPayモールのおすすめ機能（レコメンドシステム）の開発を担当している正沢です。 この記事では、別々に作られた複数の機械学習のバッチジョブ管理システムをApache Airflow（以降、Airflowと記載します）に集約して、運用負荷を低減した事例を簡単なシステム構... 続きを読む

社長がシステム会社に騙される典型的パターン

2013/08/08 38 users パターン 社長 システム会社 いいなり ほか

パソコンに強くない社長だと、システム会社のいいなりになるほかありません。 その結果、相場よりも数倍も高い金額になってしまうことも。。。 今回は、社長がシステム会社に騙される典型的なパターンについてご紹介していきます。 1, 要望とは違うものが納品されるパターン 「全てお任せください」というのでホームページ制作をお願いしたら、素人が作ったようなページを納品された。 こういうパターンの場合「システム構... 続きを読む

O'Reilly Japan - Hadoop Hacks

2012/04/11 26 users O'Reilly Japan Hadoop 猿田 卓也 浩輔

Hadoop Hacks――プロフェッショナルが使う実践テクニック 中野 猛、山下 真一、猿田 浩輔、上新 卓也、小林 隆　著 2012年04月25日 発売予定 434ページ 定価3,780円 ISBN978-4-87311-546-7 フォーマット Print 本書は、Hadoopの概要を理解した読者を対象に、Hadoopを実際に使いこなすためのテクニックとTipsをまとめた書籍です。システム構... 続きを読む