新卒１年目がバッチサーバーにECSを使ってDockerを導入した話 | feedforce Story

2017/04/18 121 users ECS Docker feedforce Story

こんにちは！株式会社フィードフォース新卒エンジニアの @yosuke0315 です。最近は 会社から支給されたMacBookProのTouchBarにsushiを流したり しています。 フィードフォースには新しい技術に積極的に挑戦できるような環境があります。そして、挑戦した結果がよいものであれば、本番環境でもガンガン使われます。 若手も新卒も関係無く、全てのエンジニアがその挑戦権を持っています。 ... 続きを読む

バッチ処理、ジョブ管理について書いてみる - wyukawa’s blog

2015/06/17 173 users wyukawa’s blog バッチ処理 ジョブ管理 ジョブ

Azkaban, 技術僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。... 続きを読む