タグ「日次バッチ」

タグ日次バッチ

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 4 / 4件)

AWSを活用した機械翻訳のためのGPU並列処理環境の構築 - Stockmark Tech Blog

2021/06/15 13 users AWS Anews 機械翻訳構築ウェブサービス

はじめにこんにちは、ストックマークでエンジニアをしている麻生です。ストックマークでは、「Anews」というウェブサービスを提供しています。この度、Anewsで新機能導入のために日次バッチの大規模なインフラ変更を行い、GPU並列処理環境を構築しましたのでご紹介します。組織の自律化を支援するナレッジプラットフォ... 続きを読む

CodeBuild で Amazon Linux 2 の Python 3 アプリケーションの Docker イメージを作成する｜ Developers.IO

2018/01/29 12 users CodeBuild Docker クローリング藤本イメージ

CodeBuild で Amazon Linux 2 の Python 3 アプリケーションの Docker イメージを作成する AWS特集 CodeBuild Batch ども、藤本です。最近、Python 3 で書いたクローリング、スクレイピングのバッチアプリケーションを開発しています。日次バッチでコスト効率よく使いたかったため、バッチアプリケーションの実行環境に AWS Batch を利用... 続きを読む

Digdagへ日次バッチを移行して幸せになるお話 // Speaker Deck

2017/06/08 80 users Digdag ワークフローエンジンリカバリワークフロー

DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決の... 続きを読む

JenkinsからDigdagへ日次バッチを移行して幸せになるお話 // Speaker Deck

2017/06/08 42 users Jenkins Digdag ワークフローエンジンリカバリ

(1 - 4 / 4件)