EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers

2023/12/21 131 users SRE NewsPicks SREチーム 中川 EC2

概要 ソーシャル経済メディア「NewsPicks」SREチームの中川です。 皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。 何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際の... 続きを読む

ルーチンワークはPythonにやらせよう　Seleniumで勤怠処理を自動化する - Qiita

2022/09/16 251 users Selenium Qiita ルーチンワーク 出社 判定

勤怠処理の自動化は、以下の仕組みによって実現しています。 在宅勤務と出社では勤怠処理が異なるため、基本的にフルリモート前提で在宅勤務の場合に処理を行うよう設定しています。 cronによってシェルスクリプトを起動 シェルスクリプトで在宅勤務の判定を行う 在宅勤務の場合、Pythonのプログラムを起動 Seleniumで勤... 続きを読む

レガシーとの向き合い方　〜cron から Rundeck へ〜 - DMM inside

2020/08/11 170 users Rundeck レガシー バッチ 大倉 保守

はじめに こんにちは！プラットフォーム事業本部ペイメントサービス部ポイントグループの大倉です。 普段はDMMポイントに関するシステムの開発や保守、それと、この長い所属名を噛まずに自己紹介する方法について考えています。 inside.dmm.com この記事では、ポイントグループのバッチ処理（以下、バッチ）をcronからRu... 続きを読む

「Google Cloud Scheduler」リリース。スケーラブルなcronサービスとしてジョブの予約や定期実行、自動リトライなど可能に － Publickey

2018/11/08 198 users Publickey ユーザーインターフェイス 関数 API

GoogleはGoogle Cloud Platformの新機能として、クラウド上で時間指定や定期スケジュール指定などによるジョブや関数の起動するcronのような機能を提供する「Cloud Scheduler」をリリースしました。 Cloud SchedulerはWebのユーザーインターフェイスやコマンドライン、APIを通じてcronと同様に複数の時、日、週、月、年... 続きを読む

cronの書式で曜日指定に数字を使うのやめたい

2018/07/28 116 users crontab 書式 ジョブスケジューラ 曜日指定 数字

些細な啓蒙 こじんまりなシステム構成ではcron使う方が早いし楽なので何だかんだ使ってると思います。 crontabで曜日指定するときに、数字の指定だと直感的に分かりづらい。 週のはじまりが日曜日か月曜日か、どっちが0なのか毎回ググってるし ※"ちゃんとした"商用システムでは"ちゃんとした"ジョブスケジューラを使いま... 続きを読む

Amazon ECS ScheduleTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ

2017/09/13 148 users Dockerベース Docker shnagai Tweet

2017 - 09 - 13 Amazon ECS ScheduleTaskで実現するスマートなDockerベースのバッチ実行環境 Tweet こんにちは。インフラエンジニアの永井( shnagai )です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのS... 続きを読む

cron(crontab)の代わりにsystemdのtimerを使う - @znz blog

2017/06/04 78 users crontab timer role systemd 利点

最近 gitlab omnibus などの環境 を作っていて、 GitLab CE の role でバックアップ処理を定期実行するのに crontab ではなく systemd の timer を使ってみました。 利点 systemd 管理下で統一的に扱えるので、覚えれば楽 ログも journald で統一されるので cron だといちいちメールが飛ぶと鬱陶しいような粒度でも簡単にログに残せる 環... 続きを読む

sshを使ってリモートマシンでコマンドを叩く際の注意点 - 覚書

2017/04/11 75 users リモートマシン tty SSH 覚書 コマンド

2017 - 04 - 11 sshを使ってリモートマシンでコマンドを叩く際の注意点 知ってる人には当たり前なのかもしれないですが、自分用のメモです。 結論から言うと、 ssh でリモートマシンにログインするのではなく< ssh command>によってコマンドを叩く場合には、ttyが割り当てられない。 ssh に-tオプションを付与すると、端末を無理矢理割り当てられる cronなどのttyが割り... 続きを読む

Vim 8.0 リリース！ - プログラムモグモグ

2016/09/12 366 users リリース プログラム Vim 8.0 vim バッチ

2016 - 09 - 13 Vim 8.0 リリース！ Vim 8.0 released! Vim 8.0が先ほどリリースされました。10年ぶりの Vim のメジャーバージョンアップです。 Vim のバージョンをcronで毎日上げ続け、最新のパッチを確認し続ける日々を送ってきました。そして、今日も夜11時のcronでバージョンが上がりました。新しいメジャーバージョン、8.0でした。 ここ一年は ... 続きを読む

cron + α が欲しい時には ts(Task Spooler) のご利用をご検討下さいというメモ - ようへいの日々精進XP

2016/08/20 309 users ようへい tl;dr スクリプト 日々精進XP 下図

2016 - 08 - 06 cron + α が欲しい時には ts(Task Spooler) のご利用をご検討下さいというメモ 雑なメモ Linux おひさしブリーフ、かっぱです。 tl;dr 下図のように cron ジョブで定期的に スクリプト を生成して実行させようとした時、 スクリプト 完了する前に次の cron ジョブが走って スクリプト が生成されて、その スクリプト が実行されてし... 続きを読む

Googleスプレッドシートをcronのように使いSlackに投稿する - Hatena Developer Blog

2016/01/15 516 users リマインド motemen Googleスプレットシート

2016 - 01 - 15 Googleスプレッドシートをcronのように使いSlackに投稿する はてなチーフエンジニアの id:motemen です。 以前の記事で紹介したようにはてな技術グループおよびデザイングループでは毎週社内で勉強会を開催していますが、これを運営していくにあたってひとつ課題であったのが毎週のリマインドでした。 developer.hatenastaff.com 毎回発表... 続きを読む

horensoというcronやコマンドラッパー用のツールを書いた | おそらくはそれさえも平凡な日々

2016/01/04 158 users バッチジョブ Songmu github.com ツール 日々

https://github.com/Songmu/horenso cron等、バッチジョブを走らせた場合にその結果通知やエラーレポートをどうするかは悩ましい問題です。ラッパースクリプトを統一的に噛ますのが常套手段ですが、そのためのツールとして、 horenso というものをGoで作りました。報・連・相。その名の通り、実行ジョブの報告をつかさどってくれる君です。以下のようにして使います。 % ho... 続きを読む

cron でのコマンド実行が失敗したときにアラートを飛ばすための alerty というツール - sonots:blog

2015/09/07 226 users sonots perl Ruby アラート コマンド実行

ひと月ほど前に、必要にかられて cron でのコマンド実行が失敗した時に通知を飛ばすために使う alerty というツールを ruby でさくっと書いた。社内には同様の perl で書かれたツールがすでにあったが(自分が知ってるだけで２つあった)、Amazon SNS を使うという新しい要件もあったので、ruby でさくっと書き直した。プラグイン機構に対応していて、プラグインとして実装することで通... 続きを読む

ジョブスケジューラ「Rundeck」を試してみる ｜ Developers.IO

2015/08/31 271 users Rundeck ジョブスケジューラ 森永 エンタープライズ

森永です。 最近は大逆転裁判をやりながら寝落ちするという毎日を送っています。 サーバ構築する上で、ジョブをどうするかというのは考慮が必要な点です。 簡単に実現するにはcronを使えばいいのですが、要件によってはジョブスケジューラを使わないと厳しいということがあります。 かと言って、エンタープライズで使われている本格的なジョブスケジューラを使うのも大げさすぎる、というのもわかります。 そこで今回は、... 続きを読む

go-setlock - Go port of setlock - その手の平は尻もつかめるさ

2015/08/10 81 users コマンドラインツール daemontools Linux

2015-08-10 go-setlock - Go port of setlock golang setlock は daemontools に同梱されているコマンドラインツールで，非常に便利かつ強力なツールであることが知られています．この件については以下の記事などが参考になります． Kazuho@Cybozu Labs: setlock を使って cron をぶんまわす方法 Linux - s... 続きを読む

メール通知の代わりにPushbulletを使う - ただのにっき(2015-05-04)

2015/05/06 98 users PushBullet gem にっき API ステータス

メール通知の代わりにPushbulletを使う使っているサーバのちょっしたステータスが変わったり、毎朝念のため数値を監視してるサービスなんかがあって、cronでメールを飛ばすようにしていたのだけど、見てすぐ捨てるものばかりなのでPushbulletで代替してしまうことにした。どうせ確認するのはスマホだし。 PushbulletのAPIはシンプルだけど、もっと楽するためにgemを探すといくつか見つか... 続きを読む

cron の意外な落とし穴！ - もろず blog

2015/03/17 547 users ntpdate 落とし穴 もろず blog ジョブ 時刻

2015-03-17 cron の意外な落とし穴！ cron Linux システムを運用していく上で cron を使う場面はよくありますよね 処理をスケジュール実行したい時にとても便利ですそんな cron ですが、最近仕事で作業しているときに ntpdate でシステム時刻を変更した後に cron で設定した時刻になってもジョブが実行されないという問題が見つかりました全てのジョブが実行されていない... 続きを読む

Unixデーモンの仕組み

2015/03/12 441 users メールサーバ DBサーバ 尾藤 a.k.a. BTO

Home Subscribe Unixデーモンの仕組み 12 March 2015 おはこんばんちは!! 尾藤 a.k.a. BTO です。 みなさん、Unixデーモンよく使ってますよね。 Webエンジニアなら、Webサーバ、メールサーバ、DBサーバ、cronなどがよく使われるのではないでしょうか。 24時間365日黙々と働き続けるUnixデーモン達。 身近な存在だと思いますが、実はどういう仕組み... 続きを読む

Rundeck - cronから移行しやすいジョブスケジューラを使ってみよう - インフラエンジニアway - Powered by HEARTBEATS

2015/01/19 532 users Rundeck ジョブスケジューラ

こんにちは。斎藤です。 最近、Dockerなどのコンテナ型仮想化技術、Chef, Ansible, Itamae などによるITインフラ構築・運用自動化技術の利用が進んでいます。一方で、何年も動いて「歴史」を積み重ねているシステムも数多くあります。そして、私を含めてそれらの運用に関わる事もあるでしょう。そんな「歴史」のあるシステムも、何とか運用を効率化したいと思う事があるかもしれません。 今日は、... 続きを読む

Jenkins - cronの代替になりそうなジョブ管理ツールのまとめ - Qiita

2015/01/14 232 users Jenkins 代替 まとめ - Qiita

たまに検討するけど、よく忘れるのでまとめておく。 要件 重複実行の防止 ジョブの実行結果、かかった時間、ログ出力などが見れる 失敗時の通知 候補 Oozie Workflow Scheduler for Hadoop http://oozie.apache.org/ Luigi https://github.com/spotify/luigi Azkaban https://azkaban.git... 続きを読む

cron上でのコマンド実行を再現する - Qiita

2014/05/22 450 users Qiita ログインシェル Cro Tips コマンド実行

シェル上だと動くのにcron上だと動かない。 よく聞くお話ですよね。 そういう時に使えるtipsを共有します。 個人のマシン上で適当に動かすようなcronだと みたいにしてログインシェルを間に噛まして環境変数を上書きして実行することでごまかしたりもできますが、 これまた別の依存する箇所を増やすので 個人のマシンかrcファイルが厳密に管理されているような状況以外ではオススメできません。 なのでcro... 続きを読む

cron 設定ファイル (crontab ファイル) の置き場所と書式について - ひだまりソケットは壊れない

2014/03/02 417 users crontab ひだまりソケット 書式 ベストプラクティス

2014-03-02 cron 設定ファイル (crontab ファイル) の置き場所と書式について Linux プラクティス 次の記事で興味を惹かれたので、『WEB+DB PRESS Vol.79』 の 「cron 周りのベストプラクティス」 を読んだ。 cron周りのベストプラクティス読んだ - $shibayu36->blog; そこでは cron 設定 (crontab) ファイルの記述方... 続きを読む

fluentd(td-agent) の導入 : Raccoon Tech Blog [株式会社ラクーン 技術戦略部ブログ]

2013/12/02 127 users td-agent fluentd ヘイト rsync 大部分

12月2 fluentd(td-agent) の導入 カテゴリ:インフラサーバ はじめまして。開発チームの yuzuki です。 7/1に弊社の 決済サービスPaid（ペイド） のサーバー群へ ログ集約の改善を目的として導入した fluentd(td-agent) の導入手順などをまとめてみました。 ログ集約を改善する動機 弊社ではこれまで（今も大部分は） cron + rsync を使い、週次バ... 続きを読む

MySQL ログのローテーション設定（logrotate）（flush-logs が cron で動かないときの対処を含む） - 彼女からは、おいちゃんと呼ばれています

2013/03/20 189 users ins logrotate おいちゃん MySQL 手動

MySQL, LinuxMySQL のログをローテートさせる設定をしていて、下記の現象（詳細は本文参照）にハマりました。やっと解決できたのでメモしておきます。手動でコマンドを叩いたときはうまくいくのに cron で動かしたときは flush-logs がうまくいかない 環境は CentOS 6.3、MySQL 5.5.28 です。 # yum list centos-release ... Ins... 続きを読む

node.jsのいろいろなモジュール14 – node-cronでcron的にプログラムを実行する ｜ クラスメソッド開発ブログ

2013/01/31 65 users 書式 スクリプト node.js UNIX系OS 記述

cronをnode.jsで実行 指定した日時や定期的に実行したいスクリプトがある場合、UNIX系OSの場合はcronを使用することが多いとおもいます。 cronとは、スクリプトを自動実行するためのデーモンプロセスで、crontabファイルに特定の書式で記述をすることにより、 指定した日時/定期日時にプログラムを実行することができます。 今回紹介するcronモジュールは、node.jsプログラム内で... 続きを読む