cron で exponential backoff するツール作った

2023/12/23 6 users crontab Exponential Backoff

この様に指定すると3分毎に実行されます。 とても便利ではあるのですがコマンドの実行が失敗すると、冗長なコマンド実行となり得ます。cron ではコマンドの実行が失敗し続けるとメールが運営者に繰り返し送信され続けます。 crontab にコマンドが1分毎に実行される様に投入してひとまず正常起動を確認、仕事を終えて家に... 続きを読む

EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers

2023/12/21 131 users SRE NewsPicks SREチーム 中川 EC2

概要 ソーシャル経済メディア「NewsPicks」SREチームの中川です。 皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。 何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際の... 続きを読む

ルーチンワークはPythonにやらせよう　Seleniumで勤怠処理を自動化する - Qiita

2022/09/16 251 users Selenium Qiita ルーチンワーク 出社 判定

勤怠処理の自動化は、以下の仕組みによって実現しています。 在宅勤務と出社では勤怠処理が異なるため、基本的にフルリモート前提で在宅勤務の場合に処理を行うよう設定しています。 cronによってシェルスクリプトを起動 シェルスクリプトで在宅勤務の判定を行う 在宅勤務の場合、Pythonのプログラムを起動 Seleniumで勤... 続きを読む

AWS cronなタスクスケジュールをまとめてビジュアライズできるツールを作った - たまめも(tech)

2022/06/23 17 users crontab タスクスケジュール tech ar_tama

www.npmjs.com AWSのcron式でcronvできるやつ作った。便利っぽい🥳 pic.twitter.com/Sqid4kAxS5— あらたま (@ar_tama) 2022年6月18日 経緯とか もともとcronvというツールがあって（めちゃくちゃ便利）、これはcrontabをビジュアライズしてくれる君なんですが、バッチサーバをEC2からECS Task Schedulerにお引越しさせる... 続きを読む

Cron→Rundeckに乗り換えた話 - MonotaRO Tech Blog

2022/04/12 20 users MonotaRO Rundeck 中尾 ジョブ 限界

こんにちは。MonotaROで商品管理や受発注システムの開発を担当している中尾です。 この度、これまでcronで実行していたジョブに対してRundeckを導入し、ジョブのスケジュール管理を効率化することができましたので、導入にあたって苦労した点とその解消方法を中心に紹介いたします。 Rundeck導入の背景 Cronの限界を感じ... 続きを読む

CircleCI や GitHub Actions の cron を祝日だけ停止させたい

2021/11/02 25 users CircleCI ハイジャック ゴー 合間 祝日

先日の ua-parse-js のハイジャックの件 を受けて、業務の中で毎日動かしている On-premise Renovate の cron を土日祝に停止させたいという話が上がった。 業務の合間に書く時間がちょっと捻出できそうになかったこと、加えて汎用的なコードということもあり、プライベートでも使えそうだったので一般化した範囲でコー... 続きを読む

コマンドを実行しその終了ステータスコードメトリクス化するMackerelカスタムプラグイン - Hateburo: kazeburo hatenablog

2020/12/15 8 users Hateburo mackerel コマンド 同期 キャッシュ

キャッシュの更新やなんらかの同期を行うコマンドなどをcronにて実行している場合、メンテナンスや一時的なネットワークの不調によりコマンドがエラーになっても問題ないが、一定時間以上エラーが続くと困る、みたいなことはあると思われます。 mackerelでは、cronのコマンドがエラーになった際に、通知する方法としては... 続きを読む

レガシーとの向き合い方　〜cron から Rundeck へ〜 - DMM inside

2020/08/11 170 users Rundeck レガシー バッチ 大倉 保守

はじめに こんにちは！プラットフォーム事業本部ペイメントサービス部ポイントグループの大倉です。 普段はDMMポイントに関するシステムの開発や保守、それと、この長い所属名を噛まずに自己紹介する方法について考えています。 inside.dmm.com この記事では、ポイントグループのバッチ処理（以下、バッチ）をcronからRu... 続きを読む

Github Actionsをcronとして利用し、notify-issues-to-slackを動かす - $shibayu36->blog;

2020/06/08 6 users Jenkins GitHub Issue Slack サーバー

以前、レビュータイムや定期的なissueチェックのためにGithubのissueを検索してSlackに投稿するCLIツールを作ったで紹介したnotify-issues-to-slackだが、これまでは 適当に立てたサーバーのcronで動かす Jenkinsなどで実行する という方法で動かしていた。 しかし、issueをslackに通知するためだけにサーバーを立てたり... 続きを読む

Mackerel の mkr wrap コマンドを使って cron バッチジョブを監視する ｜ DevelopersIO

2019/09/12 12 users mkr mackerel DevelopersIO コマンド

こんにちわ ttaka です。 これから Mackerel を使ったプロジェクトに関わっていくことになりそうなので 積極的に Mackerel を触って行こうと思います。 まず今回は mkr コマンドを使用しての cron バッチジョブ監視設定をやってみました。 想定する読者 Mackerel のアカウントを取得している人 Mackerel で cron などの... 続きを読む

The Firebase Blog: Scheduling Cloud Functions for Firebase (cron)

2019/04/18 12 users April successful businesses

Firebase gives you the tools and infrastructure to build better apps and grow successful businesses. Learn more ▼ 2019 (15) ▼ April (4) Scheduling Cloud Functions for Firebase (cron) Firebase Hosting for Cloud Run What's new from Firebase at Cloud Next 2019! ML Kit expands into NLP with Language ... 続きを読む

サーバコストダウン！AWS EC2 を cron & php で自動停止 - WILLGATE tech blog

2019/03/19 41 users PHP AWS WILLGATE tech blog EC2

はじめに こんにちは！ インフラチームの高畑です。 新卒で入社して早くも 2 年目に突入しそうで時間の流れが最近早く感じています。 今回、弊社で運用している標準開発環境（※）について、自動起動・停止するようにしてインフラコストダウンを計ってみたお話しをします！ ※ ウィルゲートの開発室でエンジニアに割り当て... 続きを読む

mkr wrap コマンドで cron などのバッチジョブを監視できるようにしました ほか - Mackerel ブログ #mackerelio

2019/02/25 18 users バッチジョブ mackerelio mkr wrap ブログ

Mackerelチーム CRE の三浦（id:missasan）です。 いよいよ、Mackerel Meetup #13 Tokyo が今週末3月1日(金)に迫りました。LT枠も増枠しています。まだ1名枠空きがありますので、ぜひご応募ください！一般枠もまだ空きがあります。今週金曜日は、Meetupで乾杯しましょう！ mackerelio.connpass.com それでは、今週のアッ... 続きを読む

mkr wrapでcronなどのバッチジョブを監視する - Mackerel ヘルプ

2019/02/19 26 users mackerel Path 成否 バッチジョブ アラート

mkr wrap を使うことで、cronなどで定期実行されるプログラムの成否を監視できます。 % mkr wrap -- /path/to/your-batch ... 上記のようにコマンドを実行すると、コマンドが失敗(非ゼロで終了)した場合にMackerel上にアラートを発生させます。 アラートは実行ホストのチェック監視アラートとして登録されます。Mackerel... 続きを読む

「Google Cloud Scheduler」リリース。スケーラブルなcronサービスとしてジョブの予約や定期実行、自動リトライなど可能に － Publickey

2018/11/08 198 users Publickey ユーザーインターフェイス 関数 API

GoogleはGoogle Cloud Platformの新機能として、クラウド上で時間指定や定期スケジュール指定などによるジョブや関数の起動するcronのような機能を提供する「Cloud Scheduler」をリリースしました。 Cloud SchedulerはWebのユーザーインターフェイスやコマンドライン、APIを通じてcronと同様に複数の時、日、週、月、年... 続きを読む

cronはサマータイムを処理できる？　そんなに甘くありません：技術屋のためのドキュメント相談所：オルタナティブ・ブログ

2018/08/14 12 users 誤解 主張 サマータイム 立場 ドキュメント相談所

専門的な情報を、立場の違う人に「分かるように説明する」のは難しいものです。このブログは「技術屋が説明書や提案書を分かりやすく書く」ために役に立つ情報をお届けします。 サマータイムのお話、続きです。 なにやら、cronはサマータイムを適切に処理できる、という主張もあるようですが、ちょっと誤解があるようで... 続きを読む

cronの書式で曜日指定に数字を使うのやめたい

2018/07/28 116 users crontab 書式 ジョブスケジューラ 曜日指定 数字

些細な啓蒙 こじんまりなシステム構成ではcron使う方が早いし楽なので何だかんだ使ってると思います。 crontabで曜日指定するときに、数字の指定だと直感的に分かりづらい。 週のはじまりが日曜日か月曜日か、どっちが0なのか毎回ググってるし ※"ちゃんとした"商用システムでは"ちゃんとした"ジョブスケジューラを使いま... 続きを読む

cronで祝日判定するためのコマンドを作った - knqyf263's blog

2018/05/31 21 users deb rpm コマンド knqyf263 Blog

2018 - 01 - 07 cronで祝日判定するためのコマンドを作った 概要 cronで営業日だけ動かしたいコマンドとかある時に、いちいちプログラム書くのも面倒だったので、 && とかで繋いで簡単に判定するためのコマンドを作りました。 rpm や deb もあるので、簡単にインストールして利用可能です。 営業時間に1時間ごとに動かしたい場合は以下のような感じ。 00 9-18 * * 1-5 ... 続きを読む

TimeFuzeアーキテクチャ構想 - 処理とデータとタイマーを一体化したデータパイプライン - ゆううきブログ

2017/12/25 37 users タイマー 予稿 WSA ゆううきブログ アーキテクチャ

2017 - 12 - 25 TimeFuzeアーキテクチャ構想 - 処理とデータとタイマーを一体化したデータパイプライン Architecture DataPipeline Redis Database この記事は 第1回ウェブシステムアーキテクチャ(WSA)研究会 の予稿です。 cronのようなタイムスケジューラーにより、定期的に実行されるバッチ処理の課題を解決するアーキテクチャを最近考えてい... 続きを読む

SIPとcronの不具合を利用しmacOS 10.13.1 High Sierraで非rootユーザーがroot権限を得られる脆弱性が発見されたもよう。 | AAPL Ch.

2017/12/18 36 users SIP AAPL root権限 脆弱性 以下

SIPとcronの不具合を利用しmacOS 10.13.1 High Sierraで非rootユーザーがroot権限を得られる脆弱性が発見されたもよう。 2017/12/18 macOS High Sierra SIPとcronの不具合を利用しmacOS 10.13.1 High Sierraで非rootユーザーがroot権限を得られる脆弱性が発見された様です。詳細は以下から。 イギリス Posi... 続きを読む

Amazon ECS ScheduleTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ

2017/09/13 148 users Dockerベース Docker shnagai Tweet

2017 - 09 - 13 Amazon ECS ScheduleTaskで実現するスマートなDockerベースのバッチ実行環境 Tweet こんにちは。インフラエンジニアの永井( shnagai )です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのS... 続きを読む

cron(crontab)の代わりにsystemdのtimerを使う - @znz blog

2017/06/04 78 users crontab timer role systemd 利点

最近 gitlab omnibus などの環境 を作っていて、 GitLab CE の role でバックアップ処理を定期実行するのに crontab ではなく systemd の timer を使ってみました。 利点 systemd 管理下で統一的に扱えるので、覚えれば楽 ログも journald で統一されるので cron だといちいちメールが飛ぶと鬱陶しいような粒度でも簡単にログに残せる 環... 続きを読む

「Android」マルウェアを100万台に感染、銀行に送金指示--ハッカー集団が大金盗む - CNET Japan

2017/05/23 24 users 大金 ハッカー集団 マルウェア 送金指示 感染

1年以上前から、ロシアで偽の銀行やGPS、ポルノアプリに起因する大規模な銀行窃盗が発生している。 ロシア当局関係者は現地時間5月22日、世界中で銀行強盗を企んでいたハッカーグループに対する一連の手入れが成功を収めたことを明らかにした。 ロシア内務省 によると、使用するマルウェアにちなんで「Cron」と名付けられたこのグループは、ロシアで100万台以上の「Android」スマートフォンを感染させ、5... 続きを読む

Mastodonのサーバ間通信が切れた場合のリカバリ - Qiita

2017/04/20 25 users Qiita Mastodon リカバリ subscribe

Mastodonのサーバ間通信って切れるの？ こういう現象が起こります。 Mastodon でリモートインスタンスから自分のトゥートがみえなくなることがある メンテ時などに特定のエラーが起こると相手のサーバが接続を切ってしまいます。 リカバリ方法は？ 受信側からsubscribeを再実行する(手動)。 7日間待って受信側のcronが有効期限更新のためにsubscribeを実施するのを待つ。 バック... 続きを読む

sshを使ってリモートマシンでコマンドを叩く際の注意点 - 覚書

2017/04/11 75 users リモートマシン tty SSH 覚書 コマンド

2017 - 04 - 11 sshを使ってリモートマシンでコマンドを叩く際の注意点 知ってる人には当たり前なのかもしれないですが、自分用のメモです。 結論から言うと、 ssh でリモートマシンにログインするのではなく< ssh command>によってコマンドを叩く場合には、ttyが割り当てられない。 ssh に-tオプションを付与すると、端末を無理矢理割り当てられる cronなどのttyが割り... 続きを読む