EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers

2023/12/21 131 users SRE NewsPicks SREチーム 中川 EC2

概要 ソーシャル経済メディア「NewsPicks」SREチームの中川です。 皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。 何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際の... 続きを読む

ルーチンワークはPythonにやらせよう　Seleniumで勤怠処理を自動化する - Qiita

2022/09/16 251 users Selenium Qiita ルーチンワーク 出社 判定

勤怠処理の自動化は、以下の仕組みによって実現しています。 在宅勤務と出社では勤怠処理が異なるため、基本的にフルリモート前提で在宅勤務の場合に処理を行うよう設定しています。 cronによってシェルスクリプトを起動 シェルスクリプトで在宅勤務の判定を行う 在宅勤務の場合、Pythonのプログラムを起動 Seleniumで勤... 続きを読む

レガシーとの向き合い方　〜cron から Rundeck へ〜 - DMM inside

2020/08/11 170 users Rundeck レガシー バッチ 大倉 保守

はじめに こんにちは！プラットフォーム事業本部ペイメントサービス部ポイントグループの大倉です。 普段はDMMポイントに関するシステムの開発や保守、それと、この長い所属名を噛まずに自己紹介する方法について考えています。 inside.dmm.com この記事では、ポイントグループのバッチ処理（以下、バッチ）をcronからRu... 続きを読む

「Google Cloud Scheduler」リリース。スケーラブルなcronサービスとしてジョブの予約や定期実行、自動リトライなど可能に － Publickey

2018/11/08 198 users Publickey ユーザーインターフェイス 関数 API

GoogleはGoogle Cloud Platformの新機能として、クラウド上で時間指定や定期スケジュール指定などによるジョブや関数の起動するcronのような機能を提供する「Cloud Scheduler」をリリースしました。 Cloud SchedulerはWebのユーザーインターフェイスやコマンドライン、APIを通じてcronと同様に複数の時、日、週、月、年... 続きを読む

cronの書式で曜日指定に数字を使うのやめたい

2018/07/28 116 users crontab 書式 ジョブスケジューラ 曜日指定 数字

些細な啓蒙 こじんまりなシステム構成ではcron使う方が早いし楽なので何だかんだ使ってると思います。 crontabで曜日指定するときに、数字の指定だと直感的に分かりづらい。 週のはじまりが日曜日か月曜日か、どっちが0なのか毎回ググってるし ※"ちゃんとした"商用システムでは"ちゃんとした"ジョブスケジューラを使いま... 続きを読む

Amazon ECS ScheduleTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ

2017/09/13 148 users Dockerベース Docker shnagai Tweet

2017 - 09 - 13 Amazon ECS ScheduleTaskで実現するスマートなDockerベースのバッチ実行環境 Tweet こんにちは。インフラエンジニアの永井( shnagai )です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのS... 続きを読む

Vim 8.0 リリース！ - プログラムモグモグ

2016/09/12 366 users リリース プログラム Vim 8.0 vim バッチ

2016 - 09 - 13 Vim 8.0 リリース！ Vim 8.0 released! Vim 8.0が先ほどリリースされました。10年ぶりの Vim のメジャーバージョンアップです。 Vim のバージョンをcronで毎日上げ続け、最新のパッチを確認し続ける日々を送ってきました。そして、今日も夜11時のcronでバージョンが上がりました。新しいメジャーバージョン、8.0でした。 ここ一年は ... 続きを読む

cron + α が欲しい時には ts(Task Spooler) のご利用をご検討下さいというメモ - ようへいの日々精進XP

2016/08/20 309 users ようへい tl;dr スクリプト 日々精進XP 下図

2016 - 08 - 06 cron + α が欲しい時には ts(Task Spooler) のご利用をご検討下さいというメモ 雑なメモ Linux おひさしブリーフ、かっぱです。 tl;dr 下図のように cron ジョブで定期的に スクリプト を生成して実行させようとした時、 スクリプト 完了する前に次の cron ジョブが走って スクリプト が生成されて、その スクリプト が実行されてし... 続きを読む

Googleスプレッドシートをcronのように使いSlackに投稿する - Hatena Developer Blog

2016/01/15 516 users リマインド motemen Googleスプレットシート

2016 - 01 - 15 Googleスプレッドシートをcronのように使いSlackに投稿する はてなチーフエンジニアの id:motemen です。 以前の記事で紹介したようにはてな技術グループおよびデザイングループでは毎週社内で勉強会を開催していますが、これを運営していくにあたってひとつ課題であったのが毎週のリマインドでした。 developer.hatenastaff.com 毎回発表... 続きを読む

horensoというcronやコマンドラッパー用のツールを書いた | おそらくはそれさえも平凡な日々

2016/01/04 158 users バッチジョブ Songmu github.com ツール 日々

https://github.com/Songmu/horenso cron等、バッチジョブを走らせた場合にその結果通知やエラーレポートをどうするかは悩ましい問題です。ラッパースクリプトを統一的に噛ますのが常套手段ですが、そのためのツールとして、 horenso というものをGoで作りました。報・連・相。その名の通り、実行ジョブの報告をつかさどってくれる君です。以下のようにして使います。 % ho... 続きを読む

cron でのコマンド実行が失敗したときにアラートを飛ばすための alerty というツール - sonots:blog

2015/09/07 226 users sonots perl Ruby アラート コマンド実行

ひと月ほど前に、必要にかられて cron でのコマンド実行が失敗した時に通知を飛ばすために使う alerty というツールを ruby でさくっと書いた。社内には同様の perl で書かれたツールがすでにあったが(自分が知ってるだけで２つあった)、Amazon SNS を使うという新しい要件もあったので、ruby でさくっと書き直した。プラグイン機構に対応していて、プラグインとして実装することで通... 続きを読む

ジョブスケジューラ「Rundeck」を試してみる ｜ Developers.IO

2015/08/31 271 users Rundeck ジョブスケジューラ 森永 エンタープライズ

森永です。 最近は大逆転裁判をやりながら寝落ちするという毎日を送っています。 サーバ構築する上で、ジョブをどうするかというのは考慮が必要な点です。 簡単に実現するにはcronを使えばいいのですが、要件によってはジョブスケジューラを使わないと厳しいということがあります。 かと言って、エンタープライズで使われている本格的なジョブスケジューラを使うのも大げさすぎる、というのもわかります。 そこで今回は、... 続きを読む

cron の意外な落とし穴！ - もろず blog

2015/03/17 547 users ntpdate 落とし穴 もろず blog ジョブ 時刻

2015-03-17 cron の意外な落とし穴！ cron Linux システムを運用していく上で cron を使う場面はよくありますよね 処理をスケジュール実行したい時にとても便利ですそんな cron ですが、最近仕事で作業しているときに ntpdate でシステム時刻を変更した後に cron で設定した時刻になってもジョブが実行されないという問題が見つかりました全てのジョブが実行されていない... 続きを読む

Unixデーモンの仕組み

2015/03/12 441 users メールサーバ DBサーバ 尾藤 a.k.a. BTO

Home Subscribe Unixデーモンの仕組み 12 March 2015 おはこんばんちは!! 尾藤 a.k.a. BTO です。 みなさん、Unixデーモンよく使ってますよね。 Webエンジニアなら、Webサーバ、メールサーバ、DBサーバ、cronなどがよく使われるのではないでしょうか。 24時間365日黙々と働き続けるUnixデーモン達。 身近な存在だと思いますが、実はどういう仕組み... 続きを読む

Rundeck - cronから移行しやすいジョブスケジューラを使ってみよう - インフラエンジニアway - Powered by HEARTBEATS

2015/01/19 532 users Rundeck ジョブスケジューラ

こんにちは。斎藤です。 最近、Dockerなどのコンテナ型仮想化技術、Chef, Ansible, Itamae などによるITインフラ構築・運用自動化技術の利用が進んでいます。一方で、何年も動いて「歴史」を積み重ねているシステムも数多くあります。そして、私を含めてそれらの運用に関わる事もあるでしょう。そんな「歴史」のあるシステムも、何とか運用を効率化したいと思う事があるかもしれません。 今日は、... 続きを読む

Jenkins - cronの代替になりそうなジョブ管理ツールのまとめ - Qiita

2015/01/14 232 users Jenkins 代替 まとめ - Qiita

たまに検討するけど、よく忘れるのでまとめておく。 要件 重複実行の防止 ジョブの実行結果、かかった時間、ログ出力などが見れる 失敗時の通知 候補 Oozie Workflow Scheduler for Hadoop http://oozie.apache.org/ Luigi https://github.com/spotify/luigi Azkaban https://azkaban.git... 続きを読む

cron上でのコマンド実行を再現する - Qiita

2014/05/22 450 users Qiita ログインシェル Cro Tips コマンド実行

シェル上だと動くのにcron上だと動かない。 よく聞くお話ですよね。 そういう時に使えるtipsを共有します。 個人のマシン上で適当に動かすようなcronだと みたいにしてログインシェルを間に噛まして環境変数を上書きして実行することでごまかしたりもできますが、 これまた別の依存する箇所を増やすので 個人のマシンかrcファイルが厳密に管理されているような状況以外ではオススメできません。 なのでcro... 続きを読む

cron 設定ファイル (crontab ファイル) の置き場所と書式について - ひだまりソケットは壊れない

2014/03/02 417 users crontab ひだまりソケット 書式 ベストプラクティス

2014-03-02 cron 設定ファイル (crontab ファイル) の置き場所と書式について Linux プラクティス 次の記事で興味を惹かれたので、『WEB+DB PRESS Vol.79』 の 「cron 周りのベストプラクティス」 を読んだ。 cron周りのベストプラクティス読んだ - $shibayu36->blog; そこでは cron 設定 (crontab) ファイルの記述方... 続きを読む

fluentd(td-agent) の導入 : Raccoon Tech Blog [株式会社ラクーン 技術戦略部ブログ]

2013/12/02 127 users td-agent fluentd ヘイト rsync 大部分

12月2 fluentd(td-agent) の導入 カテゴリ:インフラサーバ はじめまして。開発チームの yuzuki です。 7/1に弊社の 決済サービスPaid（ペイド） のサーバー群へ ログ集約の改善を目的として導入した fluentd(td-agent) の導入手順などをまとめてみました。 ログ集約を改善する動機 弊社ではこれまで（今も大部分は） cron + rsync を使い、週次バ... 続きを読む

MySQL ログのローテーション設定（logrotate）（flush-logs が cron で動かないときの対処を含む） - 彼女からは、おいちゃんと呼ばれています

2013/03/20 189 users ins logrotate おいちゃん MySQL 手動

MySQL, LinuxMySQL のログをローテートさせる設定をしていて、下記の現象（詳細は本文参照）にハマりました。やっと解決できたのでメモしておきます。手動でコマンドを叩いたときはうまくいくのに cron で動かしたときは flush-logs がうまくいかない 環境は CentOS 6.3、MySQL 5.5.28 です。 # yum list centos-release ... Ins... 続きを読む

cron等をつかって外部のAPIに問い合わせる場合は、毎時0分を避けるのが大人のマナー - blog.nomadscafe.jp

2012/08/10 323 users API マナー 外部 Twitter kazeburo

なんかtwitterで書いたらウケたっぽいので cronをつかって外部のAPIに問い合わせる場合は、毎時0分をさけるのオススメ！！！！お兄さんとの約束だ！！！— masahiro nagano (@kazeburo) August 9, 2012 某サービスのAPIへの問い合わせ件数を調べると、毎時 0分台(0秒から59秒)のアクセスは1分から59分までの1分間の平均アクセス数の5倍から8倍にもな... 続きを読む

cron で > /dev/null して椅子を投げられないための3つの方法 - 酒日記 はてな支店

2012/06/13 711 users Twitter dev null いい加減 DQNEO起業日記

(タイトルは釣りです)いい加減、>/dev/null 2>&1と書くのをやめたらどうか - DQNEO起業日記 この記事のタイトルが twitter で流れてきたのを見て、「そうだ！出力を /dev/null に捨てるなんてとんでもないよね！」と思ってよく読んだら /dev/null に間違いなく捨てる方法だったのでつい crontabに > /dev/null 書いたら椅子投げる 2012-06... 続きを読む

PHP で簡単にサーバーを監視して一定ラインを超えたらメール通知するコード | ウェブル

2012/01/09 188 users PHP サーバー ウェブル 一定ライン コード

ロードアベレージ通知するだけなら負荷監視ツールを入れるより、PHP なりで書くほうが楽で簡単とのことで友達に教えてもらいましたので、ひとつ書いてみました。以下のコードを loadave.php など適当な名前で保存して cron で定期実行すれば良いです。 <?php mb_language("ja"); mb_internal_encoding("UTF-8"); date_default_ti... 続きを読む

これは面白い！JavaScriptでcron実行「jsCron」:phpspot開発日誌

2009/01/13 221 users phpspot開発日誌 JavaScript ライブラリ

jsCron, portando Cron a Javascript | aNieto2K これは面白い！JavaScriptでcron実行「jsCron」 0 10 * * * コマンド の形式で実行できるcronですが、JavaScriptで特定の関数をcron形式で実行できるようにしたライブラリが公開されました。 サンプルコードは次のようになっています。 // 実行する関数定義 functi... 続きを読む

Web2.0ナビ: さくらインターネットでmysqlの自動バックアップ

2007/07/23 182 users MySQL レンタルサーバー PHP gif 大抵

さくらインターネットのレンタルサーバーは非常に高機能なんですが、バックアップ機能だけはありません。（私が確認する限り。） HTMLやGIF、PHPなどのファイルはローカルのPCで持っているから大抵は大丈夫だとして、データベース系は間違って全部消してしまった日には目も当てられません。。定期的にバックアップを取るようにしていますが、忘れることもよくあるので、自動バックアップスクリプトをcronに登録し... 続きを読む