Google Cloud 版 Dataform と周辺リソースの図 - ぽ靴な缶

2023/05/15 12 users Dataform GCP Github リポジトリ メイン

GCP 版 Dataform がついに GA になりましたね。同時に定期実行の仕組みも出て、一通りの機能が揃った感がある。いまこそ買収以前の SaaS 版(Legacy 版)から GCP 版に移行する時!! しかし GitHub リポジトリと連携する場合、登場人物が多くて難しくなっていると思う。 特に GCP に馴染みがなかったりデータ分析がメインの... 続きを読む

AWS Step Functions を使って時間ぴったりに処理を行うサーバーレススケジューラーを構築する - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS

2022/04/04 15 users プラクティス Amazon EventBridge 課題

AWS で予約実行や定期実行などのスケジュール処理を実装する場合に、Amazon EventBridge を使用してスケジュールベースのルールを組むことはプラクティスの 1 つだと思います。しかしながら、Amazon EventBridge を使ったスケジュール処理には以下のような課題があります。 予約時刻から数分程度ズレで実行される場合が... 続きを読む

Git管理 + CLI運用によるWindowsタスクスケジューラーの運用改善 - ZOZO Technologies TECH BLOG

2020/09/14 6 users Git管理 タスクスケジューラー WEAR 運用改善 バッチ

こんにちは、WEAR部運用改善チームの三浦です。私たちのチームでは、WEARの日々の運用業務を安全かつ効率的に行えるよう改善を行っています。今回はバッチの定期実行に使用しているWindowsのタスクスケジューラーの運用改善について紹介します。 背景 WEARではバッチをWindowsサーバー上で定期実行させており、定期実行... 続きを読む

crontabを捨てsystemdに定期実行を任せよう。 - Qiita

2019/12/26 85 users crontab Qiita systemd

Help us understand the problem. What is going on with this article? 続きを読む

Datadog と Lighthouse を利用した WebPerf の継続的計測 | mediba Creator × Engineer Blog

2019/07/22 72 users mediba Lighthouse Datadog GAS

こんにちは。ものづくり推進部、フロントエンドエンジニアの武田です。 今日は Datadog, Lighthouse を使ったクライアントパフォーマンス計測に取り組んでいる、というお話です。 mediba では webpagetest を使った定期実行と計測を以前から行っています。 DataStudioとGASでWebPagetestの計測結果をグラフ化するuknmr/g... 続きを読む

AWS BatchとServerlessを組み合わせて高速に定期実行バッチやバッチAPIを作る - フリーランチ食べたい

2019/04/28 179 users CloudWatch serverless サンプル

AWS Lambdaで行えないような重い処理はAWS Batchを使うと簡単に行うことができますが、定期実行したりエンドポイントを作る仕組みはAWS BatchにはまだなくCloudWatchやAPI Gatewayと組み合わせる必要がありますがServerlessと組み合わせることで簡単に実現できるので紹介します。 つくるもの 今回は次のサンプルを作って... 続きを読む

「Google Cloud Scheduler」リリース。スケーラブルなcronサービスとしてジョブの予約や定期実行、自動リトライなど可能に － Publickey

2018/11/08 198 users cron Publickey ユーザーインターフェイス 関数

GoogleはGoogle Cloud Platformの新機能として、クラウド上で時間指定や定期スケジュール指定などによるジョブや関数の起動するcronのような機能を提供する「Cloud Scheduler」をリリースしました。 Cloud SchedulerはWebのユーザーインターフェイスやコマンドライン、APIを通じてcronと同様に複数の時、日、週、月、年... 続きを読む

PC・スマホのブラウザから無料でIoT開発環境が使える「obniz Cloud」を使ってみた！ - paiza開発日誌

2018/08/22 27 users paiza開発日誌 ブラウザ IoT サーバーレス obniz

どうも、まさとらん（@0310lan）です！ 今回は、手軽にIoT開発が可能な「obniz」向けに提供されている無料のWebサービスについてご紹介したいと思います！ 自分の「obniz」を登録するだけで、トークンの発行やprivateなプログラムを作成したり定期実行ができるなどサーバーレスで強力な開発環境が整います。 IoTやobniz... 続きを読む

仮想通貨取引所のセキュリティ分析をまとめて実行するスクリプト作った - 野良ジニアのスクラップブック

2018/03/07 21 users 野良ジニア GAS bot スクリプト スクラップブック

2018 - 03 - 07 仮想通貨取引所の脆弱性診断をまとめて実行するスクリプト作った 仮想通貨 技術関連 あとで読む シェアする B! FB Twitter Pocket Feedly こんにちわ、野良エンジニアです。 こちらのツイートを見て、 取引所の 脆弱性 診断を定期実行 する スクリプト (GAS)を作りました。 「仮想通貨交換業者は無職業者 BOT と今すぐ顧問契約を結ぶべきだとい... 続きを読む

Python Cloud9を利用して、Seleniumで定期処理をherokuから行う|Review of My Life

2017/06/25 26 users Heroku Selenium crontab IDE 代替案

Python Cloud9を利用して、定期処理をherokuから行う Cloud9というIDEを利用して、PythonからSeleniumを利用し、あるサイトでいいねを自動化するプログラムを作った。これを定期実行を行いたい。検索してみると、crontabを使えば定期実行ができるようだが、cloud9上では実行できない。 ほかの代替案を考えたとき、 heroku schedulerを利用して定期実行... 続きを読む

「AWS Black Belt Tech Webinar 2015 – AWS Data Pipeline」レポート ｜ Developers.IO

2015/09/14 23 users Developers.IO AWS ジョブ 虎塚 アマゾン

こんにちは、虎塚です。 9月9日(水)の夕方に実施された「AWS Black Belt Tech Webinar 2015 – AWS Data Pipeline」を聴講したので、レポートします。講師は、アマゾン データ サービス ジャパンの今井さんでした。 Data Pipelineは、ジョブの定期実行のために利用できるAWSのサービスです。昨年のBlack Belt Tech Webinarか... 続きを読む

Google Apps Script の TypeScript 型定義ファイルを作った - 詩と創作・思索のひろば

2015/06/18 43 users TypeScript 思索 http ひろば 創作

2015-06-18 Google Apps Script の TypeScript 型定義ファイルを作った TypeScript GoogleAppsScript Google Apps Script は JavaScript っぽい言語で Google 製品の自動化を行える便利環境で、定期実行や外部との HTTP 通信など、意外と痒いところに手が届く出来であり、今となっては身につけておくとよい... 続きを読む

systemdでの定期実行(timerユニット) - Qiita

2015/03/18 31 users Qiita systemd crontab ディストリ Uni

cronの無い世界 systemdに移行するディストリが増えてきた昨今、cronが担っていた部分もsystemdに移行されてきています。初期のsystemdにはtimerがありませんでしたが、2013年にtimerユニットの実装が入り、だいぶ安定してきた感があります。また、昔はcron系のデーモンが必須パッケージだったディストリも、いまでは必須ではなくなってきています。crontabといえばUNI... 続きを読む

消去対象を柔軟に指定でき定期実行やウィジェットを備えた不要データ消去アプリ「1Tap Eraser」 | あんどろいどスマート

2012/09/07 11 users ウィジェット SMS あんどろいどスマート 嗜好 通話

スマホは使っているうちに様々なデータを溜め込んでおり、放置しているとストレージ容量を圧迫したり、端末を貸した相手に知られたくない嗜好や交友関係が漏れてしまったりするので、不要なデータはこまめに消去したい。 不要データを効率的に消去できるアプリは多数公開されているが、最近登場した「1Tap Eraser」は非常に多機能になっておりオススメだ。 アプリの保存したキャッシュやブラウザ、通話、SMSの履歴... 続きを読む

AppEngineで面白アプリを作る本「作ればわかる！Google App Engine for Javaプログラミング」 - Basic

2011/08/22 39 users AppEngine cron BASIC フル 送受信

AppEngine, 本 | 09:53 | AppEngineは面白い。単なるWebアプリケーションのインフラだけではなく、メールやインスタントメッセージの送受信、簡単な画像処理やcronによる定期実行など、様々なツールが用意されているので、今まで「環境準備が面倒だな」と思っていた類の開発を気軽に始めることができる。そんなAppEngineの機能をフルに使うアプリケーションの解説本として「作れば... 続きを読む