クローラー運用を楽にするためのクラウドサービス比較 - ZOZO Technologies TECH BLOG

2020/05/15 5 users ZOZO Technologies TECH BLOG

こんにちは！最近気になるニュースはスピノサウルスの尻尾の化石が発見されたこと1な、SRE部エンジニアの塩崎です。ZOZOテクノロジーズの前身となった会社の1つであるVASILYでは数多くのクローラーの開発・運用の担当をしてきました。 今回はその知見を生かして、クローラーを楽に運用するためのクラウドサービスを紹介... 続きを読む

AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor

2017/12/06 234 users サーバーレス Fargate Lambda クローラー 感じ

2017 - 12 - 07 AWS FargateとLambdaでサーバーレスなクローラー運用 scraping aws docker これは Webスクレイピング Advent Calendar 2017 の7日目の記事です。こんな感じで AWS Fargateと AWS Lambdaを使ってサーバーレス（EC2レス）な クローラー を作ります。 この記事はFargateでのクローリング処理に... 続きを読む

ssig33.com - クローラー運用について

2014/10/13 47 users クローラ ssig33.com 並列 蛮族 ドメイン

fl.ssig33.com を公開した LDR ユーザーの中で ssig33.com を読むような人達は蛮族だった 15 万フィードほどいきなりクロールすることになった という問題が発生しました。以下やった対処。 クローラの UA に連絡先を入れる これ多分一番重要 並列クロールするようにする 同じドメインは並列にクロールしない このドメインとこのドメインは並列にクロールしないみたいなブラックリス... 続きを読む