Cloud Run（フルマネージド）でリクエスト外に処理をすると200倍遅くなる - orangain flavor

2020/05/17 12 users フルマネージド サーバーレス Cloud Run 処理 たび

はじめに Cloud Runはサーバーレスなコンテナ実行基盤です。この記事ではフルマネージド版のCloud Runのみを対象とし、フルマネージド版のCloud Runを指して、単にCloud Runと表記します。 Cloud Runの料金プランの特徴として、リクエストの実行中のみ課金対象になるという点が挙げられます。しかし、リクエストのたびに... 続きを読む

【1万部突破】Pythonクローリング&スクレイピングの発売から約1年 - orangain flavor

2017/12/12 63 users Pythonクローリング&スクレイピング スクレイピング

2017 - 12 - 12 【1万部突破】Pythonクローリング&スクレイピングの発売から約1年 book scraping python 先月ツイートしましたが、 Python クローリング& スクレイピング は第5刷となり、累計発行部数が1万部を突破しました。 【1万部突破！】 Python クローリング& スクレイピング の増刷（第5刷）が決まり、発売1年足らずで累計発行部数が1万部を突... 続きを読む

AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor

2017/12/06 234 users サーバーレス Lambda Fargate クローラー 感じ

2017 - 12 - 07 AWS FargateとLambdaでサーバーレスなクローラー運用 scraping aws docker これは Webスクレイピング Advent Calendar 2017 の7日目の記事です。こんな感じで AWS Fargateと AWS Lambdaを使ってサーバーレス（EC2レス）な クローラー を作ります。 この記事はFargateでのクローリング処理に... 続きを読む

「Pythonクローリング&スクレイピング」という本を書きました - orangain flavor

2016/11/23 296 users Pythonクローリング&スクレイピング クローリング

2016 - 11 - 23 「Pythonクローリング&スクレイピング」という本を書きました book python scraping Python を使ってクローリング・ スクレイピング を行い、データを収集・活用する方法を解説した書籍です。 Python の基本から、 サードパーティ ライブラリを使った スクレイピング 、様々なサイトからのデータ収集・活用、 フレームワーク Scrapyの使... 続きを読む

JavaScriptレンダリングサーバーSplashでスクレイピング - orangain flavor

2015/12/09 71 users スクレイピング クローラー Splash 本記事 ページ

2015-12-09 JavaScriptレンダリングサーバーSplashでスクレイピング scraping python これはクローラー／Webスクレイピング Advent Calendar 2015の9日目の記事です。 本記事では、Scrapinghub社*1が開発しているSplashというオープンソースソフトウェアを紹介します。 github.com JavaScriptを使ったページから... 続きを読む

Scrapy 1.0が公開されました - orangain flavor

2015/06/21 167 users

2015-06-21 Scrapy 1.0が公開されました python scraping Pythonの有名なWebスクレイピングフレームワークのScrapyがバージョン1.0になりました。*1 0.24からの主要な変更点は下記のとおりです。 SpiderでItemの代わりにdictを返せるようになった Spiderごとにsettingsを設定できるようになった Twistedのloggingの... 続きを読む

Re:VIEWとDockerとCircleCIで原稿を継続的インテグレーション - orangain flavor

2015/01/12 51 users CircleCI インテグレーション View フォルダ 原稿

2015-01-13 Re:VIEWとDockerとCircleCIで原稿を継続的インテグレーション docker ci Re:VIEW で執筆する原稿を継続的インテグレーションしたかったので、以下の図のような仕組みを作りました。 ローカル執筆環境の前提条件 Docker 1.3以降がインストールされている Re:VIEW形式の原稿のフォルダがある Re:VIEWやLaTeXはDockerイメージ... 続きを読む

#isucon 2014予選の延長戦をやってみた - orangain flavor

2014/10/05 22 users redis isucon cook 予選 はめ

2014-10-05 #isucon 2014予選の延長戦をやってみた event python 予選の時間内では足りてないことばかりだったので、もう少し試行錯誤することにしました。 #isucon 2014の予選をほぼ一人で戦うハメになった話 - orangain flavor 目標は50000点、できれば60000点出したい。 予選終了時 Python実装 DBはRedisのみを使う Cook... 続きを読む

PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor

2014/01/04 631 users クローリング Scrapy クローラー Ruby Python

2014-01-04 PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ python scrapy 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawle... 続きを読む

Djangoでメモリに乗らないサイズのDBを扱うときに気をつける点 - orangain flavor

2013/10/02 23 users Django OOM Killer メモリ 悲しい結末 処理

2013-10-02 Djangoでメモリに乗らないサイズのDBを扱うときに気をつける点 django はじめに Djangoでメモリに乗らないサイズのデータベースを扱うときに、気をつけるべきポイントをまとめます。メモリを大量に消費していつまで経っても処理が終わらなかったり、OOM Killerに殺されたりといった悲しい結末を回避できたら幸いです。 データ量としては、レコード数が数十万から数百万... 続きを読む

さくらVPSでLXCを使って安価に複数台構成を実現する - orangain flavor

2013/06/06 466 users LXC Chef トラフィック さくらVPS VPS上

2013-06-06 さくらVPSでLXCを使って安価に複数台構成を実現する lxc chef linux はじめに Chefを使っていると、役割やサービスごとに環境を分離したくなります。 しかし、個人レベルで大してトラフィックがない段階で、サービスごとに仮想サーバーを借りていてはお金が足りません。 そこで、安価なVPS上でLinux Container (LXC) を使うことで、複数のサーバーを... 続きを読む