utsusemiという静的サイト生成用クローラを作った（作っていた） - Copy/Cut/Paste/Hatena

2018/01/24 39 users Paste ser Cut Copy サーバーレス

2018 - 01 - 25 utsusemiという静的サイト生成用クローラを作った（作っていた） Serverless AWS github.com 昨年からサーバーレスな勉強会で何回か紹介していましたが、ちゃんとエントリを書いていなかったので書いておきます。 これは何？ 1つのオリジナルサイトをクロールしてS3上に（S3の静的ウェブサイト ホスティング 機能で）静的サイトを構築してしまうSer... 続きを読む

AWS CLIを利用してS3上のファイルをgrepする ｜ Developers.IO

2017/06/13 10 users Developers.IO AWS CLI ファイル EMR

先日Hadoop Streamingを利用してS3上のファイル群にgrepコマンドを実行する方法を紹介しました。 grepコマンドをHadoop Streaming上で実行する とはいえ、ファイル数が少ない場合や時間が掛かってもいいからEMRを利用せずにローカルPC上でgrepコマンドを実行したいこともありますよね。ということで、今回用意したのがAWS CLIを利用してS3上のファイル群をローカル... 続きを読む

AWS CLIを使ってS3上にあるファイル数とファイルサイズの合計を取得する ｜ Developers.IO

2017/05/22 32 users Developers.IO AWS CLI 合計 ファイル数

Amazon Athenaの料金はスキャンしたデータ量で決まるので、特定のフォルダ以下のファイルサイズの合計をAWS CLIで取得する方法を調べたのですが忘れそうなのでメモしておきます。以下のコマンドでファイル一覧の後にファイル数とサイズの合計が出力されます。 aws s3 ls s3://[バケット名]/[フォルダ名]/ --recursive --human --sum オプションの説明になり... 続きを読む

Auto Scalingイベントの発生をLambdaでChatWorkに通知する ｜ Developers.IO

2017/03/13 11 users ChatWork Lambda Auto Scaling

こんにちは、虎塚です。 Auto Scalingを使ってシステムを運用していると、インスタンスが増えたり減ったりした時に、チャットに通知したい場合があります。 今回は、Auto Scalingのイベントが発生したら、 S3上にあらかじめ用意しておいた設定を読み込んで、ChatWorkの特定の部屋に通知を送る Lambdaスクリプトを紹介します。 この仕組みの使い方 この仕組みの入力と出力を説明しま... 続きを読む

Lambda@Edge – プレビュー | Amazon Web Services ブログ

2016/12/02 21 users Lambda@Edge invent permalink

Amazon Web Services ブログ Lambda@Edge – プレビュー by AWS Japan Staff | on 02 DEC 2016 | in AWS Lambda , re:Invent | Permalink ちょうど先週、私が Hacker News 上で書いたコメントがきっかけでAWSのお客様から興味深いメールを頂きました。 彼はS3上でホストしている シングルペ... 続きを読む

[新サービス]S3上のデータをSQLクエリで取得する、Amazon Athenaを試す ｜ Developers.IO

2016/11/30 17 users SQLクエリ Developers.IO Athena 千葉

コンニチハ、千葉です。Amazon Athenaが発表されましたので、さっそく試してみました。これは、ほんとすごいです。 Amazon Athenaとは？ 詳細はAWSの公式ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを に記載されていますのでこちらを参照ください。 Amazon Athenaについて、上公式ブログから引用です。 Athenaは新しいサ... 続きを読む

S3のZipファイルをRangeでバイナリアクセスして料金を節約 - HDE BLOG

2015/01/09 67 users Range バイナリ http メルセデス zipファイル

2015-01-09 S3のZipファイルをRangeでバイナリアクセスして料金を節約 あけおめころよろメリクリ!! 尾藤 a.k.a. BTOです。 今年も残すところ、あと357日となりましたが、みなさんいかがおすごしでしょうか。 今年の目標は、純白のメルセデス、プール付きのマンション、最高の女とベッドでドン・ペリニヨンの3つです。 さて、今回はS3上に置いたZipファイルをHTTPのRange... 続きを読む

Elastic MapReduceを使って、FluentdでS3上に格納した、Ltsv形式のNginxのアクセスログを解析してみたお話。 - 練馬で暮らすエンジニアのつぶやき

2013/09/14 44 users fluentd アクセスログ MySQL ログレベル 練馬

2013-09-15 Elastic MapReduceを使って、FluentdでS3上に格納した、Ltsv形式のNginxのアクセスログを解析してみたお話。 今回何故、Elastic MapReduce + S3 + Fluentd + nginxを調査したのか Mysqlとか、analyticsとか、そのほかで色々データは取っていってるのですが、 更に細かく解析するためには、ログレベルでの解析... 続きを読む

【AWS発表】 Amazon S3で静的なWebサイトの運用が可能に - Amazon Web Services ブログ

2011/02/18 96 users AWS発表 運用 Amazon Web Services

今回の発表で、静的なWebサイト(Static Websites)をS3で運用するのを、より簡単にするための機能がAmazon S3に追加されました。 これまで、S3のユーザは、Webサイトの画像やビデオをS3に保存してきまいた。しかし、全てのWebサイトをS3上に運用するのはそれほど簡単ではありませんでした。その理由は、もしユーザがサイトのアドレス(www.example.com)を入力すると、... 続きを読む