SingleAZ配置のEC2インスタンスで障害発生時の影響を最小化する ｜ DevelopersIO

2019/08/27 90 users DevelopersIO 東京リージョン 一方 最小限 障害

西澤です。8/23(金)に東京リージョンにおいて大規模な障害が発生し、多くのシステムが影響を受けました。この障害に際して、可用性を担保する設計の重要性を考えさせられた一方で、切り捨てるものを決め、迅速に復旧し、障害の影響を最小限に抑えることも大切なことだと痛感しました。シングル構成のシステムを運用され... 続きを読む

「Web系ベンチャーが語るAWS利用事例」で「Amazon S3へのデータ転送における課題とその対処法を一挙紹介」について話してきました ｜ Developers.IO

2017/08/25 59 users Developers.IO データ転送 課題 対処法 資料

西澤です。Web系ベンチャーが語るAWS利用事例 というイベントでお話する機会をいただきましたので、資料をこちらで共有させていただきます。 発表資料 Amazon s3へのデータ転送における課題とその対処法を一挙紹介 […] 続きを読む

オンプレからAWS環境にデータベース移行するのに役立つ情報まとめ ｜ Developers.IO

2017/06/24 200 users Developers.IO オンプレ データベース移行 前提

西澤です。今回はAWS環境へのデータ移行をテーマに社内で行った勉強会で、自分で1から資料を作るよりもずっと有用な公開資料がたくさんあったので、当日メンバーから出た質問等も補足しながら、こちらにまとめておきたいと思います。 前提 タイトルではデータベース移行としていますが、こちらではRDBの移行のみを対象とします。AWSの各種サービスの詳しい説明は行いません。それらを組み合わせて利用する際に必要とな... 続きを読む

オンプレ環境からS3へのファイル転送方式についてこれまで試したパターンまとめ ｜ Developers.IO

2017/05/30 86 users Developers.IO RDB オンプレ環境 毎度 ユーザ

西澤です。AWS上にシステムを移行する上で、毎度のようにご相談を受けるのが、S3へのファイル転送をどうするか？という問題です。ビッグデータの元となる大量のファイル、RDBのダンプファイル、その他のバックアップファイル等を含め、安価で堅牢なS3にまずはデータを格納し、そこから自由に利用したいというユーザの希望を実現する為に、まずは何よりもS3にファイルを持っていかなければなりません。 今回は、過去の... 続きを読む

AWS CLI S3 Configurationを試したら想定以上にaws s3 syncが速くなった話 ｜ Developers.IO

2017/05/02 50 users Developers.IO AWS CLI CLI 想定以上

西澤です。みんな大好きAWS　CLIですが、このようなオプションがあることは把握していたものの、今更ながら試してみたところ、期待していた以上に良い結果が出たのでご紹介したいと思います。 AWS CLI S3 Configurationとは AWS CLIには、S3コマンド専用にファイル転送オプションを指定することができます。今回試したのは、下記のオプションです。 max_concurrent_re... 続きを読む

s3fsよりも高速に使えるgoofysを試してみた ｜ Developers.IO

2016/01/27 125 users GitHub GitHub Developers.IO

西澤です。S3バケットを直接マウントしてファイルシステムのように使いたいケースがありますが、s3fsはややパフォーマンスに難があります。Goで書かれていてs3fsよりも高速に動作することを売りにした"goofys"というツールを見つけたので、早速試してみることにしました。 s3fs-fuse/s3fs-fuse · GitHub GitHub - kahing/goofys: a Filey Sy... 続きを読む