AWS LambdaからAmazon Bedrockを呼び出す際、S3に保存したプロンプトファイルを参照させる | DevelopersIO

2024/03/04 11 users Lambda DevelopersIO 生成 コード 事前

AWS LambdaからAmazon Bedrockを呼び出す際、S3に保存したプロンプトファイルを参照させる はじめに AWS LambdaからAmazon Bedrockを呼び出す際、事前にS3バケットに保存したプロンプトファイルを参照させる方法をまとめました。 プロンプト部分のみをLambdaのコードから切り離すことで、コードの修正することなく、生成... 続きを読む

AWS Lambda でOpenAI の Whisper API を 認識精度の改善も含めて試してみた | DevelopersIO

2023/10/18 13 users DevelopersIO OpenAI whisper 改善

はじめに AWS LambdaでOpenAIのWhisper APIを試してみました。 OpenAIには音声データから文字起こししてくれる「Whisper」という音声認識モデルがあり、WhisperをAPIの形で呼び出すWhisper APIが存在します。日本語ももちろん対応してます。 今回は、AWS LambdaがS3バケットに保存された音声データを元にWhisper APIで文... 続きを読む

S3 on LocalStackをGoとFUSEを使ってMountする（WSL2） | フューチャー技術ブログ

2022/08/29 5 users FUSE localstack APIサーバ WSL2 ツール

はじめにTIG DXユニットの真野です。夏休み自由研究連載の5本目です。 ずっと気になっていた、go-fuseを用いて、LocalStack でローカル環境にエミュレートされるS3バケットをマウントするツールを開発しました。普段はWebのAPIサーバを中心に開発しているので、FUSEとはいえファイルシステムの知識が無く、トライ＆エラ... 続きを読む

AWS CLIを利用し、Amazon S3バケットのpre-signed urlsを取得してみました | DevelopersIO

2021/09/11 12 users DevelopersIO パケット オブジェクト 取得方法

こんにちは、イムチェジョンです。 今回のブログではS3バケットのオブジェクトを開くためにAWS CLIを利用してpre-signed urlsを取得してみました。 アジェンダ pre-signed urlsとは？ pre-signed urlsの取得方法 まとめ 1. pre-signed urlsとは？ すべてのオブジェクト及びバケットは基本的にプライベートだが、pre-sign... 続きを読む

Lambdaで6MBを超えるデータをReturnできなかったので、S3のPre-Signed URLを使った話 | DevelopersIO

2021/05/10 19 users DevelopersIO Lambda センサーデータ 対策

Lambdaで6MBを超えるデータをReturnできなかったので、S3のPre-Signed URLを使った話 IoT機器からセンサーデータを収集しています。 そのセンサーデータをAPI Gateway(+Lambda)で扱おうとしたところ、Lambdaのレスポンス上限6MB(同期実行時)に引っかかりました。 そこで、対策としてS3バケットのPre-Signed URLを使って... 続きを読む

Next.jsをサーバーレスでやっていくためのServerless Next.js Component - Sweet Escape

2020/11/27 17 users サーバーレス 挙動 Sweet Escape Next.js

今回は最近その存在感がますます上がっているNext.jsとサーバーレスの話です。 はじめに サンプルアプリ Serverless Next.js Component デプロイ 作成されるリソース CloudFrontのディストリビューション Lambdaファンクション S3バケット 大まかな挙動 できないこと まとめ はじめに この投稿は2020年10月22の21時から... 続きを読む

AdministratorAccess権限を持ったIAMユーザーでも閲覧できないS3バケットの消し方 - プログラマでありたい

2020/10/01 7 users プログラマ IAMユーザー 消し方

AWSのS3のマネジメントコンソールを見ていると、アクセスタイプで絞り込むことができることに気が付きます。絞り込みの条件として、「公開」や「オブジェクトは公開可能」など5種類あり、その中の一つに「エラー」というものがあります。今日は、このエラーというバケットが何者なのかというのと、それを無理やり消すた... 続きを読む

「AWS Toolkit for Visual Studio Code」がAmazon S3をサポート。VSCodeからS3バケットの作成やデータのアップロード、ダウロードなど可能に － Publickey

2020/08/03 11 users amazo Publickey AWS オープンソース 作成

「AWS Toolkit for Visual Studio Code」がAmazon S3をサポート。VSCodeからS3バケットの作成やデータのアップロード、ダウロードなど可能に Amazon Web Services（AWS）は、オープンソースのコードエディタVisual Studio Codeの拡張機能として提供している「AWS Toolkit for Visual Studio Code」の新機能として、Amazo... 続きを読む

[S3 Access Points]S3バケットのエンドポイントを作成しセキュリティレベルを分ける #reinvent ｜ Developers.IO

2019/12/05 11 users コンニチハ reinvent セキュリティレベル 千葉 以下

コンニチハ、千葉です。 S3 Access Pointsを利用すると、S3バケットに対しアクセスポイントを作成し、IAMポリシーを書くことができます。 丁度VPCエンドポイントのポリシーのように、アクセスポイント経由で記載したIAMポリシーが評価され適用されます。 例えば、以下のユースケースを考えます。 セキュリティレベル１の... 続きを読む

[アップデート] 同一リージョン内でS3バケットのレプリケーションが出来るようになりました！ ｜ DevelopersIO

2019/09/18 29 users レプリケーション DevelopersIO CRR パケット

待望のアップデートがリリースされました！S3 バケットの同一リージョン内でのレプリケーションです！ Amazon S3 introduces Same-Region Replication これまで異なるリージョンのバケットに対して Cross-Region レプリケーション(CRR)を行うことは出来ましたが、同一リージョンのバケットに対しても Same-Region レプリ... 続きを読む

Windowsフォームアプリの認証にCognitoを使ってみた - Qiita

2019/08/18 25 users Qiita Cognito 一連 AWSアカウント 前提

概要 Cognitoで準備したアカウントを使ってWindows Formアプリにログインする。 ログインを通過したら、CognitoからAWSアカウント（S3 参照権限付き）をもらって S3バケットの一覧を表示する。 前提 一連の認証ができる形をCognitoで作っておく↓ Cognito 組み込みWebページ＋S3だけで動的サイトを作る ここでは、以下の... 続きを読む

[AWS CDK(Cloud Development Kit)] スタック削除時にS3バケットも削除されるように設定する ｜ DevelopersIO

2019/08/13 11 users DevelopersIO CDK cfnスタック イシュー

コンニチハ、千葉です。 CDKの検証で、スタック環境を作成、削除をしていたのですが、cdk destroy を実行しても作成したS3バケットが残ってました。なぜだろう？と思い調査をはじめました。 背景 GitHubのイシューを見つけました。 S3のデフォルトは削除ポリシーがRetain(つまりCFnスタックを削除されてもバケットが残る... 続きを読む

S3の署名バージョン2(SigV2)の廃止スケジュールが延期、2020年6月以降も既存のS3バケットはSigV2が継続サポートとなりました！！ ｜ DevelopersIO

2019/06/14 87 users DevelopersIO すずき 延期 AWSチーム 既存

AWSチームのすずきです。 2019/06/24に予告されていた Amazon S3の 署名バージョン2 (SigV2) の廃止スケジュールについて、 AWSブログでスケジュール変更の告知がありましたので、紹介させていた […] 続きを読む

AWS Lambda(Python3.7)でPandocを実行する | ヤマムギ

2019/05/04 30 users Pandoc ECR ePub AWS Lambda 構成

昨日まで(AWS Batch) 昨日までは、Pandocを実行して、S3バケットにアップロードされたマークダウンをEPUBに変換するのに、AWS Batchを使おうと想ってました。 構成はこのような構成で、以下のブログに検証結果を書き残しました。 Pandocサーバーのコンテナイメージを作成する ECR(Amazon Elastic Container Registry)に... 続きを読む

EC2インスタンス内のログをCloudWatch LogsとS3バケットに保存してみた ｜ DevelopersIO

2019/02/14 82 users アプリケーションログ DevelopersIO 加藤 ロク

はじめに おはようございます､加藤です｡EC2の上で動くアプリケーションログを一時的にCloudWatch Logsに保管､長期的にS3バケットに保存というアーキテクチャを試してみました｡ こちらが概要図です｡ EC2インスタンスでCloudWatchエージェントを動かし､ログをCloudWatch Logsに転送します｡CloudWatch Logsのロググループか... 続きを読む

[Storage Gateway] EC2からS3バケットをNFSマウントしてみた〜2018年冬〜 ｜ DevelopersIO

2018/11/22 20 users 岩城 DevelopersIO NFS 備忘録 耐性

こんにちは、岩城です。 元道民なので寒さに耐性があるなどと知り合いの間では強がってはいますが、しっかりと寒いです。そして、しっかりと風邪をひきました。 さて、業務でEC2からS3バケットをNFSマウントする方法を調べる機会がありました。 実際に設定していく中で、いろいろと躓いたところがありましたので、備忘録... 続きを読む

S3バケットの操作権限をバケット名で制限する – 複数部署や複数ベンダー環境で役立つTips – ｜ Developers.IO

2018/09/21 7 users Tips Developers.IO バケット名 操作権限

コンニチハ、千葉です。 S3を複数部署や、複数ベンダーなど、色々な人が操作する場合に、このバケットはこの人しかさわれない、というような制限の方式を考えてみます。 EC2やRDSだと、リソースのタグをベースに権限を制限することができます。このタグが付いてたら、操作を許可するというIAMポリシーを書けます。 参考... 続きを読む

意図せず公開しているS3バケットはありませんか？〜S3アクセス権限設定を見直そう〜 ｜ Developers.IO

2017/11/19 49 users Developers.IO 自戒 西澤 アク きっかけ

西澤です。S3のアクセス権は適切に管理されていますでしょうか？大変恥ずかしながら私はお客様のS3バケットに対するアクセス権について不適切な設定をしてしまったことがあります。 先日、素晴らしいアップデートがありましたので、それをご紹介しつつ、この記事をご覧になった方がS3バケットのアクセス権を見直すきっかけになればと思い、自戒の意味もこめて、まとめ記事を書いておこうと思います。 S3への不適切なアク... 続きを読む

【新機能】CloudTrailでS3オブジェクトレベルのアクセスをロギングする ｜ Developers.IO

2016/11/30 14 users CloudTrail Put Delete ロギング 虎塚

こんにちは、虎塚です。 先日のAWSアップデートによって、CloudTrailで S3オブジェクトレベルのロギング ができるようになりましたので、ご紹介します。 これまでもS3バケットレベルでの操作はCloudTrailで記録できましたが、オブジェクトへのアクセスのロギングはサポートされていませんでした。 今回のアップデートで、S3オブジェクトのPutやDeleteといった操作がCloudTail... 続きを読む

独自ドメインを使ってAmazon S3で静的Webサイトをホストする - Qiita

2016/03/24 201 users サブドメイン Qiita サイジング スパイク Linux

何ができるのか S3バケットをまるごとWeb公開することができます Web公開できるのは静的コンテンツに限ります 独自ドメインも使用可能です。ただしZone Apex(サブドメインなし)の利用はドメインをRoute 53でホストしてる場合のみ可能です LinuxなどでWebサーバを立てる場合のように、サイジングやサーバ運用を行う必要はありません ある程度までのスパイクには耐えますが、xx砲対策など... 続きを読む

s3fsよりも高速に使えるgoofysを試してみた ｜ Developers.IO

2016/01/27 125 users 西澤 GitHub GitHub パフォーマンス s3fs

西澤です。S3バケットを直接マウントしてファイルシステムのように使いたいケースがありますが、s3fsはややパフォーマンスに難があります。Goで書かれていてs3fsよりも高速に動作することを売りにした"goofys"というツールを見つけたので、早速試してみることにしました。 s3fs-fuse/s3fs-fuse · GitHub GitHub - kahing/goofys: a Filey Sy... 続きを読む

オブジェクトストレージのAmazon S3、地域間レプリケーション機能「Amazon S3クロスリージョンレプリケーション」を追加 － Publickey

2015/03/25 20 users Publickey オブジェクトストレージ オブジェクト

Amazonクラウドでオブジェクトストレージの機能を提供するAmazon S3が、地域間でデータをレプリケーションする機能「Amazon S3クロスリージョンレプリケーション」を追加したことが発表されました。 Amazon S3クロスリージョンレプリケーションの機能は次のように説明されています。 この機能を有効にすることで、特定のS3バケット(もしくは特定のPrefix配下のオブジェクト)に対する... 続きを読む