ども、大瀧です。 ソフトウェア配布の手段として、Amazon CloudFrontは非常に強力です。CDNとして世界各地からのアクセスに対して良好なパフォーマンスが期待できますし、多数の同時アクセス負荷を分散させる効果も期待できます。さらにCloudFrontのオリジン(配信元)としてAmazon S3を利用すると、仮想マシンを実行することなくリーズナブルで可用性の高いソフトウェア配信基盤が構成できます。 ただ、S3はWebサーバーとしての機能は一般的なWebサーバーと比べて少ないため、用意されているオプションを理解しうまく活用することが重要です。そこで今回は、S3 Static Website Hostingのリダイレクトルールを利用してYumリポジトリの少し込み入った構成をご紹介します。 構成の概要 まずは、CloudFrontとS3の構成です。Linuxのソフトウェア配布方法としてよ
Amazon S3 では、バケットポリシーを使用して S3 汎用バケットに条件付き書き込み操作を強制できるようになりました。条件付き書き込みを強制することで、バケットにオブジェクトを作成する前に S3 にオブジェクトの存在を確認するよう義務付けることができるようになりました。同様に、バケット内のオブジェクトを更新する前に S3 がオブジェクトのコンテンツの状態を確認するように指示することもできます。これにより、特に同時実行が多い複数書き込みのシナリオで、意図しないデータ上書きを防ぐことができるため、分散アプリケーションを簡素化できます。 条件付き書き込みオペレーションを適用するために、s3:if-none-match または s3:if-match 条件キーを使用して、S3 PutObject および CompleteMultipartUpload API リクエストで HTTP if-n
はじめに現代のWebアプリケーションにおいて、ユーザが写真や動画などのファイルをアップロードする機能は、しばしば求められます。 本記事では、ファイルアップロードを実現するための一手段として、「署名付きURL」を利用した方式を取り上げ、その設計について詳しく解説します。 今回は、Amazon Web Services（AWS）を利用する前提のもと、このアプローチを探求していきます。 前半部分は署名付きURLをそもそもよく知らない方向けの導入部となっていますので、要点だけ抑えたい方は設計上のポイントから読まれることをお勧めします。 ファイルアップロードの実現方式パターン署名付きURLの話をする前に、ファイルアップロード機能をWeb APIとして実現する方式について、いくつか代表的なものを紹介します。 Pattern 1. multipart/form-datamultipart/form-da
はじめに Presigned URL（*) などで、Amazon S3 へのアップロード処理を実装していると、大きなサイズのファイルをアップロードしようとしたときに、以下のような課題に直面することがあります。 一回のPUT リクエストでアップロードできるサイズの上限が 5GB まで 単一の HTTP リクエストでアップロードするため、大きなサイズをアップロードしようとしたときに問題が起きる。例えば、アップロードの処理の途中で失敗したとき、最初からやり直しになる。 このようなときに活用したいのが、マルチパートアップロードです。マルチパートアップロードとは、その名の通り、アップロード対象のオブジェクトを小分けにしてアップロードする方法です。 AWS の SDK には、マルチパートアップロードが簡単に行えるような API が用意されているものの、多くは、S3 にアップロードを行うことができる I
いわさです。 本日 Amazon SES のメール受信機能を使用可能なリージョンが追加されたとアナウンスされました。 なんと、とうとう東京リージョンでも使えるようになりました。 これまでメール受信する仕組みを Amazon SES で使いたい場合でもその部分についてはバージニアかオレゴンを経由させていた方は多いのではないでしょうか。 今回東京リージョンのエンドポイントが追加されており、ポリシーなどで海外リージョンが使えない場合でも Amazon SES でのメール受信を採用出来るようになりました。 Amazon SES のメール受信 Amazon SES でメール受信出来たのか？という方は以下の記事も参考にしてください。 用途としては一般的なメールクライアントで送受信するための用途ではなくて、受信メールを保存したり、そこから Lambda や SNS を経由して自動化を行う場合などがユース
はじめに S3へのアクセスを制御するために様々な機能がありますが、これらはIAMのアクセス制御と混同して考えられることが多く、両方の機能の関連について、質問を非常に多く受けています。 以前に S3のアクセス制御はまずシンプルに捉えて対応すべき という記事を書きましたが、この記事に書いたように、S3バケットポリシーとIAMポリシーには以下のような違いがあります。 S3バケットポリシーは、S3側で、エンティティから行われるアクセスの制御 IAMポリシーの場合、エンティティ側で、S3に対して行うアクセスの制御 このように、両者では設定箇所および制御する操作の矢印の方向が異なります。 基本はこの2つでS3バケットやオブジェクトに対するアクセス制御を行いますが、この2つに加えて、全く異なるアクセス制御の要素が加わることがあります。 その代表例と言える 「Presigned URL」 を今回は取り上げ
今回の要件としては、URLを時限式でexpireさせる事で、URLを叩けばいくらでもアクセス出来るのを防ぐ事を目的としています。 AWS構成 Amazon EC2 Amazon S3 Amazon CloudFront 事前準備 CloudFrontのOriginをS3に向けてあり、S3とCloudFrontのURLどちらを叩いても同じ内容が表示されている状態にしてあります。 テスト用に、Windows 7に標準で入ってる画像をアップロードしてあるので、アクセスしてみましょう。 どちらも同じ内容が表示されます。 実装 構想 期限付きのURLをEC2から発行し、CloudFrontを経由してS3からコンテンツを取得し配信する。CDP:Private Cache Distributionパターンというやつらしいです。 CloudFront、S3の設定変更 今はただアクセスするだけで表示されてし
今月誕生日を迎えたいわむ(@k_iwamu)です！徐々に1年経つのが早く感じます。。。 また1つ年を取りましたが、年齢だけじゃなくきちんとスキルセットも積み重ねられるよう引き続き頑張ります！ (Amazonのほしい物リストをブログに追加しようと思ったのですが、社内から野次が飛んできそうなので控えます。) さて、今回はS3の署名つきURL(presigned-url)を使ってブラウザから直接S3に画像をアップロードする仕組みを作ったので、紹介したいと思います！ 今回利用することになった理由 弊社でフロントエンドとバックエンド(API)を切り離して構成されているwebサービスがあります。 そのwebサービスで画像アップロード機能を実装することになりました。 画像アップロード機能では、ブラウザから直接アップロードするか、バックエンドを通じてアップロードするかで迷うことが多いと思います。 今回は、
TIGの伊藤真彦です。 AWS S3を利用してファイルをアップロード、ダウンロードするフロントエンドアプリケーションの実装を行ったのですが、その際ハマったポイントがいくつかあったのでまとめます。 LocalStackでS3を利用するAWSの機能をローカル環境で模擬するツールでお馴染みのLocalStackですが、AWS S3の機能も模擬できるようになっています。 docker-compose.ymlに設定を記述して、バックエンドAPIなど諸々のコンテナ群と一緒に利用するのが今日では一般的でしょうか。 docker-compose.ymlversion: "3" services: localstack: image: localstack/localstack:0.11.3 container_name: localstack ports: - 4566:4566 - 8080:8080
で、ディレクトリ構成はこんな感じにしました。 example-bucket ├ public │ ├ us-east-1:aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa │ ├ us-east-1:bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb │ │ ... │ └ userX └ private ├ us-east-1:aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa ├ us-east-1:bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb │ ... └ userX IAMポリシーの実装 以上に沿ったIAMポリシーを書くとこんな感じです。 { "Version": "2012-10-17", "Statement": [ { "Sid": "AllowPublicHomeListing
AWS News Blog Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 March 15, 2023 – You can now use S3 Object Lambda with Amazon CloudFront to tailor content for end users. August 13, 2024 – Added a note clarifying that, when following the walkthrough, you should not mark the Specify Lambda function version option that was added after this post was p
Amazon S3の正式名称は、Amazon Simple Storage Serviceです。Simpleを辞書で紐解くと、次のような言葉が出てきます。 1. 易しい、難しくない 2. 簡素な、簡略した、シンプルな 3. 質素な、地味な、豪華でない 4. 単一の、一つだけで構成される 5. 単純な、複雑でない 6. 〔人が〕気取らない、控えめな、見えを張らない 7. 〈軽蔑的〉〔知的レベルが〕単純な、ばかな 8. 〈軽蔑的〉教養がない、無知な 9. 〔人が〕素朴な、洗練されていない 10. 〔人が〕真面目な、誠実な、うそをつかない 11. 普通の、いつもの、ありふれた 12. 基本の、初歩の 13. ささいな、重要でない、つまらない 14. 《植物》単一の◆【対】compound 15. 《化学》〔化合物が〕単純な 16. 《言語学》〔文構造が〕単純な 引用元 英辞郎 on the We
大阪オフィスのYui(@MayForBlue)です。 S3+CloudFrontの構成で静的サイトを構築していてハマったところがあったので書き留めておきたいと思います。 CloudFrontのURLにアクセスしてもS3のURLにリダイレクトされる S3+CloudFrontの構成で静的サイトをホスティングしたのですが、CloudFrontで指定したドメインにアクセスしてもS3のオブジェクト自体のURLにリダイレクトされてしまう現象になりました。（今回はS3をオリジンサーバに設定して構築しました。） 例えば https://example.com/sample.html （CloudFrontで指定したドメイン） にアクセスしても https://example.s3.amazonaws.com/sample.html （S3のオブジェクトURL） にリダイレクトされてしまう状態です。 色々
Amazon Web Services ブログ Amazon S3 セキュリティベストプラクティスの実践（権限管理のポリシー) – 前編 はじめに AWS では、サービス毎にセキュリティのベストプラクティスを公式ドキュメントとして提供しています。本記事では AWS を利用したシステムのセキュリティの検討や実装に関わる皆様を対象に、AWS の代表的なストレージサービスである Amazon Simple Storage Service (S3) を題材にとりあげて、公式ドキュメントで紹介しているベストプラクティスの実装方法をできるだけ具体的に解説したいと思います。 IT セキュリティにおいては、一つの脆弱性や悪意がセキュリティ事故に直結しないようにシステムを多層的に保護する事が重要です。AWS においても、サービスが提供する機能を適所でご利用いただければ多層化されたセキュリティ保護策を、クラウ
Firelens + FluentBit を使って Datadog と S3(Firehose) にログを送る方法です。 今までは CloudWatchLogs, Lambda, StepFuntion を組み合わせて Datadog と S3 にログを送っていたのですが、Datadog にログを送る Lambda がたまにコケるので、Firelens と FluentBit を使ってログを送るようにしました。 Terraform を使って Fargate で Nginx を動かす まず、Terraform を使って Fargate で Nginx を動かします。 ファイル全文は こちら に上げてあります。 resource "aws_ecs_cluster" "nginx_cluster" { name = "nginx-cluster" } resource "aws_ecs_serv
先日1GB/1円 衝撃のAmazon Glacierを早速使ってみた - ku-sukeのはてなダイアリーという記事を書きました。ブコメとかで結構気軽には使えないよね―という意見があったのですが、先日S3経由での利用オプションができたので、割りと個人でも簡単に使えるようになったということでそのやり方を紹介してみようと思います。 S3経由でGlacierを使う新機能とは？ 普通の速度で使える方のクラウドストレージであるAmazon S3にファイルを保存すると、勝手にGlacierにファイルを送ってS3上にはショートカットのようなものだけを置く感じにしてくれるサービスです！ 一度S3に保管しますが、S3の利用料はほとんどかからず激安価格でGlacierに保管することができます。もちろん取り出しには数時間かかるという点は変わらないのですが、S3上でファイルの一覧が管理されているので、安心して利用
AWS Chatbot Now Integrates With Microsoft Teams I am pleased to announce that, starting today, you can use AWS Chatbot to troubleshoot and operate your AWS resources from Microsoft Teams. Communicating and collaborating on IT operation tasks through chat channels is known as ChatOps. It allows you to centralize the management of infrastructure and applications, as well as to automate and streamlin
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く