はじめに こんにちは。BEENOSのがれっとです。 AWS上にアプリケーションを構築する際、一般的なのはECS + RDSという組み合わせです。私も社内システムをそのような形で構築しました。 しかし、使わないときにもインスタンスが動き続けてしまうため、大量のトラフィックを捌かないアプリケーションにおいてはコストが見合わないものとなってしまいます。 そこで、ECS + RDSという構成からLambda + EFSの構成に社内システムを移行して、コスト削減した話を紹介します。 前提 以下の構成のアプリケーションを移行しました。 Blitz.js 内部に下記を使用 Prisma Next.js PostgreSQL テーブル数は12 (_prisma_migrationsテーブルを含めて13) AWS 構成図 移行前 移行後 リレーショナルデータベースを用いることが必須のアプリケーションを構築す
はじめに 数か月ほど前、住所の正規化が話題になりました。こちらの記事が特に有名ですね。 関連して、こちらの記事も話題になりました。 当時はほかにも色々な人が日本のヤバい住所の例をあげてくれて、とても楽しかったです。 実は弊社でもAddressianという住所正規化サービスを提供しています。初めて目にする変わった住所を見かけたら、とりあえず自社のAPIに投げてみて「おお、正規化できた」「すごい！」などといいながら遊んで働いています。 サービスは無料で利用できますが、今までは利用の手順が面倒でした。 ユーザー登録する APIキーを発行する 住所正規化APIを呼び出すプログラムを用意する（サンプルコードあり） プログラムを実行して住所を正規化する そこで、もっと気軽に住所正規化を試してもらえるように、ユーザー登録しなくても使えるデモ機能を作ってみました。 デモ機能の概要 住所正規化デモ画面 こち
こんにちは！POSグループのhktです。 こちらの記事は、「S3のコスト削減に失敗した話」の後編になります。 もしまだ前編をご覧になっていない方は、ぜひ読んでみてください。 さて、前編では、S3のコストを調査したところ、最も費用がかかっているのがPutObjectであることが判明しました。 今回は、S3のコストを削減するために、PutObjectの実行回数を減らすことはできないか検討しました。 PutObjectの実行回数を減らしたい POSグループが運用するAWSアカウントでは、ログデータをS3に保存するために、Kinesis Data StreamsをトリガーとするLambda関数が稼働しています。 具体的には、以下のような構成になっています。HandsPOSアプリからKinesis Data Streamsにログデータが送信され、Kinesis Data StreamsからLambd
Lambda 関数以外のターゲットにデータを送信したい、または送信する前にデータをエンリッチしたいという場合は、「Amazon EventBridge Pipes」を参照してください。 AWS Lambda 関数を使用して、Amazon DynamoDB ストリームのレコードを処理します。DynamoDB Streams では、Lambda 関数を使用して、DynamoDB テーブルが更新されるたびに追加の作業を実行することができます。 ポーリングストリームとバッチストリーム Lambda は、レコードの DynamoDB ストリームにあるシャードを 1 秒あたり 4 回の基本レートでポーリングします。レコードが利用可能になると、Lambda は関数を呼び出し、結果を待機します。処理が成功すると、Lambda は、レコードをさらに受け取るまでポーリングを再開します。 デフォルトで、Lamb
Lambda 統合を使用して API を構築するには、Lambda プロキシ統合または Lambda 非プロキシ統合を使用できます。 Lambda プロキシ統合では、Lambda 関数への入力は、リクエストヘッダー、パス変数、クエリ文字列パラメータ、本文、API 設定データの任意の組み合わせとして表現されます。選択する必要があるのは、Lambda 関数のみです。API Gateway により統合リクエストおよび統合レスポンスが自動で設定されます。一度セットアップすれば、API メソッドは、既存の設定を変更することなく進化できます。これが可能なのは、バックエンドの Lambda 関数が受信リクエストデータを解析し、クライアントに応答するためです。 Lambda 非プロキシ統合では、Lambda 関数への入力が統合リクエストペイロードとして指定されていることを確認する必要があります。クライアン
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 マウントターゲットの管理 ファイルシステム用に作成したマウントターゲットを使用して、仮想プライベートクラウド (VPC) の Amazon EC2またはその他の AWS コンピューティングインスタンスにファイルシステムをマウントします。ファイルシステムのネットワークアクセシビリティの管理とは、ファイルシステムのマウントターゲットの管理を指します。 Amazon EFS ファイルシステムを作成したら、マウントターゲットを作成できます。リージョンストレージクラスを使用する Amazon EFS ファイルシステムでは、 の各アベイラビリティーゾーンにマウントターゲットを作成できます AWS リージョン。1 ゾーンファイルシステムの場合は、ファイルシステムと同じアベイラビリ
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 チュートリアル: AWS Lambda 関数 EventBridge のスケジュールされたルールを作成する スケジュールに基づいて AWS Lambda 関数を実行するルールを設定できます。このチュートリアルでは、 AWS Management Console または を使用してルール AWS CLI を作成する方法を示します。を使用する AWS CLI が、まだインストールしていない場合は、「 AWS CLI バージョン 2 のインストール、更新、アンインストール」を参照してください。 スケジュールの場合、スケジュール式 EventBridge で 2 番目のレベルの精度を提供しません。cron 式を使用した最小の粒度は 1 分です。 EventBridge とタ
はじめに 初めまして！ 2022年の2月からクラウド事業推進部にジョインいたしました、太田有人（おおたありひと）と申します。 GIMLEサービスを提供するチームの一員として、本ブログの投稿をやっていくことになりました。 初回の投稿で緊張しておりますが、暖かく見守っていただけると幸いです(^_^) 現在、私はAWSを使ったシステムを作るプロジェクトにてお仕事しております。 その中で先日、S3にあるオブジェクトをLambdaで処理する設計の方法を考える機会がありました。 その時はS3イベントをトリガーとした場合とSQSを挟んだ場合の違いについてのお話だったのですが、 「他にどんなパターンが考えられるかな」という考えがふと頭によぎりました。 そこで今回は、S3バケットのオブジェクトをLambdaで処理する方法をいくつかピックアップして、それぞれの特徴などを書いていければと思います！ S3オブジェ
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 個人を特定できる情報 (PII) のための Amazon S3 Object Lambda アクセスポイントの使用 個人を特定できる情報 (PII) 用の Amazon S3 Object Lambda アクセスポイントを使用して、Amazon S3 バケットからドキュメントを取得する方法を構成します。PII を含むドキュメントへのアクセスを制御し、ドキュメントから PII を編集できます。Amazon Comprehend がドキュメント内の PII を検出する方法の詳細については、「PII エンティティの検出」を参照してください。Amazon S3 Object Lambda アクセスポイントは、AWS Lambda 関数を使用して、標準 Amazon S3 G
チュートリアル: S3 Object Lambda と Amazon Comprehend を使用した PII データの検出と編集 複数のアプリケーションおよびユーザーがアクセスするための共有データセットに Amazon S3 を使用する場合、個人を特定できる情報 (PII) などの特権情報を許可されたエンティティのみに制限することが重要です。例えば、マーケティングアプリケーションが PII を含むデータを使用する場合、データのプライバシー要件を満たすために、まず PII データをマスクする必要があります。また、分析アプリケーションで製造オーダーのインベントリデータセットを使用する場合、意図しないデータ漏洩を防ぐために、まず顧客のクレジットカード情報を編集する必要があります。 S3 Object Lambda と Amazon Comprehend により事前に構築された AWS Lamb
re:Invent 2018で発表されたLambda Layersを利用し、共通のコンポーネントを集中的に管理し、他アカウントのLambda関数から利用する方法を紹介します。 はじめに re:Invent 2018で発表されたAWS Lambda Layersを利用すると、複数のLambda関数が利用するような共通ライブラリを外出しして管理出来ます。 さらに、外出したレイヤーは、他のAWSアカウントからも利用出来ます。 今回は、作成したLambda Layerを他のAWSアカウントと共有する方法を紹介します。 ポイント Layerのバージョンごとに共有設定が必要 共有アカウントの粒度は個別・組織・全アカウントなど柔軟 リージョンをまたいだ共有はできない 作業の流れ 以下のステップでLambda Layerを他アカウントと共有します Lambda Layerの登録 同じアカウントのLambd
Lambda での同時実行は、関数が現在処理している未完了のリクエストの数です。利用できる同時実行コントロールには、次の 2 種類があります。 予約された同時実行 — これは、関数に割り当てられた同時インスタンスの最大数です。ある関数が予約済み同時実行を使用している場合、他の関数はその同時実行を使用できません。予約済み同時実行数は、最も重要な関数が受信リクエストを処理するのに十分な同時実行数を常に確保するのに役立ちます。関数に対して予約される同時実行を設定する場合には追加料金がかかりません。 プロビジョニングされた同時実行 — これは、関数に割り当てる、事前に初期化された実行環境の数です。これらの実行環境は、受信した関数リクエストに即座に対応できます。プロビジョニングされた同時実行数は、関数のコールドスタートレイテンシーを削減するのに役立ちます。プロビジョニングされた同時実行を設定すると、
Amazon RDS コンソールを使用すると、Lambda 関数と DB インスタンスとの接続を簡単に設定できます。多くの場合、DB インスタンスは VPC 内のプライベートサブネットにあります。アプリケーションで Lambda 関数を使用すると、プライベート DB インスタンスにアクセスできます。 Lambda 関数とマルチ AZ DB クラスター間の接続をセットアップする方法については、「Lambda 関数とマルチ AZ DB クラスターを自動的に接続する」を参照してください。 次の画像は、DB インスタンスと Lambda 関数の間の直接接続を示しています。 Lambda 関数と DB インスタンス間の RDS プロキシ経由の接続を設定して、データベースのパフォーマンスと耐障害性を改善できます。多くの場合、Lambda 関数は短いデータベース接続を頻繁に行い、RDS プロキシが提供す
AWS Lambda 関数を Amazon Relational Database Service (Amazon RDS) インスタンスに接続したいと考えています。 簡単な説明 注: 次の情報とステップは、Amazon RDS インスタンスを参照しています。ただし、この解決策は、仮想プライベートクラウド (VPC) にあるすべてのエンドポイントまたはデータベースにも適用されます。 Lambda 関数を RDS インスタンスに接続するには、接続を許可するようにネットワーク設定を行います。 設定は次の接続タイプごとに異なります。 同じ VPC 内の Lambda 関数と RDS インスタンス 異なる VPC 内にある Lambda 関数と RDS インスタンス セキュリティ上の理由から、RDS インスタンスを VPC 内に保持することがベストプラクティスです。パブリックデータベースの場合は、
Amazon S3 の Apache Iceberg テーブルへの Amazon Data Firehose ストリームの配信はプレビュー中であり、変更される可能性があります。 翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon Data Firehose でソースデータを変換する Amazon Data Firehose は Lambda 関数を呼び出して、受信ソースデータを変換し、変換されたデータを宛先に配信できます。Firehose ストリームを作成するときに、Amazon Data Firehose データ変換を有効にできます。 データ変換フローを理解する Firehose データ変換を有効にすると、Firehose は受信データをバッファします。バッファリングサイズのヒントの範囲は 0.2 M
Amazon Elastic File System (Amazon EFS) ファイルシステムをローカルディレクトリにマウントするように関数を設定できます。Amazon EFS を使用すると、関数コードは共有リソースに安全かつ高い同時実行数でアクセスして変更できます。 実行ロールとユーザーアクセス許可 ファイルシステムにユーザー設定の AWS Identity and Access Management (IAM) ポリシーがない場合、EFS は、ファイルシステムマウントターゲットを使用してファイルシステムに接続できるすべてのクライアントへのフルアクセスを許可するデフォルトのポリシーを使用します。ファイルシステムにユーザー設定の IAM ポリシーがある場合、関数の実行ロールには正しい elasticfilesystem 許可が必要です。
AWS Lambdaは、あらかじめ登録した関数を負荷に応じて同時に並列実行することでスケーラブルな処理を実現する仕組みを備えています。 例えばニュースサイトやオンラインストアなどで突発的なトラフィックが発生したとしても、AWS Lambdaを用いて構築することでオンデマンドで迅速にスケール可能となっています。 AWSは、このAWS Lambdaのスケール速度がこれまでよりも最大で12倍速になったと発表しました。 具体的な説明を「AWS Lambda 関数が大量のリクエストを処理する場合に 12 倍速くスケールできるようになりました 」から引用します。 まず、従来のスケール速度は1アカウントあたり最初の1分で500から300程度、その後毎分500ずつとなっていました。 最初の 1 分で 500～3,000 回の同時実行 (リージョンによって異なります) をアカウントレベルでスケールし、その後
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く