Amazon Aurora MySQL-Compatible Edition now supports a redesigned RDS Data API for Aurora Serverless v2 and Aurora provisioned database instances. You can now access these Aurora clusters via a secure HTTP endpoint and run SQL statements without the use of database drivers and without managing connections. This follows the launch of Data API for Amazon Aurora PostgreSQL-Compatible Edition for Auror
これは Livesense Advent Calendar 2022 DAY 4 の記事です。 こんにちは。アルバイト事業部エンジニアの@mnmandahalfです。 今日は先日開催された社内LT大会で話したネタを記事にしてみたいと思います。 VPoEだけが追い出された？！エンジニアLT大会を開催した話 - LIVESENSE ENGINEER BLOG TL;DR クロスアカウントで暗号化したRDSスナップショットを共有するときはCMKで暗号化した方がベター CMKを作るときのキーポリシーに注意しよう やりたかったこと ざっくり説明すると、以下の通りです。 本番環境（以下、AWSのproductionアカウント）のDBデータをステージング環境（以下、AWSのstagingアカウント）に日次で同期して利用したい その際、個人情報等にアクセスできないようにマスキング処理（例：データの削除、改
弊社では会社全体で１つのアカウントを共有していましたが「管理が面倒！どの部署がどれを使っているのかさっぱり分からん！」という苦情が増えてきたため、部署ごとにアカウントを分ける事になり Aurora 移行の作業を振られたため手順をまとめました。 AWS マニュアルを確認 マニュアル見てると手動スナップショットを共有するだけっぽいので簡単だな！と思っていましたが当然そんなに上手く行かず…デフォルトKMSキーで暗号化されていたため、別アカウントへの共有が不可になっていました。あと KMS キーも別途発行して別アカウントに共有しておく必要があるっぽい。 デフォルトの Amazon RDS 暗号化キーを使用しない、暗号化された手動スナップショットは共有できます。ただし、まず AWS Key Management Service (AWS KMS) キーを、スナップショットを共有するアカウントと共有す
Aurora MySQL バージョン 2 クラスターをバージョン 3 にアップグレードする際に注意すべき変更については、以下を参照してください。 アトミックデータ定義言語 (DDL) のサポート MySQL 5.7 から 8.0 への最大の変更の 1 つは、アトミックデータディクショナリの導入です。MySQL 8.0 より前では、MySQL データディクショナリはファイルベースのアプローチを使用して、テーブル定義 (.frm)、トリガー (.trg)、関数などのメタデータをストレージエンジンのメタデータ (InnoDB など) とは別に保存していました。これには、DDL オペレーション中に予期しない事態が発生した場合にテーブルが "孤立" し、ファイルベースとストレージエンジンのメタデータが同期しなくなるリスクなど、いくつかの問題がありました。 これを修正するために、MySQL 8.0 は
2.12.1 などの Aurora MySQL バージョン番号では、2 がメジャーバージョンを表します。Aurora MySQL バージョン 2 は MySQL 5.7 との互換性があります。Aurora MySQL バージョン 3 は MySQL 8.0 との互換性があります。 メジャーバージョン間のアップグレードでは、マイナーバージョンよりも広範な計画とテストが必要です。このプロセスにはかなりの時間がかかることがあります。アップグレードの完了後に、フォローアップ作業が必要な場合もあります。例えば、これは SQL 互換性の違いや、特定の MySQL 関連機能の動作方法の違いが原因で発生する可能性があります。または、古いバージョンと新しいバージョンでパラメータ設定が異なることが原因である可能性があります。 Aurora MySQL バージョン 2 からバージョン 3 へのアップグレード M
Amazon Aurora MySQL 互換エディション 使用に関する情報については、「Amazon Aurora MySQL の操作」を参照してください。利用可能なバージョンの詳細なリストについては、「Amazon Aurora MySQL のデータベースエンジンの更新」を参照してください。 Amazon Aurora PostgreSQL 互換エディション 使用に関する情報については、「Amazon Aurora PostgreSQL の操作」を参照してください。利用可能なバージョンの詳細なリストについては、「Amazon Aurora PostgreSQL の更新」を参照してください。 コミュニティデータベースと Aurora 間でのバージョン番号の違い Amazon Aurora の各バージョンは、MySQL または PostgreSQL の特定のコミュニティデータベースバージョン
Amazon Redshift で横串検索を使用することにより、オペレーションデータベース、データウェアハウス、データレイク全体のデータをクエリして分析することができます。横串検索機能を使用すると、外部データベースのライブデータの Amazon Redshift からのクエリを、Amazon Redshift と Amazon S3 環境全体のクエリと統合できます。横串検索は、Amazon RDS for PostgreSQL、Amazon Aurora PostgreSQL 互換エディション、Amazon RDS for MySQL、および Amazon Aurora MySQL 互換エディション の外部データベースと連携することができます。 フェデレーテッドクエリにより、ビジネスインテリジェンス (BI) およびレポートアプリケーションの一部としてライブデータを組み込むことができます。
Amazon S3 自分のアカウントのパスをクロールするか、または別のアカウントのパスをクロールするかを選択できます。フォルダにあるすべての Amazon S3 ファイルが同じスキーマを持つ場合、クローラーはテーブルを 1 つ作成します。また、Amazon S3 オブジェクトが分割されている場合、メタデータテーブルは 1 つしか作成されず、そのテーブルのパーティション情報がデータカタログに追加されます。 Amazon S3 と Amazon DynamoDB クローラーは、AWS Identity and Access Management (IAM) ロールをアクセス許可のために使用して、データストアにアクセスします。クローラーに渡すロールは、クロールされる Amazon S3 パスと Amazon DynamoDB テーブルにアクセスするためのアクセス許可を持っている必要があります。
ゼロ ETL は、ETL データパイプラインを構築する必要性を排除し、または最小限に抑える一連の統合です。抽出、変換、ロード (ETL) は、さまざまなソースからのデータを結合、クリーニング、正規化して、分析、人工知能 (AI)、機械学習 (ML) のワークロードに対応できるようにするプロセスです。従来の ETL プロセスは、開発、メンテナンス、スケールに時間がかかり、複雑です。一方、ゼロ ETL 統合では、ETL データパイプラインの作成を必要とせずに、ポイントツーポイントのデータ移動を円滑に行うことができます。また、ゼロ ETL を使用することで、データを移動することなく、データサイロ全体でクエリを実行できるようになります。 ETL について読む » ゼロ ETL 統合は、従来の ETL プロセスでのデータ移動に関する既存の課題の多くを解決します。 システムの増大する複雑さ ETL デ
AWS/RDS 名前空間には、Amazon Aurora で実行されるデータベースエンティティに適用される以下のメトリクスが含まれます。一部のメトリクスは、Aurora MySQL、Aurora PostgreSQL、またはその両方に適用されます。さらに、一部のメトリクスは、DB クラスター、プライマリ DB インスタンス、レプリカ DB インスタンス、またはすべての DB インスタンスに固有です。 Aurora Global Database メトリクスについては、「Aurora MySQL での書き込み転送の Amazon CloudWatch メトリクス」および「Aurora PostgreSQL での書き込み転送の Amazon CloudWatch メトリクス」を参照してください。Aurora パラレルクエリメトリクスについては、「Aurora MySQL の並列クエリのモニタリ
Amazon Aurora は、Amazon Redshift とのゼロ ETL 統合に対応しました。これにより、Aurora で扱うペタバイト規模のトランザクションデータに対して Amazon Redshift を使用し、ほぼリアルタイムの分析や機械学習 (ML) を実現します。Aurora に書き込まれたトランザクションデータは、数秒以内に Amazon Redshift で利用できます。そのため、複雑なデータパイプラインを構築および維持して抽出、変換、ロード (ETL) 処理を行う必要がありません。 また、このゼロ ETL 統合により、新規または既存の同じ Amazon Redshift インスタンス内にある複数の Aurora データベースクラスターのデータを分析可能です。これにより、多数あるアプリケーションやパーティション全体にわたる総合的なインサイトがもたらされます。トランザク
Amazon Aurora MySQL 互換エディション では、バックアップからデータを復元しないで、DB クラスターを特定の時刻までバックトラックできます。 バックトラックの概要 バックトラックは、指定した時間まで DB クラスターを「巻き戻し」ます。バックトラックは、DB クラスターをバックアップして特定の時点の状態に復元する操作に代わるものではありません。ただし、バックトラックは、従来のバックアップと復元に比べて、以下の利点があります。 簡単にエラーを取り消すことができます。WHERE 句なしの DELETE などの破壊的なアクションを間違えて実行した場合、サービスの中断を最小限に抑えながら、破壊的なアクション以前の時点まで DB クラスターをバックトラックできます。 DB クラスターのバックトラックは迅速に実行できます。DB クラスターを特定の時点の状態に復元するには、新しい DB
今更ながら、Aurora（MySQL 5.6 互換）上のデータをutf8からutf8mb4に変換することになったので、タイトルの通りSELECT INTO OUTFILE S3とLOAD DATA FROM S3を使ってテストしてみました。 この方法を選んだ理由 端的に言えば「他に思いついた方法に問題点があったから」です。 ALTER TABLEで文字コードを変える→長時間更新ロックが掛かる（db.r4.2xlarge で 300GiB 未満でも 10 時間！）・不意に失敗することがある（実際にエラーが出た） pt-online-schema-change を使う→ロック競合で詰まるのが怖い・トリガで拾えない更新がある gh-ost を使う→外部キーなどサポートしていない機能を使っている mysqldumpしたものをリストアする→時間が掛かる DMS を使う→そもそも DMS がutf8m
ｺﾝﾆﾁﾊ 後藤です。 当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2020』の 4日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2020 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。4日目のテーマは『Amazon Aurora』です。 目次 Amazon Auroraとは？ MySQLとPostgreSQLの互
Amazon Aurora Global Database 機能では、複数の AWS リージョンにまたがる複数の Aurora DB クラスターを設定します。Aurora は、プライマリ DB クラスターで行われたすべての変更を 1 つ以上のセカンダリクラスターに自動的に同期します。Aurora Global Database には、1 つのリージョンにプライマリ DB クラスターがあり、異なるリージョンに最大 5 つのセカンダリ DB クラスターがあります。このマルチリージョン設定により、AWS リージョン全体に影響を与えるような、まれな停止から迅速に復旧できます。また、すべてのデータの完全なコピーを複数の地理的場所に保持することで、世界中の広く離れた場所から接続するアプリケーションの低レイテンシーの読み取りオペレーションも可能になります。 Amazon Aurora Global Da
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く