Synopsis This article introduces a new Apache Hadoop feature called S3Guard. S3Guard addresses one of the major challenges with running Hadoop on Amazon’s Simple Storage Service (S3), eventual consistency. We outline the problem of S3’s eventual consistency, how it affects Hadoop workloads, and explain how S3Guard works. Problem Although Apache Hadoop has support for using Amazon Simple Storage Se
A coworker was experiencing a strange problem with their Internet connection at home. Large downloads from most sites worked fine. The exception was that downloads from a Amazon S3 would get up to a good speed (500Mbps), stall completely for a few seconds, restart for a while, stall again, and eventually hang completely. The problem seemed to be specific to S3, downloads from generic AWS VMs were
AWS CLI がS3にアクセスする際にどのように Path-Style と Virtual Hosted-Style を使い分けるかをまとめます。 S3のアクセス形式2つ 名前解決動作 バケット作成直後に Virtual Hosted–Style でアクセスした場合の問題 AWS CLI はどちらの形式でS3にアクセスするか? DNS Compatible Check とは? DNS Incompatible なバケット名 dotを含むバケット名の対応 s3.addressing_style オプション リージョン違いのフォールバック まとめ S3のアクセス形式2つ S3 APIでアクセスするには以下2つの形式がある。(用語はドキュメントのまま) パススタイル (Path-Style): http://s3-ap-northeast-1.amazonaws.com/mybucket/pu
We’d like to give you some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on the morning of February 28th, 2017. The Amazon Simple Storage Service (S3) team was debugging an issue causing the S3 billing system to progress more slowly than expected. At 9:37AM PST, an authorized S3 team member using an established playbook executed a com
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。（ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。 システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ
AWS News Blog Amazon Aurora Update – Call Lambda Functions From Stored Procedures; Load Data From S3 Many AWS services work just fine by themselves, but even better together! This important aspect of our model allows you to select a single service, learn about it, get some experience with it, and then extend your span to other related services over time. On the other hand, opportunities to make th
AWS Key Management Service(AWS KMS)は、ユーザーが管理する鍵を利用してAmazon S3に保管するデータの暗号化を行うことが出来ます。暗号化を実装する主要な方法は、サーバサイド暗号化(SSE)とクライアントサイド暗号化(CSE)の２つで、そのそれぞれについて複数のインターフェースやAPIが選択可能です。この記事では、KMSの鍵を使ってS3のオブジェクトをSSEで保護するためのAWS REST APIの利用法についてお伝えします。AWS SDKを使うのに対して、クロスプラットフォームのコードを開発しようと考えていたり、アプリケーションの中でAPIの利用をコントロールしたい場合にはネイティブなREST APIを使うことはより良いオプションになりえます。 REST API コール認証の概要 AWS REST APIコールを行う際にクリティカルな要素の一つは、リク
AWS News Blog S3 Lifecycle Management Update – Support for Multipart Uploads and Delete Markers It is still a bit of a shock to me to realize that Amazon S3 is now ten years old! The intervening decade has simply flown by. For several years, you have been able to use S3’s Lifecycle Management feature to control the storage class and the lifetime of your objects. As you may know, you can set up rul
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New Seventh-Generation General Purpose Amazon EC2 Instances (M7i-Flex and M7i) Today we are launching Amazon Elastic Compute Cloud (Amazon EC2) M7i-Flex
長らく VPS を使って WordPress で運用してきたこのブログですが、WordPress の更新もきつくなってきたのでここらで静的サイトに移行しようということで、重い腰を上げてHugoに移行してみました。合わせてホスティング先をAmazon S3にしました。 移行手順 メモ程度に残しておきます。 StaticPress で既存のブログコンテンツを HTML に吐き出す StaticPressという WordPress を静的コンテンツに変換するプラグインがあります。最初はこれを使ってホスティングしようかと思っていたのですが、WordPress の面倒をローカルですらみたくなかったので諦めました。ただ、ここで一度吐き出しておいた HTML から移行を行いました。 HTML をパースして必要な部分のみ Hugo 形式に変換 サイドバーとかは不要なので、コンテンツの本文相当の部分とコメン
I want to learn how to transfer the ownership of an Amazon S3 bucket from one AWS account to another by copying objects to a new bucket in the destination account. Resolution Because the bucket is always owned by the account that created it, you can't transfer Amazon S3 bucket ownership between accounts. Instead, copy Amazon S3 objects from one bucket to another to give ownership of the copied obj
よく訓練されたアップル信者、都元です。Amazon S3について細かい説明は不要かと思いますが、要するにファイルストレージです。HTTPベースでファイルをアップロードでき、そしてダウンロードできるサービスですね。 古くから、データはシリアライズされた形式でファイルという単位に格納し、管理されてきました。ローカルマシン内でファイルを管理する仕組みがファイルシステムで、その多くにはフォルダという階層構造を扱う仕組みが備わっています。 Amazon S3も、Management Consoleによってフォルダを作成し、その中にさらにフォルダを作成したり、ファイルを格納できたりします。しかし。 Amazon S3には実はフォルダという概念は無い のです。Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。例えば下記のようなフォルダ（と我々が認識している
aws ストレージの S3 は、一定期間が過ぎたオブジェクトのストレージを aws Glacier にすることができる。 Glacier にあるオブジェクトはリアルタイムに GET することはできないが、維持コストが安いため、バックアップデータのように普段は不要なデータの保存先に最適。 aws コマンドラインツールの aws cli を使って、バックアップ用の S3 バケットを作成し、特定の prefix のものは一定期間後に Glacier に保存。また、aws cli を使ってGlacier に保存されたオブジェクトをリストアする方法をメモ。 S3-Glacier 連携 以下のリンクを見れば、必要なことは書いてある [Blog]Amazon Web Services Blog: Archiving Amazon S3 Data to Amazon Glacier http://aws.
おはこんばんちは!! 尾藤 a.k.a. BTO です。 HDEのメールアーカイブシステムでは、月間1億6000万通ものメールを処理しています。 それだけのメールを処理するので、メールのデータ量も大変なものになります。 一方で、過去のメールに関しては、それほど頻繁にアクセスするものでもありませんので、できるだけコストを抑えたい。 そこでAmazon Glacierを使ってみてはどうかと考えたのですが、詳しく調査してみると、気をつけないと破産をしかねない危険なものでもあるのが分かりましたので、今回はそれを書きたいと思います。 Amazon Glacier とは まずは Amazon Glacier についてご紹介しましょう。 Amazon Galcier は平たく言うと、安価なストレージサービスです。安価である代わりに、取り出すのに3〜5時間かかります。 Glacier と S3 の料金は次
AWS Security Blog Writing IAM Policies: How to Grant Access to an Amazon S3 Bucket In this post, we’ll address a common question about how to write an AWS Identity and Access Management (IAM) policy to grant read-write access to an Amazon S3 bucket. Doing so helps you control who can access your data stored in Amazon S3. You can grant either programmatic access or AWS Management Console access to
インフラストラクチャー部 星野(@con_mame)です。 少し前から、一部レシピページに料理動画を掲載していました。当初はYoutubeを使用していましたが、本日から自社配信に切り替わりました。現在はまだ掲載数は少ないですが、今後掲載数を増やしていきたいと考えております。 そこで、今回は、動画配信プラットフォームの裏側がどうなっているかという点を簡単にですがご紹介したいと思います。 構成図 構成図を見ていただくのが一番わかり易いと思うので、最初に掲載します。 見て分かる通り、今回は全てAWSのサービスを使用して構築しています。 今回使用したサービスは エンコード: Elastic Transcoder データストア: DynamoDB + DynamicDynamoDB ストレージ・配信: S3 + CloudFront エンコード通知など: SNS 今回、構築までの期間とエンコードや動
はじめに コンテナイメージは index.docker.io にだけ保存出来ると思っていたら個人でもリポジトリを持てるらしい しかも、コンテナイメージを Amazon S3 に保存出来るらしいので課金に注意しつつ*1そちらで試してみる！ 尚、リポジトリの環境自体もコンテナイメージで配布されているのでそちらを利用する docker-registry は Gunicorn という python の WSGI HTTP サーバーで実装されている 参考 docker-registry S3-backed Private Docker Registry Deploying your own Private Docker Registry 準備 docker-registry コンテナイメージを pull してくる せっかくなんで docker クライアント for MacOS X でやってみる。 d
独自ドメインSSLだとCloudFront使えないから横綱無理だよねー、という話がありました。うん、確かにそうでした、執筆時点では…！ 本日2013/06/12、CloudFrontの独自ドメインSSL対応が発表（英語・日本語）されましたので、みなさん揃って横綱になればいいと思います。 よく訓練されたアップル信者、都元です。AWSを利用して構築した環境から、クライアント（モバイルやブラウザ等）に対してHTTPを使って静的なコンテンツを配信したいケースって、多いですよね。多いというか、むしろどんなシステムにも多かれ少なかれ、静的なコンテンツ配信があると思います。 スケーラビリティ・柔軟性・可用性・パフォーマンス・コスト 静的なコンテンツというのは、コンテンツをリクエストに応じて生成したりせず、完成品としてのファイルが手元にある状態です。例えば、多くのWebシステムにおいて、ほとんどの画像やJ
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く