「君、今日からクラウド担当ね」 未経験者が1人で始めた、ファミマのAWS移行の舞台裏（1/2 ページ） 国内に約1万6000店舗、海外に約7300店舗を構える、コンビニ大手のファミリーマート。商品の在庫管理、宅配便の受発注管理、決済といった店舗システムを長年オンプレミスで運用してきたが、2017年末から段階的にクラウド（Amazon Web Services）に移行している。 ファミマで移行の責任者を務める土井洋典さん（システム基盤構築部 クラウド推進グループ マネジャー）は、当時クラウドは専門外だったが、上司から突然このミッションを任され、試行錯誤しながら業務に当たってきた。 当初は部下もおらず、たった1人でのスタートだったが、社内外を巻き込みながら移行に取り組んできた土井さん。その舞台裏ではどんな苦労があったのか。アマゾン ウェブ サービス ジャパンがこのほど開いたイベント「AWS S
先日開催されたAWS Summit Tokyo 2017、わたしもいくつかセッションを聴講してきたのですが、「DevSecOps on AWS - Policy in Code」というセッション1にてgit-secretsというツールが紹介されていました。 awslabs/git-secrets: Prevents you from committing secrets and credentials into git repositories これ以外にも、いくつかのセッションで言及されていたと思います。 git-secretsのことは以前から聞いてはいたのですが、自分自身があまりコードを書く環境にいなかったので、良くないとは思いつつも今まであまり気にしていませんでした。 ただ、AWSアクセスキーの漏洩が原因と思われる話を聞く機会はなかなか減りませんし、考えてみれば自分でも、AWSクレデ
#はじめに 個人アカウントは基本的に無料枠で運用しているので、少しでも請求がある場合はいち早く気づきたいです。 先日、とあるハンズオンイベントで使ったリソースを消し忘れて、最終的に$30ぐらい請求が来てしまいました。。。 CloudWatchで請求アラートは設定していますが、閾値超えが想定の場合、当然見逃すことになり、最終的な請求額に驚くハメになります。 これを防ぐためにLambdaで毎日SlackにAWS料金を通知することにします。 先日LambdaがPython3に対応したので、せっかくだし勉強がてらPython3で実装したい。 ネット上にはNode.jsでの実装例が多いようで、今回はこちらを参考にPython3で実装してみます。 #必要なもの Slack incoming-webhooks URL 取得についてはこちらを参考に 適当なchannel lambda-uploader r
こんにちは、VOYAGE GROUP システム本部の @s-tajima です。 PHPカンファレンス2016 の「老舗メディアが改善に取り組んでいる話」でもお話した通り、長年オンプレミス環境で稼働してきたECナビを、AWSに移転しようというプロジェクトが進行しています。 そしてなんと先日、約24時間のメンテナンスを経てECナビの本体(Webサーバ, 管理画面サーバの一部, データベースサーバ)がAWSに移転しました！ AWS移転において得た知見, 構築したシステム等は数多くありますが、今回はCloudFormationとTravis CIを用いて 生産的 で 安全 で 手軽 なAWSのCI環境を構築したお話です。 背景 ECナビは、500万人を超える会員を抱えたVOYAGE GROUPが運営している中でも特に大きなメディアの1つです。 今回、そんなECナビのインフラ調達期間の削減、検証環
今回は、まだ全然底が見えていないAuroraのガチンコ検証となります。公式資料に、発表当初の簡単な検証数値もありますが、自分でやらないと理解できない部分が多くあるためです。 既にAuroraにするだけで従来より速くなる説は有力ですが、なぜ速くなるのか、どのような点に注意を払って運用すべきなのか、といったことを理解するために、より局所的な検証をいくつか行って考察していきたいと思います。 目次 楽しい検証になって長くなりましたので、目次を置いておきます。 はじめに クエリのレスポンスタイム クエリキャッシュ CPU利用率とIOPSの性質 データ容量とストレージ性能の関係 インスタンスタイプとストレージ性能の関係 運用面の色々 何がボトルネックになるか はじめに いくつか前提的なものを。 ベンチマークは全て、sysbench を使ってテストデータ作成・ランダム参照／更新クエリを実行しています デ
8. AWS Gaming 70を超えるクラウドサービスを提供 AWS Gaming ENTERPRISE APPS DEVELOPMENT & OPERATIONSMOBILE SERVICESAPP SERVICESANALYTICS Data Warehousing Hadoop/ Spark Streaming Data Collection Machine Learning Elastic Search Virtual Desktops Sharing & Collaboration Corporate Email Backup Queuing & Notifications Workflow Search Email Transcoding One-click App Deployment Identity Sync Single Integrated Console Push
はじめに まずはおさらいです。 cloud-initでシェルスクリプトとcloud-configを同時に使うで書いた通り、User-Dataにはシェルスクリプトとcloud-init形式(cloud-config)が併記できます。 またAmazon Linuxのcloud-initの動きについて調べてみたに書いた通り、EC2がLaunchする時のcloud-init起動スクリプトの実行順序は以下のようになります。 cloud-init-local cloud-init cloud-config 各種サービスの起動 cloud-final で、じゃあ各起動スクリプトで読み込まれているcloud-initのモジュールは実際にはどういう順番で実行しているのか、確認してみました。 確認してみる User-Dataの内容は以下。シェルスクリプト、per-once、per-boot、per-insta
望月です。 当然のことですが、EC2を起動するとそれに付随してEBSも同時に作成されます。EC2の起動時にはタグ付けをしっかりする人が多いと思いますが、EBSのタグ付けを忘れてしまう方は多いのではないでしょうか。気づかないうちにタグ付けされないEBSが数十個、数百個になってしまい、お目当てのEBSを探すのに苦労したことがある人は少なからずいると思います。 そこで、その状態を解消するためにEBSに対してEC2のNameタグをもとにタグ付けをするスクリプトを書きました。 詳細 今回はRubyで書きました。実行にはAWS SDKが必要ですので事前にダウンロードしておきましょう。 $ gem install aws-sdk 今回は、以下の処理を行うようにスクリプトを書きました。 タグ付け対象のEBSは、EC2にアタッチされているEBSのみに絞る EC2のNameタグ、ない場合はインスタンスIDと、
Auroraがそこそこ浸透してきたように感じなくもないですが、そのわりに情報がまだ少なめなのは、それだけ従来のMySQLと変わりなく扱え、性能も十分満足いくものだろう、という証なのでしょうか。 中の人も、パラメータチューニングは済んでいるので、基本的にはスケールアップで対応してください、と申しているように、かなり良い調整がされているようです。しかし、インフラエンジニアというかエセDBAたるもの、何がどう調整されているかを具体的に確認しなくては気がすまないため、整理してみたわけです。 デフォルトの設定 パラメータグループについて Auroraのパラメータは従来と異なり、ノード毎の設定である『DB Parameter Group』と、クラスタ内共通の『DB Cluster Parameter Group』の２つに設定が分かれます。 必要に応じてクラスタの方に、文字コードやレプリケーション周りな
分割の基準を2つに絞っても、9パターンもありました。各構成を1つずつ見ていきましょう。 1. 単一のAWSアカウントを使う この構成パターンは、一見単純です。しかし、すべてのシステムを1つのAWSアカウントの中に構築するため、アカウント内の環境はかなり複雑になります。 1-1. 単一のAWSアカウント、単一のVPC default VPC以外のVPCを1つ明示的に作り、その中に複数のシステム、複数の環境を混在させる構成です 1-2. システムの種類と環境の用途でVPCを分割 システムの種類でVPCを分け、さらに本番用と開発用など環境の用途によってもVPCを分ける構成です 1-3. システムの種類でVPCを分割 システムの種類によってVPCを分けますが、開発環境や本番環境を1つのVPC内に構築する構成です 1-4. 環境の用途でVPCを分割 環境の用途によってVPCを分けますが、複数の異なる
あるシステムを、1人のユーザから1100万人以上にスケーリングするにはどのようにすれば良いのでしょうか。Amazonのウェブサービスソリューションアーキテクトである Joel Williams が AWS re: Invent 2015 Scaling Up to Your First 10 Million Users でスケーリング方法について素晴らしいプレゼンをしています。 AWS上級者のユーザには適さないプレゼンですが、AWS初心者やクラウド初心者、Amazonが次々と送り出す新機能の流れについていけていない人が始めるには素晴らしい内容だと思います。 おおよその見当は付いていると思いますが、このプレゼンはAmazonによって提供されているため、どの問題についても解決策として提案されているものは全てAmazonのサービスになります。amazonのプラットフォームの役割は、印象深く、分か
RedHat系におけるRPMパッケージを扱うYUM、Debian系におけるDEBパッケージを扱うAPT、これらはサーバー管理において重要なわけですが、絶妙な度合いで、おざなりに扱ってもわりとなんとか運用出来てしまう感があります。そのため今一度、こんな感じが今風のスタンダードじゃないっすかね（ｷﾘｯ という構成を説明してみます。 ぶっちゃけ、たいしたことないネタの集合体なので、タイトルに下駄を履かせました。 そもそもパッケージは必要なのか 言うまでもなく必須です。理由は、インストール物のファイル管理が容易になるのと、インストール時間を短縮できるからです。既存のパッケージでconfigureオプションが物足りない時や、RPMパッケージが存在しない場合は作成することになります。 最近はプロビジョニング・ツールによって全て自動化できるので、超簡素なコンパイルのものはレシピに落とし込んで終わりにした
Amazon Auroraというクラウド上のRDBMSサービスがある。2015年の7月末にGAロウンチしたばかりのサービスだが、世界各国のユーザに非常に好評のようだ。 https://aws.amazon.com/rds/aurora/ Auroraをどう見るか、でクラウドの受け入れ度合いや現状の把握に使えると個人的には感じている。個人としてはAuroraほど画期的なサービスはDBでは今までなかったし、RDBMSの歴史の新しい1歩として認識している。ただあまりのシームレスさ、移行容易性、利用の簡便さに凄さに逆に気づきにくい状況がおきている。結果としてマーケティング的なムーブメントにはなりにくい状況で、個人としてはむしろそれが望ましいとも思っている。静かに深く世の中を変えていく、そんなサービスだ。ちなみにグローバルではOracleやSQL Serverからの移行が後を絶たない。理由の多くは、
AWS のクロスアカウントアクセスを利用すると、 IAM ユーザを AWS アカウントごとに作成しなくても良くなり管理が容易になるのですが、 Switch Role する アカウントが多いと、履歴が 5 件しかないのでアカウントとロールを再入力しなくてはならないことが増えてきます。 ロールを切り替えるユーザーアクセス権限の付与 を見ると、 https://signin.aws.amazon.com/switchrole?account=YourAccountIDorAliasHere&roleName=pathIfAny/YourRoleNameHere とあります。 Alias は以下を例にすると Your_AWS_Account_ID です(参考: AWS アカウント ID とその別名)。 https://Your_AWS_Account_ID.signin.aws.amazon.co
新規事業の立ち上げにAWSを選択する こういう状況はままあるでしょう。最安というわけではないけれど、将来どんな開発が必要になるか全く想像できない新規事業立ち上げフェーズにおいて、多種多様なPaaSを提供してくれるAWSはとても魅力的。 さて、いざ、EC2インスタンスを立ち上げてアプリケーションをデプロイするわけだが、みなさん、ちゃんとネットワーク設計していますか？まさかデフォルトVPCでサービス運営なんてしてないですよね？ というわけでネットワーク設計をして、VPCを設定していくわけだが、何を作ればよいか決まっている事業フェーズならともかく、新規事業立ち上げフェーズでは「将来どんな機能が必要になるかわからない」という前提でネットワーク設計をしておかなければいけない。そこで、「例えばこんな設計はどうでしょう」という提案をしてみる。 IPレンジ設計 まずはVPCとサブネットを使ってIPレンジを
8. リレーショナルデータベースをもう⼀一度度考える • 今、データベースを再度度実装するならどうする か？ – 少なくとも1970年年代の⽅方法で実装はしない – AWSサービスを活かすことができ、スケールアウトが簡単で、 セルフヒーリングが出来るようなデータベースを作りたいと考 えた 10. Amazon Auroraの特徴 • MySQL5.6と互換性があるため既存のアプリケーションを簡単に移行可能 • ストレージが10GBから64TBまでシームレスに拡張 • 3AZに2つずつ、計6つのデータのコピーを保持 – S3にストリーミングバックアップを実施 • VPC内に起動 – Security GroupやNACLを使⽤用してアクセスコントロール可能 • Amazon Auroraは99.99%の可⽤用性を実現するように設計されている http://bit.ly/1LXB7Jq 1
TL;DR Terraform + GitHub + CircleCI + Atlas を用いてAWSの操作を自動化した 各ツールの役割は下記のような感じ Terraform => インフラへの変更ツール GitHub => .tfファイルのバージョン管理 CircleCI => CI、Terraformをawsに対して実行 Atlas => インフラの状態を記録するterraform.tfstateの管理 インフラの継続的デリバリー - naoyaのはてなダイアリーにて、言及されていた範囲(Route53の変更、Chefの適用)をAWSの操作全体に拡大した 背景 今までの問題点 AWSの各種操作がブラウザからポチポチ業… 手作業なので誤操作に気づきにくい。事故りやすい インフラの実構成がバージョン管理出来ていない ちなみにRoute53に関してはroadworkerを用いてコードで管理済
Ansibleを使って、AmazonLinuxに最低限の初期化をやってみました。 日本で利用しやすいように、最低限の初期設定とパッケージの更新を行っています。 AMI AmazonLinuxのAMIは以下を利用しました。 amzn-ami-hvm-2014.09.1.x86_64-ebs (ami-4985b048) 環境設定 (+ yum update) 言語と時刻の設定をします。 localeを変更 (ja_JP.UTF-8) リポジトリの自動更新を止める(repo_upgrade: none) 言語設定を変更(LANG=ja_JP.UTF-8) タイムゾーンを変更(ZONE=Asia/Tokyo) ローカルタイムを変更(Asia/Tokyo) yum update playbook playbookはこんな感じです。 gistはここに置いておきます。 https://gist.git
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く