どういうこと？/TL;DR AWS → Cloudflareに移行したら費用が99%削減できました。 対象読者 今CloudFront + S3で構築しているけど転送量に困っている人 Cloudflare R2を検討している人 (CloudFrontとCloudflareをよく間違える人) はじめに 元々、動画CDNの構築はCloudFront + S3で構築していました。 この構成の場合、課金ポイントは主に三つあります。 CloudFrontのアクセス数に対する課金: そこそこ(多量ではない) S3の保管に対する課金: 200GB程度 CloudFrontの転送量(Egress)に対しての課金: 数TB そのため、毎回イベントごとにかなり費用がかかる状態でした。 動画の数もアクセス数もそこそこではあったのですが、動画特有の転送量が非常に多い… そういった状態でした。 導入前夜 この時はち
サブリソース完全性 (Subresource Integrity, SRI) は、 (CDN などから) 取得したリソースが意図せず改ざんされていないかをブラウザーが検証するセキュリティ機能です。 SRI を利用する際には、取得したリソースのハッシュ値と一致すべきハッシュ値を指定します。 メモ: サブリソース完全性の検証において、サブリソースが埋め込まれる文書のオリジン以外から提供されたリソースについては、ブラウザーはオリジン間リソース共有 (CORS) を使用してリソースに追加のチェックを行い、オリジンがリソースがリクエストしたオリジンに共有されることを許可しているかどうかを確認します。 複数のサイトで使われるスクリプトやスタイルシートなどのファイルをコンテンツ配信ネットワーク (CDN) にホストすることにより、読み込みに必要な時間や通信帯域を減らすことができます。しかし、 CDN は
「CDN」（content delivery network）という言葉からは、Googleのような大企業がいくつもの巨大なハードウェアを管理し、1秒当たり何百ギガビットものデータを処理する様子が想像されます。しかし、CDNは単なるWebアプリケーションです。私たちのイメージとは違いますが、それが事実です。8年前に買ったノートパソコンを使って、コーヒーショップの席に座りながらでも、きちんと機能するCDNを構築できます。この記事では、これから5時間でCDNを開発しようとするときに、直面するかもしれないことを紹介します。 まずはCDNの機能を明らかにしておきましょう。CDNはセントラルリポジトリ（通称：オリジン）からファイルを吸い上げ、ユーザーに近い場所でコピーを保存します。初期のオリジンはCDNのFTPサーバーでした。現在、オリジンは単なるWebアプリとなり、CDNはプロキシサーバーとして機
JStreamによる、日本のCDNシェアに関する調査結果が公表されています。 JStreamブログは、CDNに関連する色々な調査結果をブログで公開していて面白いです。 日本のCDNシェアについて調査結果＠2017年10月 JStreamブログの「市場調査」タグ 2017年10月版国内CDNシェアの調査方法は、Webクローラーによるもので、DNSに登録されたCNAMEや、HTTPメッセージに含まれるレスポンスヘッダを解析して判定しています。 判定を行っている対象となるCDNは、Cloudflare、Akamai、CloudFront、CDNetworks、Incapsula、Limelight、Edgecast，国内CDN事業者（Accelia、IDCF、IIJ、J-Stream）です。 日本語サイトのCDNシェア comなど、jpドメインではない日本語のサイトでのCDNシェアは、以下のよう
最近何かと話題なCDNですが、そもそもCDNってなんだろう・・・どんなことに使えるんだろう？的なことを書いてみようと思います。 一応先に言っておくと、私はCDN業者に所属したことないのであくまでも利用者として見た時の話を書きます。 また、私の考えであり、様々なワークロードがあるなかでこれがすべてではありませんので、こんな考えもあるんだなぁぐらいに思ってもらえると助かります。 そもそもCDNってなんだろうか そもそもCDNはContent Delivery Networkの略であってCache Delivery Networkの略ではありません。 要はコンテンツをクライアントに対して高速・効率的に配信するためのネットワークです。 良くCDNといえばその成り立ちからキャッシュというイメージはありますが、重要な要素の一つではあるもののCDNの全てではありません。 さらに言えばAkamaiのInt
本日コーポレートサイトでお知らせした通り、Web版のメルカリにおいて一部のお客さまの個人情報が他者から閲覧できる状態になっていたことが判明しました。原因はすでに判明して修正が完了しております。また、個人情報を閲覧された可能性のあるお客さまには、メルカリ事務局より、メルカリ内の個別メッセージにてご連絡させていただきました。 お客さまの大切な個人情報をお預かりしているにも関わらず、このような事態に至り、深くお詫びを申し上げます。 本エントリでは技術的観点から詳細をお伝えさせていただきます。 2017年6月27日 CDNのキャッシュの動作について、CDNプロバイダと仕様について確認し検証を行いました。その結果一部記述に実際と異なる箇所があり、加筆修正いたしました。 概要 メルカリWeb版のコンテンツキャッシュをしているCDNのプロバイダ切り替えを行いました。 その際本来キャッシュされるべきでない
2ヶ月くらい前にCDNをAkamaiに切り替えたので、知見を公開。 (追記 2015年8月18日 私個人の認識不足で用語の使い方に問題があったので一部修正しました s/SLA 100%/高可用性構成/g) TL;DR Kaizen Platform, Inc.で利用しているCDNをAkamaiに切り替えた Akamaiはスタートアップでも利用出来るコスト感 高可用性構成のAkamaiを利用することでCDNの可用性というインフラエンジニア的に頭の痛い問題が減った CDN第一世代 AWS CloudFront CDN (-2015年1月) CDNにCloudFrontを利用 サービスで利用しているインフラのほとんどがAWSで稼働しており、 その関係でCDNもCloudFrontを選択。 CDN第二世代 CloudFront + CDN77 (2015年1月-5月) AWS CloudFront
世界有数の大規模CDN（Contents Delivery Network）事業者として知られるアカマイ・テクノロジーズ。今やその中身は動画に限らない。あらゆるトラフィックを高速に途切れさせることなく効率的にさばくインフラへと成長しつつある。その裏側に迫る。 2014年7月、アカマイ・テクノロジーズは消費者端末向けコンテンツ配信ネットワーク（CDN）において、23.1Tビット/秒という帯域（速度）を記録した。サッカーの2014 FIFAワールドカップの準決勝がブラジルで開催された日のことだった。 この数値は2Mビット/秒でエンコードされたパソコン向けHD（High Definition）ビデオストリームを1000万人以上に同時配信する帯域に匹敵する。言い換えると、データセンターに適用される10Gビット/秒の高速回線を50％の効率で使用すると仮定した場合、4620本の回線を運用したケースに相
CDNが単一障害点にならないようにするために ヌーラボでは 2010 年 Cacoo の商用サービスの開始に合わせて AWS における運用を開始しました。当時、運用環境として AWS を採択する決め手の一つになったのが CloudFront でした。その後も着々とエッジロケーションは増え、独自ドメインのサポートなど魅力的な機能も提供され、今ではヌーラボの全サービスの静的ファイルの配信で利用している、無くてはならないサービスとなっています。 その魅力の反面、CloudFront の障害は、アプリケーションそのものに問題がなくても、以下のような表示が崩れた画面が表示されて、ユーザが全くサービスを使えなくなるという、その影響が非常に大きいものです。また障害の原因が DNS やネットワークの経路における問題といった、私たちが直接解決しにくい領域にあることもしばしばです。 ただ、どんな事情であれ、障
2014年6月3日、CDNetworksは同社のCDNサービスがセキュリティ侵害を受け、それに伴いコンテンツの改ざんが発生したことを発表しました。ここではCDNetworksで発生したコンテンツ改ざんと、マルウェアが拡散された一連のインシデントについて改めてまとめます。 CDNetworksで発生したコンテンツ改ざんの全体まとめ 今判明している範囲でイメージに概要をまとめると次の通り。 個別事案まとめ 以下にまとめてました。 GMOペパボ、H.I.S、リクルートマーケティングパートナーズ JUGEMブログの改ざんについてまとめてみた Buffarlo 不正アクセスを受けマルウェアを配布していたBuffaloダウンロードサイトのホスティング元を調べてみた。 Aiming オンラインゲームサイトが不正アクセスを受け、更新ファイルがマルウェアにすり替えられていた件をまとめてみた。 インシデントタ
動画配信やサイズの大きなコンテンツを配信するときに用いられるのがCDN(コンテンツ配信ネットワーク)。多数の業者が参入して価格競争を繰り広げている中で、どのCDNを使うのが一番お得なのか、転送量を入力するだけで教えてくれるのが「CDN Calculator」です。 CDN Calculator - Compare and find the best and cheapest CDN out there http://www.cdncalc.com/index.html 使い方はカンタン、サイト上部のテキストボックスに毎月の転送量(GB/月)を入力するだけで、自動的に毎月のコストを算出してくれます。たとえば月間転送量が100GBだとKeyCDNを使えば4ドル(約393円)で運用可能。 GIGAZINEでCDNを使うとどうなるのか2013年度8月分のデータを使って計算してみると、KeyCDNだ
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
fladdictの非公式プロジェクト（いわゆる裏dicct）に、posemaniacs.com というサービスがある。 絵のデッサン素材を無料配信するサイトだけど、いつのまにやら老舗サイトに。気がついたら1日の転送量が30〜40GBまで膨れ上がっていた。あまりの負荷にホスト元のhetemlさんでアクセス規制、あわや閉鎖の危機の大ピンチ。わりと本気で、Pixivとか星海社とかマール社にサービス譲渡とかしようか悩んだ今日この頃でした。 そんな折、@ku_suke さんのご了解で導入してみた、CloudFlareというサービスが、全ての危機を救ってくれた。マジ多謝です。 どういうサービス？ CloudFlareはCDN（広域負荷分散システム）。世界5カ所にデータセンターを有し、データをキャッシュして各地に配信するこで負荷分散してくれる。いわゆるAkamaiの同類だけど、ものすごい特徴が１つある。
2月17日に赤坂で、Akamai Technologies社の創設者であり、MIT教授でもあるTom Leighton 博士によるプレス発表会が開催されました。 そこで発表された内容のうち、個人的に興味を持ったのは以下の項目です。 IPv6サービスに関して Ericsson 社との提携によるモバイル網への進出について DDoS 等による攻撃トラフィックに対処するためのコンサルティングと、それらの不正トラフィックによって発生したトラフィックに対して課金を行わない保険サービスの紹介 Leighton博士へのインタビュー さらに翌18日、Leighton博士への単独インタビューに伺いました。 主に前日の発表内容に関連した質問を行いましたが、それ以外にも幾つか興味があったことを聞いてみました。 以下、インタビューの内容です。 基本的にテープ起こしに近い状態ですが、Tom Leighton教授が英語
2010年9月にはてなの最高技術責任者（CTO）に就任した田中慎司です。はてなの技術全般を見ていく仕事をしています。現在の筆者が注目する技術の一つがクラウドで、はてなのサービスでも利用を始めています。クラウドの技術というと、アプリケーションの実行環境が取り上げられがちです。筆者も2010年3月にセミナーで講演したり、クラウドについてのエントリーを書いたりしました。今回は、クラウドの利用で見逃せないもう一つの部分、クラウドのストレージサービスを、クラウドの利用を検討するエンジニア向けに解説します。 ■ クラウドのストレージサービスとは はてなのようなWebサービスを実現するには、ざっくりいって2種類の環境を用意する必要があります。一つは、サービスを動かすためのアプリケーションを実行するサーバ環境で、もう一つがユーザからアップロードされる多数のコンテンツを保存するストレージ環境です。Micro
CirruxCacheはPython製/Google App Engine用のオープンソース・ソフトウェア。Googleは世界中にサーバを持ち、アクセス元にとって最も高速に応答できるサーバを選択してデータを返している。それはGoogle App Engineであっても変わらない。 管理画面はない 高速にデータを返すということは、ごくごくシンプルなCDN（コンテンツ・デリバリー・ネットワーク）と言うことができるかも知れない。その可能性を考え開発されているのがCirruxCacheだ。 CirruxCacheはGoogle App Engine上に立て、静的なコンテンツ（画像など）をキャッシュさせることで次回からのアクセスを高速化するものだ。TTLの設定も行われる。滅多なことでは更新されないコンテンツ（画像など）に対して用いるのが良いだろう。 設定はコードで行う。 キャッシュ可能なIPアドレス
開発部・システム運用グループの長野です。9月10日・11日に東工大大岡山キャンパスで開催されたPerlのカンファレンス、YAPC::Asia 2009に参加してきました。 昨年は2つのセッションをやらせて頂きましたが、今年は1つだけ発表をしましたので、資料を公開します 大規模画像配信とPerl SlideShareで公開しています。 大規模画像配信とPerl View more documents from kazeburo. 一部アニメーションを利用していますので、PowerPointもあわせて参照してください。 mixiの画像配信については、このブログや技術評論社様の雑誌等を通して何度か紹介していますが、今回は携帯向けの画像配信、特に画像の動的変換について取り上げました。 画像を扱うライブラリはいくつも種類があり、変換速度や変換後の画像に違いがあります、今回の発表ではその比較もしていま
はじめに 前回は、多くのユーザーが普段から扱っているであろうWindows環境を「Amazon EC2」のインスタンス上で構築する方法や、構築したWindows環境で日本語を利用できるようにする方法を紹介しました。 今回は、Amazon Web Servicesが展開するCDN（Contents Delivery Network）サービス「Amazon CloudFront」を使った、高速ネットワークによるコンテンツ配信の実現方法を紹介していきます。 今までの記事 第1回 「AWSの概要と登録手順」 第2回 「Amazon S3を使いこなしてみよう」 第3回 「Amazon EC2を動かしてみよう」 第4回 「Amazon EC2を実践的に使ってみよう」 第5回 「Amazon EBSを活用してデータをバックアップしてみよう」 第5回 付録 「クラウドとサーバーを同期できる便利ツール「S3
Akamaiさんでのセミナーに参加してきました。 個人的にはAkamaiさんと言えば「あまり一般的には知られていないけど使っていない人はほぼいない」企業というイメージがあります。 あまりに内容が楽しかったので、セミナーで色々質問しまくって聞いてしまいました。 想像以上に色々凄いと思いました。 ブロガーのyasuyukiさんが企画し、Akamaiさんにお願いして実現したプライベートセミナーでした。 元々はyasuyukiさんがAkamaiさんのセミナーを聞いて「面白い」とtwitter上で囁きまくっていて、その後「プライベートなセミナーやったら来ますか？」とのオファーを頂きました。 昔からAkamaiさんのCDN技術には非常に興味があったので「是非お願いします」とお願いしました。 セミナー参加者募集はyasuyukiさんのブログとtwitter上で行われ、16人の参加者がいました(アカマイさ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く