NetflixのシニアパフォーマンスアーキテクトであるBrendan Gregg氏による、Linuxサーバにログインして60秒でまず調べることのまとめ。 パフォーマンス問題でLinuxサーバーにログインしたとして、最初の1分で何を調べますか？ Netflixには、多数のEC2 Linuxからなるクラウドがあり、そのパフォーマンスを監視したり調査したりするための数々のパフォーマンス分析ツールがあります。その中には、クラウド全体にわたる監視を行うAtlasや、オンデマンドにインスタンスの分析を行うVectorがあります。これらのツールは多くの問題を解決する手助けをしてくれますが、各インスタンスにログインし、標準的なLinuxパフォーマンスツールを実行する必要がある場合もあります。 この記事では、すぐ使えるはずの標準的Linuxツールを使いコマンドラインにおいて、最適化されたパフォーマンス調査を
ネットワークエンジニアなら「回線の実体＝レイヤーゼロ」を知っておこう：羽ばたけ！ネットワークエンジニア（11）（1/2 ページ） 日々、2000拠点を超えるネットワークの運用を手掛けていると、OSIの7階層モデルにないレイヤーゼロの話、つまり「回線」をいかに引くかという点をないがしろにできないことが分かる。今回はネットワークエンジニアが意外と知らないレイヤーゼロの基本について述べたい。 企業ネットワークの提案書や設計書にある「ネットワーク構成図」では、回線を1本の直線で表現することが多い。拠点を表す四角い枠に直線を1本引き、そこにルーターを接続する。もうすこし詳細な図では回線終端装置を表す箱をルーターの前に書く。日々、図を描くネットワークエンジニアは、線を1本引けば回線が引けたような気分になるかもしれない。 しかし、回線を現実に開通させるのはそれほど簡単ではない。はっきり言ってとても面倒で
builderscon 2018 の 9/7 セッションのスライドになります
今回は、ユーザが接続先を意識しないSSHプロキシサーバを作った話です。 SSHのユーザ名から動的に接続先ホストを決定し、SSH接続をプロキシします。 github.com 作った背景 比較的規模の大きなサーバ群を管理しており、そこに対して接続してくるユーザに特定のサーバを使ってもらいたい場合を考えます。 すなわち「ユーザtsurubeeには、ssh102サーバを使ってほしい」といったようにユーザとマシン間が紐づいている場合の一番単純な運用方法は、個々のユーザが接続先ホストの情報を知っていることです。 これでも問題ないのですが、何かしらのサーバ管理の理由でユーザに使ってもらいたいサーバが変更した場合、ユーザに通知するなどして意識的に接続先を変更してもらう必要があります。 このようなユーザとそのユーザに使ってもらいたいサーバの紐付け情報をサーバ管理側が一元的に管理して、ユーザに意識させることな
私たちが利用しているゲームやアプリ。そのほとんどは、24時間365日いつでも快適に使えることが当たり前です。しかしその裏には、“当たり前”を支えているプロフェッショナルがいます。インフラエンジニアです。 何らかのシステムを機能させるため、サーバーやミドルウェア、ネットワークなど統合的なアーキテクチャ基盤を構築・運用する。彼らがそうした業務に日々“フルスイング”し続けているからこそ、私たちはいつでもどこでもシステムを使うことができます。 システム＆デザイン本部IT基盤部第一グループ グループリーダーの漢 祐介（はた ゆうすけ）も、そんなインフラエンジニアの仕事の魅力にとりつかれ、自信の技術を磨き続けてきた1人です。 彼は、ライブ動画ストリーミングプラットフォーム「SHOWROOM（ショールーム）」やゲームやアプリの実況を生配信できるアプリ「Mirrativ（ミラティブ）」のインフラ基盤を担当
もう半年くらいフルDockerでmicroservicesなサービスを運用してるんですが、イマイチパフォーマンスを出し切れていないなという面がありまして、今回DockerホストのTCPカーネルパラメータを抜本的に見直しました。 そしたら劇的に症状が改善して、インスタンス数も削減できた上に安定してメシウマ状態になったので紹介します。実際効果があったのでチューニングポイントとしてはある程度正解であったと考えていますが、もちろん扱ってるアプリケーションの特性にもよるはずなので一つのケーススタディであることをご了承頂ければと。 前提 まずは今回のお話の前提を。こんな環境です。 EC2 c3.xlarge ホストはUbuntu（EC2 Optimized AMIは未使用） Docker 1.11.2 MySQL（HAProxy経由）やRedisへのデータストアの通信、各microservicesへの
ゲリラ豪雨はわずか10分で急激に川の水位を上昇させるため、数分の対応の遅れが致命的になることがあります。そこで、30秒ごとに更新され、10分後までの降水分布予報をリアルタイムに教えてくれる「超高速降水予報」が開発されました。 30秒更新10分後までの超高速降水予報を開始 | 理化学研究所 http://www.riken.jp/pr/press/2017/20170704_1/ 天気予報では、気象レーダが捉える降水パターンの動きを追跡し、将来もそのまま動き続けると仮定する「降水ナウキャスト手法」がとられることがありますが、この手法は平面の降水パターンを追跡するので雨粒の鉛直方向の動きを考慮しておらず、また予測精度が急速に低下するという欠点もあります。 そこで、理化学研究所 計算科学研究機構データ同化研究チーム、情報通信研究機構電磁波研究所、首都大学東京大学院システムデザイン研究科などの研究
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? （当日はesaのプレゼンテーションモードで発表しました） （pixiv night in Fukuoka #02 - ピクシブを取り巻く技術がわかる一夜！ - connpass の発表資料です） 自己紹介 各種SNSをcatatsuyでやっている かたついと呼ばれることが多い ピクシブ株式会社で開発基盤チームと広告チームの兼任 2014年度新卒（2013/10入社） pixivの__技術的な改善__が主な業務（後で詳しく） 単著『pixivエンジニアが教えるプログラミング入門（星海社新書） ピクシブ社内の非エンジニア向けのプログラミング
プロジェクト新規参入者のリードタイム短縮の観点から見る、品質の高いコードとアーキテクチャを保つメリット
Kyoto.js 12発表スライドです。 https://speakerdeck.com/fand/hurontoendonizhi-xu-woqu-rili-sufang-fa の続編です。
Googleのクラウドは間違いなく世界最大規模のコンピュータシステムです。膨大なハードウェアとソフトウェアから構成されるこの巨大なシステムを、同社はどうやってセキュアに保っているのか。そのことを解説したホワイトペーパー「Google Infrastructure Security Design Overview」が公開されました。 ホワイトペーパーには、Googleのデータセンターを構成するデバイスの1つ1つにまで独自のセキュリティチップを組み込んで正規のデバイスかどうかを相互に認証するという物理レベルのセキュリティから、何層のものロードバランサーからの情報を集約してDos攻撃を検知すると、その通信を破棄するといったDoS対策。 そしてマシンも従業員もサービスも包括するグローバルな名前空間など、きわめて広範かつ綿密なセキュリティ施策が説明されています。 クラウドがいかに高度なセキュリティで
5. プロセス遅延 (Processing Delay) パケット 出⼒先決定 ヘッダ書き換え フィルタリング QoS 統計情報取得 カプセル化 筐体内転送 • 伝送装置 • メディアコンバータ • スイッチ • ルータ • NAT装置 • 仮想化装置, IPsec, etc • 通信機器の⼊⼒インターフェイスで受信して 出⼒インターフェイスのキューへ送るまでにかかる時間 出⼒ キュー パケット ルータの例 暗号化 6. キューイング遅延 (Queueing Delay) • 通信機器の出⼒インターフェイスキューに⼊ってから 出⼒処理を⾏なうまでにかかる時間 出⼒キュー • 出⼒処理より速いペースでパケットが届くとキュー待ちが増える • 広帯域回線から狭帯域回線への転送、⼀時的な輻輳 (バーストト ラフィック) などへの対応 優先制御 キューイング スケジューリング 7. シリアル化遅延
さくらインターネットとピクシブが業務提携し、画像の変換・配信サービス「ImageFlux」を提供 〜ファーストユーザーとして、メルカリが利用開始〜 自社運営のデータセンターでインターネットインフラサービスを提供するさくらインターネット株式会社（本社：大阪市中央区、代表取締役社長：田中 邦裕）とイラスト投稿・交流サイト「pixiv」を運営するピクシブ株式会社（本社：東京都渋谷区、代表取締役社長：片桐 孝憲）は業務提携し、画像処理や画像配信において必要となる画像変換機能とコンテンツ配信をワンパッケージ化したサービス「ImageFlux（イメージフラックス）」を2016年12月13日より提供開始します。また、サービス契約前に全ての機能を試すことができる「無料トライアル」を併せて提供します。 「ImageFlux」は、レンタルサーバーやクラウドなどのインターネットインフラサービスやコンテンツ配信な
WebSocketの扱うサービスでは、長時間のコネクション、再接続処理、プロキシ、ロードバランサなど、インフラの面で多くの問題を抱えがちです。弊社のサービス「pixiv」の9周年企画でも、この問題に直面しました。 実際にそこで構築したインフラの事例をもとに、本運用に使えるWebSocketサーバの構成について、pixivインフラ部の南川からご紹介します。 * 9周年企画 “黒歴史”をロケットで宇宙に飛ばす pixiv黒歴史 そもそも WebSocket とは？ WebSocketはTCP上で動く双方向通信のための通信規格です。 Webページの読み込みで行われているような、クライアントがサーバにデータを要求し、サーバはクライアントにレスポンスを返すというHTTPの通信ルールとは違います。サーバと長時間コネクションを確立し、Socketのようにデータのやり取りを行います。そして、コネクションを
こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。 この記事に書かれる事 データ分析基盤としてBigQueryを使用した話と データ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。 データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳 マネーフォワードの家計簿は350万人以上のお客様に利用いただき、 アクセスログは日々2.500万件程度増えております。 サービス開始から
インフラについて、何となく理解しているつもりでも、「インフラとは何か？」と聞かれると、こういうものであると明確に答えるのは案外難しいものです。 そこで、インフラの基礎がわかるスライドシェアを10個ピックアップしてご紹介します。 インフラエンジニアの定義、インフラの基礎、手順書の書き方、インフラ自動化など、初心者から中級者向けの内容となっています。 Web業界で働くなら、システムの基盤となるインフラについて学んでおいて損はないはずです。
フロントエンドのパラダイムを参考にバックエンド開発を再考する / TypeScript による GraphQL バックエンド開発
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く