Copyright 2019 DELiGHTWORKS Inc. All Rights Reserved. Fate/Grand Orderにおける 大規模なデータベース移行と負荷試験 2019年6月14日 今井 守生 Copyright 2019 DELiGHTWORKS Inc. All Rights Reserved. 資料は公開予定です 本セッションでは以下の内容をお話します AWS Database Migration Serviceを使った大規模なDB移行事例（垂直分割→水平分割） 移行後に想定トラフィックを捌けることを検証するための負荷試験手法 弊社エンジニアが過去に2回、DB移行を主なトピックとした講演を行っています のでこちらもご参照ください これで怖くない！？大規模環境で体験するDB負荷対策～垂直から水平の彼方へ～ /甲 https://www.slideshare.n
Note ridgepole v3.0.0 Support Rails 8.0 (cf. #504) ridgepole v2.0.0 Support Trilogy (cf. #447) Support Rails 7.1 (cf. #441) Drop support AcriveRecord 6.0 (cf. #440) Drop support ActiveRecord 5.x in ridgepole v1.2.0. Partitioning is no longer supported in ridgepole v1.1.0. ActiveRecord 7.x has some incompatible changes. If you get unintended differences in datetime columns consider changing precisi
tl;dr RailsのコネクションプールとAmazon Auroraのフェイルオーバーの仕組みは相性が悪く、フェイルオーバー時に致命的な問題が発生する 解決方法の1つは、コネクションプールを使わないこと ただし、都度接続だと接続コストがかかる New Relicなどを使ってる場合は、自分の実装以外で使ってるコネクションまで都度接続になってしまう 別スレッドでDB操作を行っている場合、処理中であってもそのスレッドのコネクションまで切断されてしまう（Railsのコネクション破棄がプロセス単位のため） コネクションプールを活かしたままこの問題を解決できたので、その方法をご紹介します。ちなみにRails 4.2の話。 RailsとAmazon Aurora利用時のフェイルオーバー問題とは 詳しくはこちら qiita.com 問題が発生する状況をまとめると以下の通りです。 Amazon Auror
はじめまして、ハートレイルズの境 (@kazsakai) です。 色々あって今は長野県の伊那という、地理的には日本列島の中心らへんだけどあらゆる大都市から満遍なく遠い片田舎に暮らしています。(ちなみにアニメ聖地巡礼発祥の地だそうで) Kaizen Platformさんの社員ではなくパートナーという立場ではありますが、ほぼ最初期くらいから開発に関わっているエンジニアの一人として、今回こちらのブログにお邪魔させていただきます。 Rails の不要テーブルと migration ファイルを整理したい Kaizen Platformさんのプロダクトは日々着実に拡大を続けていて、githubの社内リポジトリ数も今や200を超えていますが、そんなKaizenのプロダクトも最初期には単一のRailsリポジトリからスタートしました。 最初期のプロダクト名「planBCD」にちなんだそのRailsリポジトリ
データベースの進化的設計 Martin Fowler Pramod Sadalage 原文(Evolutionaly Database Design) ここ何年かで私たちはアプリケーションの開発に即してデータベースの設計を進化させることを可能にする技法を編み出した。このことはアジャイルメソッドにとって非常に重要である。この技法は継続的インテグレーション及び自動化されたリファクタリングをデータベースの開発に適用し、かつDBAとアプリケーション開発者が密接に協力することによって成り立つ。この技法は開発中のシステムや既に開発されたシステムに対しても機能する。 変化に対応する 制限事項 プラクティス集 DBAは開発者と密接に協力し合う 全員が自分のデータベースインスタンスを保有する 開発者は共有マスターに頻繁に結合する スキーマとテストデータから成るデータベース すべての変更でデータベースのリファ
みんなのウェディングのインフラエンジニア横山です。 みんなのウェディングでは先日、データベースを RDS for MySQL から Amazon Aurora (以下 Aurora )へ移行しました。 この記事では移行の経緯や移行手順、移行後の感想についてまとめたいと思います。 移行の経緯 みんなのウェディングでは結婚式場口コミサイトのみんなのウェディングを運営しています。 本サービスではサービス開始当初から MySQL を利用しており、 AWS 移行時にも RDS for MySQL を選択していました。 今回、 Aurora 移行を決めた理由は以下の3つのメリットがあったからです。 1. リーダーエンドポイントによるリードレプリカの冗長化 Aurora にはリーダーエンドポイントという読み込み専用エンドポイントがあります。 https://aws.amazon.com/jp/blogs
はじめに この記事は ドワンゴ Advent Calendar 2017 - Qiita の15日目の記事です。 昨日の記事は ytanaka さんの Goadを使った負荷試験とパフォーマンス分析手法について - Qiita でした。 自己紹介 ドワンゴでニコニコ動画の開発をしています。 *1 去年もアドベントカレンダー書いてました→ LGTM画像を驚くほど簡単に作れるWebサービスをScalaで作る - Qiita DBすき yoshikyoto (Yoshiyuki Sakamoto) · GitHub うたかた/ヨシキ (@yoshiki_utakata) | Twitter 背景 昔々あるところに、以下のような構成のサーバーがありました Webサーバー（アプリケーションサーバー）とDBサーバーからなる。 DBに入っているデータはユーザーIDでシャーディングされている。*2 どのデー
4月にMySQL 8.0のUnicodeと日本語対応についてManyi Luさんとディスカッションする会があって、かなりいろいろ話してとてもよい会だった。その後いろいろ考えて感じてる懸念を端的に書き記しておく。 デフォルトのcollationがutf8mb4_0900_ai_ciになった これに関して僕は強い懸念を持っている。MySQL 8.0以前において、ふつうのWebアプリケーションなどで日本語を扱う場合、実用上デフォルトのutf8mb4_general_ciかutf8mb4_binの2択であったと思う。デフォルトがutf8mb4_general_ciなので新しく作られるアプリケーションは通常は濁点半濁点が区別される状態で世に出てくることになる。けどMySQL 8.0.1のデフォルトのutf8mb4_0900_ai_ciは濁点半濁点を区別しないので、将来ユーザー名を登録するところでバイ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
米Citusdataは3月24日、PostgreSQLを土台とする分散データベース「CitusDB」をオープンソースにすることを発表した。PostgreSQLを拡張することでSQLのスケールアウトを行うことを目的に開発したもので、同日最新版も公開している。 CitusDBは、スケールアウトするリレーショナルデータベースを目指して2012年にスタートしたプロジェクト。PostgresSQLをベースに、シームレスなシャーディングとテーブルの複製、高い可用性の実現、クラスタ構成のマシン間のSQLクエリ並列化などの開発を進めた。マルチ関係モデルを利用した分散クエリプランナーを採用している。 広域負荷分散（CDN）サービスのCloudFlareをはじめ、複数の企業がCitusDBを採用している。たとえばCloudFlareでは、400万以上の顧客のWebサイトからの100TB以上のデータに対してリア
31. レプリケーションスレーブに注意 (FIXED by 5.7.9) REPLICATION SLAVE権限の *他に* SELECT ON performance̲schema.* が必要 mysql> show slave statusG *************************** 1. row *************************** .. Last_IO_Errno: 1142 Last_IO_Error: The slave I/O thread stops becaus e a fatal error is encountered when it try to get the value of SE RVER_ID variable from master. Error: SELECT command denied to use r 'replic
「メディア芸術データベース(開発版)」にアクセスいただきありがとうございます。 2017年3月31日より、「メディア芸術データベース(開発版)」のURLを変更いたしました。 ブックマーク（お気に入り）に旧サイトを登録されている場合は、 新サイト（https://mediaarts-db.bunka.go.jp）へ変更をお願いいたします。 10秒後に自動的に新サイト（https://mediaarts-db.bunka.go.jp）に移動します。 Thank you for accessing the Media Art Database (Development Version). On March 31 2017, the URL for the Media Art Database (Development Version) changed. In ten seconds, you w
先日、 Goに初めて私のパッチが取り込まれ 、コントリビュータに仲間入りしました。 このパッチは、 database/sql.Stmt をヘビーに使った時に性能がだいたい16コア以上のコア数にスケールしないという問題を解決するものです。 こういった問題をどうやって調査するのかと、Goにパッチが取り込まれるまでの手順を紹介します。 背景 私は TechEmpower の FrameworkBenchmarks という、いろんな言語/フレームワークで同一のアプリを作ってベンチマークするというプロジェクトで、主にPython関連のメンテナをしています。 Goにも興味があるので、Ginというフレームワークを追加したりコードレビューに参加したりしています。 2014-05-01 に行われた前回のベンチマーク Round 9 では、 PEAK Hosting が実行環境に加わりました。この環境は、デュ
上津原です。 今回は、Couchbase Liteの機能のひとつである、LiveQuery機能を見ていきたいと思います。 LiveQueryとは、指定したクエリ結果に影響するデータ変更があった場合、自動で通知を出してくれる機能です。 例えば、すべてのドキュメントを呼び出していた時ならば、何かしらデータベースに変更（ドキュメントの追加、削除、更新）が行われた場合に通知が上がってくる、というものです。 これを利用することによって、 変更があった時にすぐに表示に反映する 変更があったらすぐに同期を行う などの対応などが可能になります。 コードはとってもシンプルです。 以下のようになります。 gist8143715 以上です。 KeyPathが「row」じゃなくて「rows」なのでそこに注意が必要です。 通知が取れれば、ここでpushするなり、表示を更新するなりやればリアルタイム反映が可能になりま
Atlas Device SDKs are deprecated. Refer to the deprecation page for details. Atlas Device SDK is a suite of app development tools optimized for data access and persistence on mobile devices. Use the SDKs to build data-driven mobile, web, desktop, and IoT apps. The SDKs provide tools to read and write Atlas data from devices. Your app can sync automatically with MongoDB Atlas and other devices usin
インフラストラクチャー部の成田（@mirakui）です。 Rails の OR マッパーである ActiveRecord ですが、みなさんどのように運用していますか？ ActiveRecord を使うと、 SQL を直接扱うことなく、抽象化された表現で RDB にアクセスできるので、アプリケーションの開発効率という観点ではメリットが大きいです。 一方で、 ActiveRecord が駆使されているアプリケーションをサーバに配置してプロダクションとして運用する立場からすると、いくつかの問題に突き当たります。 まずはクックパッド本体アプリケーションにおける、最新の rake stats をご覧ください。 +----------------------+-------+-------+---------+---------+-----+-------+ | Name | Lines | LOC
Recently Couchbase Lite 1.0 got released, and you can find anything about it at the Couchbase Mobile Developer Portal. As I’ve been quite interested in RubyMotion since some time, I decided to check how easy it would be to take CouchbaseLite for a spin on RubyMotion, and I have to say it is quite easy. Besides some small problems with RubyMotion handling of blocks everything worked as expected. Th
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く