この記事は、はてなエンジニアアドベントカレンダー2016の12日目の記事です。 先日こういうツイートをしました。 Redisはキャッシュ用途のミドルウェアだと思わない方が良いと思う — songmu (@songmu) 2016年12月10日 言いたかったのは、Redisはキャッシュのためだけのミドルウェアだと誤解されがちなのですが実際はそうではないということです。実際、公式サイト を見に行くと以下の様なことが書かれています。 Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message broker. つまり、Redisは多彩なデータ構造を保持できるインメモリーのデータストアで、様々な活用法があり、キャッシュとして「も」使える、とい
ちょっとSocket.ioを導入する機会があったので、色々調査したのをメモしておきます。 Socket.ioとは node.jsのnpmとして提供されている、WebSocketを手軽に扱えるモジュールです。 多分すごい有名なので、だいたいみなさん知ってると思います。 他にはwebsocket-serverとかもあるんですが、こっちの方が有名ですかね。 特徴として、クライアントサイドのトランスポートがクロスブラウザなところでしょうかね。とても助かります。 詳しいところは公式サイトを見るといいと思います。 Socket.IO: the cross-browser WebSocket for realtime apps. すんごい出たばっかりの頃にも触ったことがあったんですが、今使ってみると機能がすごい増えててびっくり。 機能の紹介とかは他のサイトを見てもらうとして、備忘録的に自分がやった所なん
Redis を使って応答時間を半分にした話 はじめにはじめまして。 5月にFiNCに入社し、サーバーサイドの Rails エンジニアをやっている亀田と申します。 今回は、Redis を使ってチャットのパフォーマンスを改善した話について書きたいと思います。 チャットで起きていたパフォーマンス問題FiNCアプリにはチャット機能があります。ユーザー同士のコミュニケーションにも使えますし、お得情報の配信やユーザーのサポートなどでも利用しています。 その中で、ユーザーサポートの社内オペレーション用ツールに、（業務に支障が出るレベルではないものの）表示が重いという問題が発生していました。具体的には、対象となるルームのレコードを取得するために数百ミリ秒かかっており、レスポンスを返すまでに合計で1秒前後かかっているという状況でした。 分析をしてみたところ、インデックスを使って対象となるレコードを取得した後
Redis を冗長化したいなって思って探していたらこんなのを見つけたので試してみます。 「Highly Available Redis Cluster | Simplicity is the keynote of all true elegance」 最初は Pacemaker で構築しようと考えていましたが Redis の作者様が Sentinel をおすすめしていたのでこの構成を試してみます。 それぞれのバージョンは OS: CentOS 6.6Redis: 2.8.19HAProxy: 1.5.11Keepalived: 1.2.13図にするとこんな感じ Redis の Master / Slave は Sentinel でコントロールします。 Sentinel については「Redis Sentinelで自動フェイルオーバー」が詳しいです（ちょっと古いかもしれないけど）。 Redis
WebSocket を利用するアプリケーションは Pub/Sub サーバを使ってスケールアウトさせるのが一般的です。 今回は Redis の Pub/Sub 機能を使って Phoenix の WebSocket をスケールアウトさせてみます。 Phoenix で WebSocket 通信をさせる方法はコチラをご参照ください。 事前知識: WebSocket アプリケーションのスケールアウトについて 通常の Web アプリケーションにおけるスケールアウトは、サーバ台数を増やしてロードバランサでリクエストを分散させる、というのが一般的ですが、WebSocket アプリケーションではこの手法が使えません。 なぜかというと、WebSocket アプリケーションはコネクションをサーバ内で管理するステートフルな作りになっているためです。冗長化させたサーバにリクエストを分散させてしまうと、他サーバで接続
https://www.youtube.com/watch?v=rP9EKvWt0zo 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約1時間前 TwitterのYao Yuが、大規模サービスのキャッシュにおいてRedisを活用する取組みについて紹介しています。 1) Redisを採用している理由 キャッシュだけで、ストレージとしては利用していない。 主なところでは、Twitterのタイムラインで利用している。ホーム画面であれ、ユーザ画面であれ、タイムラインはTweetのインデックスなので、key/valueストア型のRedisを利用するケースとして最適。 以前はmemcachedを使っていたが、問題になったのは、タイムラインでおきるread/writeは、（ユーザが閲覧している範囲に追加反映するということなの
2024 Developer survey is here and we would like to hear from you!
古いキー oldname を新しいキー newname にリネームする。もし新しいキーがすでに存在する場合、上書きする。
AWS上で動くRailsアプリのページビューを保存する方法について書いていきます。 今回は基本的なことのみ書きますが、例えばブログのデイリーPVランキング、個別ページのPV数の推移グラフの作成などに応用出来ます。 RedisをAWSに追加 AWSには、 ElastiCache というRedisやMemcachedなどのNoSQL専用のサービスがあります。 新規Redisインスタンスの作成手順は簡単なので、他のサイトの記事を参考にしてRedisを追加してみてください。 僕は下のサイトを参考にしました Using AWS ElastiCache for Redis With AWS OpsWorks RedisをAWSに追加して、インスタンスの詳細画面に移動してください。 RailsでRedisを使う際に、画面のPortとEndpointを使用するので、Railsの環境変数に追加しておきましょ
rubyのgemにredis-objectsというredisのヘルパーgemがある。 今回、redisを使用して簡易なリアルタイムランキングを実装する機会があったのだけど、とても簡単にできたのでメモしておく。実用的ではないかもしれないが個人のシステムレベルなら使えるかもしれない。 さて、わかりやすくするために今回は記事のリアルタイムアクセスランキングを実装する場合を例にとる。 流れはこう。 Redisのsorted setを利用。 記事へのアクセスごと、記事IDをkeyにしてそのscoreをインクリメントする。 これだけ。 実装は以下のような感じ。ホストのセットは公式のREADMEに則った。 Gemfile gem 'redis-objects' initializers/redis.rb Redis::Objects.redis = Redis.new(:host => '127.0.0
_ RedisのPub/Subの遅いsubscriber問題 RedisのPub/Subを試していて、subscriber側の受信が遅いとredis-server上のキューが伸び続けて、メモリ使用量が増大し続けてしまう問題にはまった。 以下のようにひたすらpublisher側でひたすらデータを送るようにしておいて、 require "redis" require "json" redis = Redis.new(timeout: 0) redis.subscribe("foo") do |on| on.message do |channel, msg| i = msg.slice(/(\d+):/, 1) p i sleep(1.0) end end subscriber側で以下のようにsleepすると、どんどんredis-serverが太っていく。 require "redis" req
Let's make this absolutely clear. Russia Invaded Crimea, where the world did nothing, then Russia again Invaded Ukraine. If you support Russia's efforts in Ukraine, you can fuck off. I don't care where you come from, what your nationality, religion, etc. is, you can fuck off. No, for real. YOU DO NOT GET A LICENSE IF YOU AGREE WITH THE RUSSIAN GOVERNMENT. Let's make this absolutely clear. Israel i
I have a model class that caches data in redis. The first time I call a method on the model, it computes a JSON/Hash value and stores it in Redis. Under certain circumstances I 'flush' that data and it gets recomputed on the next call. Here's the code snippet similar to the one I use to store the data in Redis: def cache_data self.data_values = data_to_cache REDIS.set(redis_key,ActiveSupport::JSON
ユーザ情報のように ID をキーにした大量のデータを Redis で管理する場合、ひと工夫して Hash 型を使うと、単純に string 型を使った場合に比べてメモリ使用量が激減することを教わったので、追試してみた。 データモデル String 型を使う 各 ID のデータを Redis で管理する場合、素直にやるなら string 型で保存する。 > set object:123456 val123456 OK > get object:123456 "val123456" 非常に原始的なキーとバリューのペア。 Hash 型を使う Redis 2.2 以降では hash が機能改善され、フィールド数が一定数におさまり、フィールドのデータが一定サイズに収まると、メモリ使用量が平均して 1/5 に軽減されている。 Special encoding of small aggregate da
dstat が万能なのでredis infoのキーを眺められるプラグインをつくった。 redis-cli info の total_commands_processed を眺める場合。 DSTAT_REDIS_* な環境変数を設定することでなんでもできるし fluentd-plugin-dstatを使う場合には環境変数がいじりにくかったので同じディレクトリにある設定ファイルを使ってもいい。 # td-agent/templates/default/td-agent.conf.erb <source> type dstat tag dstat.<%= node[:hostname] %> option --redis delay 30 </source> <match dstat.*> type map tag "mapped." + tag time time record record[
Redis入門 インメモリKVSによる高速データ管理 Josiah L. Carlson, 長尾高弘（訳） KADOKAWA/アスキー・メディアワークス 3,740円 (3,400円+税) RDBに代わる高速なデータ管理システムであるRedisについて、基礎から、リアルタイムデータの前処理、インメモリ・データセットの管理、pub/sub（パブリッシュ/サブスクライブ）と設定まで解説。 関連サイト本書の関連ページが用意されています。 Redis入門Example code from the book内容紹介Redisとは「remote dictionary server」から名付けられたオープンソースのキーバリューストア（KVS）でNoSQLに分類されるものです。すべてのデータをメモリ上に保存するため処理が極めて高速です。VMwareがスポンサーに付き、Salvatore Sanfilipp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く