こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com 目次 目次 はじめに Elasticsearchで全文検索を実現させる手順 全文検索のためのマッピング定義 Analyzerの構造 日本語対応のAnalyzer 日本語対応のためのプラグイン追加 kuromoji Analyzerを指定したマッピング定義の例 kuromojiプラグイン機能 カスタムしたAnalyzerのマッピング定義 Analyzerの動作確認 modeを選択した場合のマッピング定義の例 Analyzer適用の注意点 kuromoji以外の
Elasticsearch 初学者の中村です。 前回はElasticsearchで検索する方法を学びました。 今回は検索するためにElasticsearchがどのようにデータを管理しているか、転置インデックスやマッピング、アナライザについて書いてみます。 その2はこちら 転置インデックス Elasticsearchではドキュメントをindexする際、文字列を解析して転置インデックスを作成します。 転置インデックスとはRDBのインデックスと似て本の索引のような情報です。文字列に出現する単語を解析しそれがどのドキュメントに現れるのかをまとめます。 Alice and Bob exchange keys. Charlie and Bob do some math. 例えば上記2つの文字列で転置インデックスを作ると alice は1番のドキュメントに含まれる bob は1, 2番のドキュメントに含
aws-sdk-js(v2)を使うがうまくいかず 以下のAWS公式ドキュメントにあるようなコードでESへの接続を試みました。 しかし、AWS.Signersの型定義が存在しないため、TypeScriptではドキュメントと同様のコードでは実現できませんでした。これはissueもあがっています。 Missing Typescript Definition for HttpClient, as well as documentation · Issue #1278 · aws/aws-sdk-js aws-sdk-js-v3を使う 上記のissueのコメントにもありますが、aws-sdk-js-v3ではこれらの問題が解決されているとのことです。 さっそくaws-sdk-js-v3を使ってみたのですが、aws-sdk-js(v2)とは大きくSDKの構造が変わっていて、どうやってESに接続するための
はてなブックマークチームのid:taraoです。はてなブックマークでは、以前はオンプレミスなElasticsearchクラスタを運用していましたが、AWS上にAmazon Elasticsearch Serviceのクラスタを構築して切り替えました。この切り替えではクラスタの再構築に限らず、アップグレードやマッピングの変更にも使える一般的な方法を採用しました。 この記事では、その具体的な方法を紹介します。 一般的な方法を採用したい目的と背景 検討したクラスタ再構築や切り替えの方法 1. ローリングアップグレード 2. スナップショット・リストア 3. クラスタ横断レプリケーション 4. Reindex API 5. アプリケーションコードによる再インデキシング 目的・条件による取りうる方法のまとめ 採用した再インデキシング手法の詳細 ダブルライトをどのように実現するか 非同期ダブルライトの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く