Posted inデータベース

Elasticsearch: アプリケーション向けに強力な全文検索をゼロから構築する

Database tutorial - IT technology blog
Database tutorial - IT technology blog

全文検索は、単に正確な単語を見つけること以上のものです。それは文脈を理解し、誤字を処理し、関連性の高い結果を迅速に提供することです。例えば、「アップルパイのレシピ」を検索したときに、システムが「アップルタルトの作り方」や「パイ生地」を提案するのは、インテリジェントな全文検索が機能している魔法です。

MySQLやPostgreSQLのような従来のリレーショナルデータベースは構造化クエリに優れ、MongoDBのようなNoSQLオプションでさえある程度のテキスト機能を提供しますが、真に強力でスケーラブルかつニュアンスのある検索機能が必要な場合、しばしば不十分です。まさにここにElasticsearchのようなツールの輝きがあります。様々なプロジェクトで、私はMySQL、PostgreSQL、MongoDBを扱ってきました。それぞれトランザクションデータや柔軟なドキュメントストレージには強みがありますが、ユーザー向けに堅牢で高性能な検索エクスペリエンスを構築するためには、常にElasticsearchを選択しています。

クイックスタート（5分）

Elasticsearchを始めるのは、難しい作業である必要はありません。手軽に試すために、Docker Composeを使用します。これにより、ローカルインスタンスを起動し、シンプルなドキュメントをインデックス化し、わずか数分で最初の全文検索クエリを実行できます。

Elasticsearchとは？

Elasticsearchの核となるのは、分散型でRESTfulな検索・分析エンジンです。Apache Lucene上に構築されており、膨大な量のデータを驚異的な速度で保存、検索、分析することができます。強力なクエリ言語をサポートし、ペタバイト規模のデータを処理するために水平方向にスケールし、1秒あたり数百万のドキュメントを処理します。検索操作に特化し、綿密に調整された特殊なデータベースと考えてください。

DockerでローカルのElasticsearchインスタンスをセットアップする

Elasticsearchを自分のマシンで最も速く起動して実行する方法は、Docker Composeを使用することです。docker-compose.ymlという名前のファイルを作成し、次のコンテンツを貼り付けます。

version: '3.8'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.12.2
    container_name: elasticsearch
    environment:
      - xpack.security.enabled=false
      - discovery.type=single-node
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
      - 9300:9300
    networks:
      - es-net
  kibana:
    image: docker.elastic.co/kibana/kibana:8.12.2
    container_name: kibana
    ports:
      - 5601:5601
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
    networks:
      - es-net
    depends_on:
      - elasticsearch

volumes:
  esdata:
    driver: local

networks:
  es-net:
    driver: bridge

このセットアップでは、Docker Composeを使用してElasticsearchと、強力な可視化ツールであるKibanaの両方を設定します。xpack.security.enabled=falseの行に注目してください。これは、ローカル開発の便宜のためにセキュリティを無効にしています。重大なセキュリティリスクがあるため、本番環境ではこの設定を絶対に使用しないでください。

ファイルを保存したら、ターミナルを開いて次を実行します。

docker-compose up -d

完全に起動するまで1、2分かかります。docker-compose logs -f elasticsearchでログを監視するか、ブラウザでhttp://localhost:9200にアクセスして確認できます。成功すると、Elasticsearchノードに関する情報を含むJSONレスポンスが表示されるはずです。

最初のドキュメントをインデックス化する

それでは、データを追加してみましょう。Elasticsearchはデータを「ドキュメント」として保存します。これらは実質的にJSONオブジェクトです。これらのドキュメントは、「インデックス」にグループ化されます。これはリレーショナルデータベースのテーブルに似ています。

productsという名前のインデックスを作成し、ノートパソコンを表すドキュメントを追加します。

curl -X PUT "localhost:9200/products/_doc/1?pretty" -H 'Content-Type: application/json' -d'
{
  "name": "Super Fast Laptop",
  "description": "クアッドコアプロセッサと16GB RAMを搭載した高性能ノートパソコン。",
  "category": "electronics",
  "price": 1200.00,
  "in_stock": true
}
'

ここで、_doc/1はドキュメントのタイプ（現代のElasticsearchではほとんど非推奨ですが）を指定し、ドキュメントに1というIDを割り当てます。?prettyパラメータは、JSONレスポンスを読みやすくフォーマットします。ドキュメントがcreatedされたことを確認するレスポンスを受け取るはずです。

シンプルな全文検索クエリを実行する

ドキュメントがインデックス化されたので、検索してみましょう！descriptionフィールド内で「laptop」を検索する簡単なクエリを実行します。

curl -X GET "localhost:9200/products/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "description": "laptop"
    }
  }
}
'

hits配列の下に、「Super Fast Laptop」ドキュメントがリストされているレスポンスが表示されるはずです。このmatchクエリは、基本的な全文検索を示しており、descriptionフィールドに「laptop」という単語が含まれるドキュメントを正常に検出しています。

全文検索の深掘り

手早く実行した後、Elasticsearchがどのように検索を強力にし、その基盤となるメカニズムを探ってみましょう。

従来のデータベースが他の分野で優れている理由

私は個人的に、様々なプロジェクトでMySQL、PostgreSQL、MongoDBを広範囲に使用してきました。これらの各データベースシステムにはそれぞれ独自の利点があります。リレーショナルデータベースは構造化データや複雑な結合に優れており、NoSQLオプションはスキーマの柔軟性と高可用性を提供します。

しかし、真にニュアンスのあるスケーラブルな全文検索となると、しばしば不十分です。組み込みのテキスト機能は確実に改善されてはいるものの、通常、専用の検索エンジンが提供する言語的な深さ、大規模での生のパフォーマンス、関連性チューニングや複雑な集計のような高度な機能が不足しています。このギャップこそが、Elasticsearchが不可欠なツールとして確立される場所です。

コアコンセプト：ドキュメント、インデックス、シャード、レプリカ

  • Document（ドキュメント）：最もシンプルに言えば、ドキュメントはJSONオブジェクトとして構造化された実際のデータです。各ドキュメントは一意のIDを持ち、インデックス内に存在します。
  • Index（インデックス）：インデックスは、リレーショナルデータベースのテーブルと非常によく似ていますが、高速検索のために特別に設計された、類似のドキュメントの高度に最適化されたコレクションと考えてください。
  • Shard（シャード）：大規模なデータセットを処理し、処理を分散するために、インデックスはシャードと呼ばれる物理的なパーティションに分割されます。各シャードは自己完結型のLuceneインデックスであり、複数のノードにわたる水平スケーリングを可能にします。
  • Replica（レプリカ）：レプリカはシャードのコピーです。これらは2つの重要な目的を果たします。高可用性を提供すること（プライマリシャードが故障した場合、レプリカが引き継ぐことができます）と、複数のコピーに検索リクエストを分散することで読み取りパフォーマンスを向上させることです。

転置インデックス：検索の秘密兵器

Elasticsearchの驚異的な速度は、転置インデックスという巧妙な使用法から来ています。レコードをその場所に対応付ける従来のデータベースとは異なり、転置インデックスはすべての単語を、その単語を含むドキュメントに対応付けます。例えば、「quick brown fox」を検索すると、Elasticsearchはインデックスを素早く参照して「quick」に関連するすべてのドキュメントを検索し、次に「brown」、最後に「fox」に関連するドキュメントを検索し、これら3つの用語すべてを含むドキュメントを迅速に特定します。

アナライザー：より良い検索のためにテキストを変換する

テキストがインデックス化される前に、analyzerによって実行される分析と呼ばれる重要なプロセスが行われます。このプロセスにより、検索が柔軟で効果的になります。

  1. Character Filters（文字フィルタ）：これらは、HTMLタグ（例：<p>）の削除や特殊文字の置換など、生のテキストをクリーンアップします。
  2. Tokenizer（トークナイザ）：次に、トークナイザはクリーンアップされたテキストを個々の用語、つまりトークンに分割します。例えば、「quick brown fox」は [「quick」、「brown」、「fox」] のようになることがあります。
  3. Token Filters（トークンフィルタ）：最後に、トークンフィルタはこれらのトークンをさらに処理します。一般的な操作には、小文字化（「Apple」が「apple」と一致するように）、一般的な「ストップワード」（「the」や「a」など）の削除、ステミングの適用（単語を語幹に還元し、「running」、「ran」、「runs」がすべて「run」と一致するように）などがあります。

この多段階の分析により、柔軟なマッチングが保証され、「Apple」の検索で「apple」が見つかったり、「ran」が「run」と一致したりするようになります。

マッピング：検索データの構造化

Elasticsearchは「動的マッピング」を提供し、フィールドタイプを自動的に推論しますが、本番環境では明示的なマッピングを定義することを強くお勧めします。マッピングは、インデックス内のデータのスキーマとして機能し、いくつかの重要な側面を決定します。

  • フィールドのデータ型（例：全文検索用のtext、厳密なマッチング用のkeyword、integer、dateなど）。
  • 検索目的で各フィールドがどのように分析されるか（使用するアナライザ）。
  • 特定のフィールドがそもそもインデックス化されるべきかどうか。
# 例: 'products'インデックスの明示的なマッピング
curl -X PUT "localhost:9200/products?pretty" -H 'Content-Type: application/json' -d'
{
  "mappings": {
    "properties": {
      "name": { "type": "text", "analyzer": "standard" },
      "description": { "type": "text", "analyzer": "standard" },
      "category": { "type": "keyword" },
      "price": { "type": "float" }
    }
  }
}
'

この例では、nameやdescriptionのようなtextフィールドは包括的な全文検索のために分析され、categoryはkeywordとして定義されています。これにより、categoryは厳密で分析されていない値としてインデックス化され、ファジー検索ではなくフィルタリングや集計に最適です。

高度な使用法：より深い検索機能の活用

基本的なクエリを超えて、Elasticsearchは非常に正確で洞察に満ちた検索エクスペリエンスを作成するための豊富な機能セットを提供します。これらの強力な機能のいくつかについて掘り下げてみましょう。

複雑なクエリ：精度と柔軟性

ElasticsearchのQuery DSL（Domain Specific Language）は、信じられないほど具体的で柔軟な検索リクエストを構築する能力をあなたに与え、結果がどのように見つかり、ランク付けされるかを微調整できます。

match vs. match_phrase

  • match: このクエリは個々の用語を検索します。例えば、「fast laptop」をmatchで検索すると、「fast」または「laptop」を含むドキュメントが返されますが、必ずしも一緒に含まれているとは限りません。
  • match_phrase: 対照的に、match_phraseは用語の正確な順序を必要とします。match_phraseを使用して「fast laptop」を検索すると、「fast」の直後に「laptop」が続くドキュメントのみが返されます。これは正確なフレーズを検索するのに理想的です。
# 例: 正確な順序のためのmatch_phraseクエリ
curl -X GET "localhost:9200/products/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match_phrase": {
      "description": "quad-core processor"
    }
  }
}
'

boolクエリ：条件の組み合わせ

boolクエリは、複数の検索条件を論理演算子で組み合わせるための主要なツールです。must（すべての条件が一致する必要がある、ANDのようなもの）、should（少なくとも1つの条件が一致すべきで、関連性スコアに貢献する、ORのようなもの）、must_not（ドキュメントが一致してはならない、NOTのようなもの）、およびfilter（条件は一致する必要があるが、関連性スコアには影響しない、パフォーマンスのためにキャッシュされることが多い）などの句を使用します。

# 例: 「in_stock」で価格が1500未満の「laptop」を検索
curl -X GET "localhost:9200/products/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "bool": {
      "must": [
        { "match": { "name": "laptop" } }
      ],
      "filter": [
        { "term": { "in_stock": true } },
        { "range": { "price": { "lte": 1500 } } }
      ]
    }
  }
}
'

その他の強力なクエリタイプ

これら以外にも、Elasticsearchは様々な特殊なクエリを提供しています。fuzzyクエリを使用して誤字を許容したり（例：「laptopp」で「laptop」を検索）、wildcardクエリを使用して柔軟なパターンマッチングを行ったり（例：「win*」で「windows」や「winner」を検索）、rangeクエリを使用して数値または日付範囲に基づいてドキュメントをフィルタリングしたりできます（例：価格が100ドルから500ドルの製品）。

アグリゲーション：データの要約

アグリゲーションは、SQLのGROUP BY句と非常によく似ていますが、検索データに特化して最適化されており、検索結果から分析的な洞察を提供する強力な機能です。これらは、ファセット検索インターフェース（例：「カテゴリ別製品」や「著者別書籍」の表示）を作成したり、重要なメトリクス（カテゴリあたりの平均価格など）を計算したりするのに非常に役立ちます。

# 例: カテゴリ別に製品をカウントする
curl -X GET "localhost:9200/products/_search?size=0&pretty" -H 'Content-Type: application/json' -d'
{
  "aggs": {
    "products_by_category": {
      "terms": {
        "field": "category.keyword",
        "size": 10
      }
    }
  }
}
'

スコアリングと関連性

Elasticsearchは、TF-IDF（Term Frequency-Inverse Document Frequency）やBM25のような洗練されたアルゴリズムを使用して、与えられたクエリに対する関連性に基づいてドキュメントを自動的にスコア付けします。Term Frequency（TF）は、検索語がドキュメントに現れる頻度を示し、Inverse Document Frequency（IDF）は、その用語がすべてのドキュメントの中でどれだけ珍しいかを示します。

これらは関連性を決定する上で重要な要素です。boostingを使用することで、特定のフィールドや用語により重みを与え、最も重要な結果が上位に表示されるようにこのスコアにさらに影響を与えることができます。

言語サポート

多言語検索機能が必要なアプリケーションの場合、Elasticsearchは言語固有のアナライザーを通じて優れたサポートを提供します。例えば、englishまたはspanishアナライザーを使用すると、その言語に適したステミングルールが適用され、一般的なストップワードが削除されます。これにより、入力言語に関係なく、より正確で関連性の高い一致が保証されます。

実用的なヒント：開発から本番環境まで

ローカル開発から本番環境への移行には、慎重な計画が必要です。ここでは、堅牢なElasticsearchアプリケーションを構築および維持するための重要な考慮事項を挙げます。

データ取り込み戦略

データをElasticsearchに効率的に取り込むことは、最初の重要なステップです。いくつかの戦略が利用可能です。

  • クライアントライブラリ：Python、Java、Node.jsなどの言語用の公式クライアントライブラリは、直接的なアプリケーション統合に一般的に使用され、データが作成または更新されたときにインデックス化できます。
  • Logstash/Filebeat：これらのツールは、様々なソースからのログ、メトリクス、その他のデータストリームを取り込むのに最適であり、堅牢なETL（Extract, Transform, Load）機能を提供します。
  • Ingest Node Pipelines：Elasticsearch自体が、データをインデックス化する前に直接変換を実行できます。これらのパイプラインはElasticsearch内で設定され、解析、エンリッチメント、ドキュメントの操作などのタスクを処理できます。

以下は、インデックス作成と検索を示す簡単なPythonクライアントの例です。

from elasticsearch import Elasticsearch

es = Elasticsearch("http://localhost:9200") # Elasticsearchインスタンスに接続

if es.ping(): print("Elasticsearchに接続しました！")
else: print("Elasticsearchへの接続に失敗しました！"); exit()

doc = {
    "title": "最初の記事",
    "content": "これは全文検索とその機能についての素晴らしい記事です。",
    "author": "ITエンジニア"
}
es.index(index="blog_posts", id=1, document=doc)
print(f"ドキュメント1を'blog_posts'にインデックス化しました。")

search_query = { "query": { "match": { "content": "full-text search" } } }
results = es.search(index="blog_posts", body=search_query)

print("\n検索結果:")
for hit in results['hits']['hits']:
    print(f"  ID: {hit['_id']}, タイトル: {hit['_source']['title']}")

スケーリングとパフォーマンス

Elasticsearchは本質的にスケールするように設計されていますが、そのパフォーマンスを最適化するには戦略的な計画が必要です。

  • Sharding（シャード分割）：水平スケーラビリティのために、シャード分割を使用して複数のノードにデータを分散します。これは、大量のデータを処理するために不可欠です。インデックスが一度作成されると、そのプライマリシャードの数は変更できないため、最初から慎重に計画してください。
  • Replication（レプリケーション）：高可用性と耐障害性のためだけでなく、検索負荷を分散することで読み取りパフォーマンスを大幅に向上させるためにも、レプリカを実装します。
  • Hardware（ハードウェア）：I/O操作のために高速なSSDに投資し、Luceneのキャッシュのために十分なRAM（ノードあたり通常32-64GB）を確保し、特にインデックス作成や複雑なクエリのために十分なCPUパワーを提供します。
  • Monitoring（監視）：Kibanaの監視機能や外部ソリューションなどのツールを使用して、クラスターの健全性とパフォーマンスを継続的に監視します。インデックス作成レート、検索レイテンシ、JVMヒープ使用量などのメトリクスを追跡します。
  • Query Optimization（クエリ最適化）：クエリを効率的に構成します。先行ワイルドカード（*term）のようなリソースを大量に消費する操作は避け、常にスコアに影響しない句にはfilterコンテキストを使用します。これらはキャッシュ可能であり、はるかに高速です。

セキュリティに関する考慮事項

堅牢なセキュリティ対策が有効になっていないElasticsearchを本番環境にデプロイしないでください。

  • X-Pack Security：この組み込み機能は、認証（例：ユーザー名とパスワード）、認可（ロールベースアクセス制御、RBAC）、IPフィルタリング、および転送中および保存中のデータの暗号化に不可欠な機能を提供します。
  • Network Segmentation（ネットワークセグメンテーション）：Elasticsearchクラスターのポートへの直接的な外部アクセスを制限します。ファイアウォールの背後、プライベートネットワークセグメント内に配置します。
  • TLS/SSL：盗聴や改ざんを防ぐために、アプリケーション、Kibana、Elasticsearchノード間のすべての通信をTLS/SSL証明書を使用して暗号化します。

アプリケーションとの統合

Elasticsearchをアプリケーションに統合するには、通常、明確なパターンに従います。

  1. クライアントライブラリの選択：お使いのプログラミング言語（例：Python、Java、Node.js）に適した公式クライアントライブラリを選択します。
  2. データインデックス化：プライマリデータベースでデータが作成、更新、または削除されるたびに、そのデータをElasticsearchにプッシュするメカニズムを確立します。これは、同期的に、イベント駆動型アーキテクチャを通じて、または信頼性を高めるためにKafkaやRabbitMQのようなメッセージキューを通じて行うことができます。
  3. データ検索：ユーザーの検索クエリをElasticsearchに直接送信し、その高度な機能を活用します。
  4. 結果の表示：Elasticsearchからの検索結果を解析します。多くの場合、ElasticsearchからドキュメントIDのみを取得し、それらのIDを使用してプライマリデータベースから完全な正規データをフェッチし、ユーザーに表示します。

一般的な落とし穴とその回避策

  • シャードが多すぎる：シャード分割はスケーリングのためですが、小さすぎるシャードが多すぎると、かなりのオーバーヘッドが発生し、パフォーマンスが低下する可能性があります。妥当な数（例：インデックスあたり1〜5個のプライマリシャード）から開始し、慎重に計画してください。
  • 制御されていない動的マッピング：動的マッピングのみに依存すると、予測不能なフィールドタイプや検索動作につながる可能性があります。一貫性と最適なパフォーマンスを確保するために、本番インデックスには常に明示的なマッピングを定義してください。
  • レプリカの無視：レプリカの設定を怠ると、ノードが故障した場合にデータ損失とダウンタイムの深刻なリスクが生じます。本番環境では、常にプライマリシャードあたり少なくとも1つのレプリカを使用してください。
  • セキュリティギャップ：前述の通り、セキュリティ対策が施されていないElasticsearchクラスターを本番環境にデプロイしないでください。初日からセキュリティを優先してください。

Elasticsearchは、アプリケーション内に強力でスケーラブルな全文検索機能を実装しようとする人にとって、真に不可欠なツールです。その基盤となる転置インデックスと高度なアグリゲーションから、多用途なQuery DSLに至るまで、生データを実用的な検索の洞察に変えるための包括的なソリューションを提供します。

Docker Composeを使用してローカルインスタンスを起動するのは簡単で、そこからその豊富な機能セットを段階的に探索することができます。検索ソリューションを構築する際には、マッピング戦略、効率的なデータ取り込み、およびスケーリング、パフォーマンス、セキュリティのような重要な本番側面を慎重に検討することを忘れないでください。基本的なキーワード検索から、微調整されたインテリジェントな検索エクスペリエンスへの道のりは信じられないほどやりがいがあり、Elasticsearchはその道のりにおいてあなたの忠実な仲間としていつでも準備できています。

Share: