翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ベクトル検索の概要

ベクトル検索は、インデックスの作成、メンテナンス、使用を基盤として構築されています。各ベクトル検索オペレーションは単一のインデックスを指定し、そのオペレーションはそのインデックスに限定されます。すなわち、1 つのインデックスに対するオペレーションは、他のインデックスに対するオペレーションの影響を受けません。インデックスの作成および破棄のオペレーションを除き、任意のインデックスに対して任意の数のオペレーションをいつでも発行できます。これは、クラスターレベルでは、複数のインデックスに対する複数のオペレーションが同時に進行する可能性があることを意味します。

個々のインデックスは、一意の名前空間に存在する名前付きオブジェクトであり、キー、関数などの他の Valkey および Redis OSS名前空間とは別のものです。各インデックスは、列と行の 2 つの次元で構造化されているという点で、概念的には従来のデータベーステーブルと似ています。テーブル内の各行はキーに対応します。インデックス内の各列は、そのキーのメンバーまたは部分に対応します。このドキュメント内では、キー、行、レコードという用語は同一のものであり、相互互換的に使用されます。同様に、列、フィールド、パス、メンバーという用語は本質的に同一のものであり、これらも相互互換的に使用されます。

インデックス付きデータを追加、削除、変更するための特別なコマンドはありません。むしろ、インデックス内のキーを変更する既存の HASH または JSON コマンドが、インデックスも自動的に更新します。

インデックスと Valkey および Redis OSSキースペース

インデックスは、Valkey キースペースと Redis OSSキースペースのサブセットで構築および維持されます。複数のインデックスは、制限なく、キースペースの素のサブセットまたは重複するサブセットを選択できます。各インデックスのキースペースは、インデックスの作成時に提供されるキープレフィックスのリストによって定義されます。プレフィックスのリストはオプションであり、省略した場合、キースペース全体がそのインデックスの一部になります。また、インデックスは、型が一致するキーのみをカバーするという点で型指定されます。現在、 JSONおよび HASHインデックスのみがサポートされています。HASH インデックスはプレフィックスリストの対象となるHASHキーのみをインデックス化し、同様にJSON、インデックスはプレフィックスリストの対象となるJSONキーのみをインデックス化します。インデックスのキースペースプレフィックスリスト内のキーのうち、指定されたタイプを持たないキーは無視され、検索オペレーションに影響を及ぼしません。

HASH または JSON コマンドがインデックスのキースペース内にあるキーを変更すると、そのインデックスは更新されます。このプロセスには、各インデックスについて宣言されたフィールドを抽出し、新しい値でインデックスを更新することが含まれます。更新プロセスはバックグラウンドスレッドで実行されます。これは、インデックスが最終的にキースペースの内容と一致することを意味します。そのため、キーの挿入または更新は、すぐに検索結果に表示されません。システム負荷および/またはデータのミューテーションが多い期間中は、表示できるようになるまでの遅延が長くなる可能性があります。

インデックスの作成は複数のステップからなるプロセスです。最初のステップは、インデックスを定義する FT.CREATE コマンドを実行することです。作成が正常に実行されると、2 番目のステップであるバックフィルが自動的に開始されます。バックフィルプロセスはバックグラウンドスレッドで実行され、キースペースをスキャンして、新しいインデックスのプレフィックスリスト内にあるキーを探します。見つかった各キーはインデックスに追加されます。最終的にはキースペース全体がスキャンされて、インデックス作成プロセスが完了します。バックフィルプロセスの実行中は、インデックス付きキーのミューテーションが許可され、制限はなく、すべてのキーのインデックスが適切に作成されるまではインデックスバックフィルプロセスが完了しないことに留意してください。インデックスのバックフィル中に試行されるクエリオペレーションは許可されず、エラーで終了します。バックフィルプロセスの完了は、そのインデックスについての FT.INFO コマンドの出力 (「backfill_status」) から判断できます。

インデックスフィールドの型

インデックスの各フィールド (列) には、インデックスの作成時に宣言される特定の型と、キー内の場所が含まれます。HASH キーの場合、場所は 内のフィールド名ですHASH。JSON キーの場合、場所はJSONパスの説明です。キーが変更されると、宣言されたフィールドに関連付けられたデータが抽出され、宣言された型に変換されてインデックスに格納されます。データが欠落している場合、または宣言された型に正常に変換できない場合、そのフィールドはインデックスから省略されます。次で説明するように、フィールドには 4 つのタイプがあります:

ベクトルインデックスアルゴリズム

2 つのベクトルインデックスアルゴリズムが提供されています。

両方のベクトル検索アルゴリズム (フラットおよび HNSW) は、オプションの INITIAL_CAP パラメータをサポートしています。このパラメータを指定すると、インデックス用にメモリが事前に割り当てられるため、メモリ管理のオーバーヘッドが削減され、ベクトルの取り込み速度が向上します。

のようなベクトル検索アルゴリズムは、以前に挿入されたベクトルの削除や上書きを効率的に処理しないHNSW場合があります。これらのオペレーションを使用すると、インデックスメモリ消費のand/or degraded recall quality. Reindexing is one method for restoring optimal memory usage and/orリコールが過剰になる可能性があります。

ベクトル検索のクエリ式

FT.SEARCH および FT.AGGREGATE コマンドにはクエリ式が必要です。この式は、1 つ以上の演算子で構成される単一の文字列パラメータです。各演算子はインデックス内の 1 つのフィールドを使用して、インデックス内のキーのサブセットを識別します。ブール結合子や括弧を使用して複数の演算子を結合し、収集されたキーのセット (または結果セット) をさらに拡張または制限できます。

ワイルドカード

ワイルドカード演算子であるアスタリスク (「*」) は、インデックス内のすべてのキーと一致します。

数値範囲

数値範囲演算子の構文は次のとおりです:

<range-search> ::= '@' <numeric-field-name> ':' '[' <bound> <bound> ']'
<bound>  ::= <number> | '(' <number>
<number> ::= <integer> | <fixed-point> | <floating-point> | 'Inf' | '-Inf' | '+Inf'

＜numeric-field-name> は、 型の宣言フィールドである必要がありますNUMERIC。デフォルトでは、境界は包括的ですが、先頭の開き括弧 [「(」] を使用して境界を排他的にすることができます。範囲検索は、Inf、+Inf、または -Inf を使用して単一のリレーショナル比較 (<、<=、>、>=) に変換できます。指定された数値形式 (整数、固定小数点、浮動小数点、無限大) にかかわらず、数値は比較を実行するために 64 ビットの浮動小数点に変換され、それに応じて精度が低下します。

@numeric-field:[0 10]                      // 0   <= <value> <= 10
@numeric-field:[(0 10]                     // 0   <  <value> <= 10
@numeric-field:[0 (10]                     // 0   <= <value> <  10
@numeric-field:[(0 (10]                    // 0   <  <value> <  10
@numeric-field:[1.5 (Inf]                  // 1.5 <= value

タグ比較

タグ比較演算子の構文は次のとおりです:

<tag-search> ::= '@' <tag-field-name> ':' '{' <tag> [ '|' <tag> ]* '}'

演算子のタグのいずれかがレコードのタグフィールドのタグのいずれかに一致する場合、そのレコードは結果セットに含まれます。<tag-field-name> によって設計されるフィールドは、型 TAG で宣言されたインデックスのフィールドである必要があります。タグ比較の例は次のとおりです:

@tag-field:{ atag }
@tag-field: { tag1 | tag2 }

ブール値の組み合わせ

数値演算子またはタグ演算子の結果セットは、ブールロジックを使用して組み合わせることができます。評価順序and/or. Parentheses can be used to group operators and/orを変更します。ブール論理演算子の構文は次のとおりです:

<expression> ::= <phrase> | <phrase> '|' <expression> | '(' <expression> ')'
<phrase> ::= <term> | <term> <phrase>
<term> ::= <range-search> | <tag-search> | '*'

語句に結合された複数の用語は「and」で結合されます。パイプ (「|」) で結合された複数の語句は「or」で結合されます。

ベクトル検索

ベクトルインデックスは、最も近い近隣と範囲の 2 つの異なる検索方法をサポートしています。最近傍検索では、指定された (参照) ベクトルに最も近いインデックス内のベクトルの数値 K が検索されます。これは、「K」に最も近い近KNN傍に対して相互に呼び出されます。KNN 検索の構文は次のとおりです。

<vector-knn-search> ::= <expression> '=>[KNN' <k> '@' <vector-field-name> '$' <parameter-name> <modifiers> ']'
<modifiers> ::= [ 'EF_RUNTIME' <integer> ] [ 'AS' <distance-field-name>]

ベクトルKNN検索は、 を満たすベクトルにのみ適用されます。<expression>これは、ワイルドカード、範囲検索、タグ検索、および/またはそれらのブール値の組み合わせなど、上記で定義された演算子の任意の組み合わせです。

範囲検索は、参照ベクトルから指定された距離 (半径) 内のすべてのベクトルを検索します。範囲検索の構文は次のとおりです。

<vector-range-search> ::= ‘@’ <vector-field-name> ‘:’ ‘[’ ‘VECTOR_RANGE’ ( <radius> | ‘$’ <radius-parameter> )  $<reference-vector-parameter> ‘]’ [ ‘=’ ‘>’ ‘{’ <modifiers> ‘}’ ] 
<modifiers> ::= <modifier> | <modifiers>, <modifier> 
<modifer> ::= [ ‘$yield_distance_as’ ‘:’ <distance-field-name> ] [ ‘$epsilon’ ‘:’ <epsilon-value> ]

コードの説明は以下のとおりです。

INFO コマンド

ベクトル検索は、統計とカウンターのいくつかの追加セクションで Valkey および Redis OSS INFO コマンドを拡張します。セクション SEARCH を取得するリクエストは、次のすべてのセクションを取得します:

search_memory セクション

search_index_stats セクション

search_ingestion セクション

search_backfill セクション

search_query セクション

ベクトル検索のセキュリティ

ACL (アクセスコントロールリスト） コマンドとデータアクセスの両方のセキュリティメカニズムが拡張され、検索機能を制御できます。個々の検索コマンドのACL制御は完全にサポートされています。新しいACLカテゴリ が提供され@search、既存のカテゴリ (@fast、@write、 @readなど) の多くが更新され、新しいコマンドが追加されます。検索コマンドはキーデータを変更しません。つまり、書き込みアクセス用の既存のACL機械は保持されます。HASH および JSONオペレーションのアクセスルールは、インデックスの存在によって変更されません。通常のキーレベルのアクセスコントロールは、これらのコマンドに引き続き適用されます。

インデックスを含む検索コマンドは、 を介してアクセスも制御しますACL。アクセスチェックは、キーごとのレベルではなく、インデックス全体のレベルで実行されます。これは、そのインデックスのキースペースプレフィックスリストに含まれているすべての可能なキーにアクセスするための許可がユーザーに付与されている場合にのみ、インデックスに対するアクセスがユーザーに付与されることを意味します。つまり、インデックスの実際の内容はアクセスを制御しません。むしろ、これは、セキュリティチェックのために使用されるプレフィックスリストによって定義されるインデックスの理論的な内容です。キーに対する読み取りおよび/または書き込みアクセスがユーザーに付与されているにもかかわらず、そのキーを含むインデックスにアクセスできない状況が容易に発生する可能性があります。インデックスの作成または使用にはキースペースに対する読み取りアクセスのみが必要であり、書き込みアクセスの有無は考慮されないことに留意してください。

MemoryDB ACLsで を使用する方法の詳細については、「アクセスコントロールリストによるユーザーの認証 (ACLs）」を参照してください。