DynamoDB でのベクトルインデックスの使用

方向を比較し、大きさを無視します。テキスト埋め込みモデルを用いたセマンティック類似性には COSINE を使用します。これらのモデルは意味を方向によってエンコードし、ベクトルの長さは異なる場合があります。例としては、Amazon Titan Text Embeddings や Cohere Embed などがあります。

COSINE は、以下のユースケースに最適です。

COSINE は、使用する関数が不明な場合の安全なデフォルトです。

DOT_PRODUCT は、方向と大きさ (ベクトルの長さ) の両方に影響を受けます。埋め込みモデルのドキュメントで類似度指標としてドット積を推奨している場合、またはベクトルの長さをランキングに影響させたい場合は、DOT_PRODUCT を選択します。

DOT_PRODUCT は、以下のユースケースに最適です。

埋め込みを単位長さに正規化することをお勧めします。正規化すると、DOT_PRODUCT は COSINE と同じ方法で結果をランク付けします。大きさがランキングに影響する場合にのみ正規化をスキップします。

ユースケースの例: 各製品の埋め込みを、人気度スコアでスケールする製品レコメンデーションシステム。人気のある製品では、ベクトルが長くなり、検索結果のランクが高くなります。

2 つのベクトル間の直線距離を測定します。EUCLIDEAN は大きさに影響を受けます。埋め込みスペースの絶対位置が重要な場合に使用します。

EUCLIDEAN は、以下のユースケースに最適です。

ユースケースの例: 画像の埋め込みからほぼ重複する画像を見つける。

ベクトルインデックスのパーティションキーは、独立したスケーリングのために、インデックスデータをパーティション分割します。ベクトルインデックスのパーティションキーを指定すると、同じパーティションキー値を持つ項目が一緒に保存されるため、システムは関連するデータのみを検索できます。大規模な場合、検索はインデックス全体ではなくベクトルスペースのサブセットのみを調べるため、検索レイテンシーが短縮されます。Category や Country など、低〜中程度のカーディナリティの属性を使用します。最大 1 つのベクトルインデックスのパーティションキーを指定できます。

SearchSchema でベクトルインデックスのパーティションキーを定義する場合は、SearchVectors を呼び出すときに SearchConditionExpression でその値を指定する必要があります。

インラインフィルター属性はベクトルインデックスに射影されるため、DynamoDB はストレージレイヤーでの検索中にフィルタリングできます。

インラインフィルターは、SearchConditionExpression において等価演算子 (=) をサポートしています。比較、範囲、および集合メンバー演算子 (<>、<、<=、>、>=、IN) はまだ利用できません。ベクトルインデックスのパーティションキーとは異なり、インラインフィルターは検索時にオプションです。

ベクトルインデックスを持つテーブルで DynamoDB Streams を有効にするには、テーブルの作成時に StreamSpecification パラメータを使用するか、UpdateTable を使用します。ストリームは、ベーステーブルに対する項目レベルの変更をキャプチャし、ベクトルインデックスとは独立して動作します。

ベクトルインデックスをグローバルテーブルに追加できます。また、UpdateTable を使用してレプリカを追加することで、ベクトルインデックスを持つテーブルをグローバルテーブルに変換することもできます。ディメンション、距離関数、SearchSchema、射影を含むベクトルインデックス定義は、新しいレプリカリージョンごとに自動的にレプリケートされます。レプリカリージョンではベクトルインデックスを個別に作成しません。

レプリカリージョンで書き込んだ項目は、他のリージョンにレプリケートされ、そこにインデックスが作成されます。レプリケーションが完了すると、各リージョンの SearchVectors は同一のベクトルセットを検索します。ベクトル検索では近似最近傍 (ANN) が使用されるため、同一のデータであっても、異なるリージョンで同じクエリに対して個別に検索を行うと、結果や順序がわずかに異なる場合があります。マルチリージョン強整合性 (MRSC) グローバルテーブルであっても、他のリージョンのベクトルのレプリケーションとインデックス作成は非同期で行われます。あるリージョンで書き込んだばかりのベクトルは、変更が反映されるまで、別のリージョンの SearchVectors の結果に表示されない場合があります。

ポイントインタイムリカバリまたはオンデマンドバックアップからテーブルを復元すると、DynamoDB はベーステーブルのデータとベクトルインデックス定義を復元します。グローバルセカンダリインデックスと同様に、DynamoDB はベクトルインデックスをバイト単位でコピーするのではなく、復元されたベーステーブルのデータから再構築するため、検索の準備が整う前にインデックスのバックフィルが行われます。SearchVectors を実行する前に、復元されたインデックスの IndexStatus が ACTIVE になり、Backfilling が false になるまで待機します。

ベクトルインデックスを持つテーブルで DynamoDB TTL を使用できます。TTL がベーステーブルから期限切れの項目を削除すると、DynamoDB は手動での削除と同様に、ベクトルインデックスから対応するエントリを削除します。したがって、期限切れの項目は、削除がインデックスに伝達されると SearchVectors の結果に表示されなくなります。

ベクトルインデックスを持つテーブルを Amazon S3 にエクスポートできます。エクスポートには、格納されているベクトル属性を含むベーステーブルの項目が含まれます。Amazon S3 から新しいテーブルにデータをインポートするときは、CreateTable の場合と同様に、インポートリクエストでベクトルインデックスを定義します。DynamoDB は、インポートされた項目が書き込まれるとインデックスを作成し、インポートの完了後にベクトルインデックスが利用可能になります。

DynamoDB Accelerator (DAX) は、SearchVectors オペレーションをサポートしていません。アプリケーションが他の読み取りオペレーションに DAX を使用している場合でも、DynamoDB に直接 SearchVectors リクエストを送信します。ベーステーブル読み取りの DAX キャッシュは、ベクトルインデックスの存在の影響を受けません。