本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

K-最近的鄰居 (k-NN) 搜索 Amazon 服務 OpenSearch

Amazon OpenSearch 服務的 k-nN 是其關聯的 k 最近鄰算法的縮寫，可讓您搜索向量空間中的點，並通過歐幾里得距離或餘弦相似性找到這些點的「最近鄰」。使用案例包括建議 (例如，音樂應用程式中「其他您可能喜歡的歌曲」功能)、影像辨識和詐騙偵測。

使用下表找出在您的 Amazon OpenSearch 服務網域上執行的 k-NN 外掛程式版本。每個 K-NN 外掛程式版本對應於OpenSearch或彈性搜尋版本。

k-NN 入門

若要使用 k-NN，您必須使用 index.knn 設定建立索引，並新增資料類型為 knn_vector 的一個或多個欄位。

PUT my-index
{
  "settings": {
    "index.knn": true
  },
  "mappings": {
    "properties": {
      "my_vector1": {
        "type": "knn_vector",
        "dimension": 2
      },
      "my_vector2": {
        "type": "knn_vector",
        "dimension": 4
      }
    }
  }
}

knn_vector 資料類型支援最多 10,000 個浮點數的單一清單，其中包含由所需 dimension 參數定義的浮點數目。建立索引之後，將一些資料新增至其中。

POST _bulk
{ "index": { "_index": "my-index", "_id": "1" } }
{ "my_vector1": [1.5, 2.5], "price": 12.2 }
{ "index": { "_index": "my-index", "_id": "2" } }
{ "my_vector1": [2.5, 3.5], "price": 7.1 }
{ "index": { "_index": "my-index", "_id": "3" } }
{ "my_vector1": [3.5, 4.5], "price": 12.9 }
{ "index": { "_index": "my-index", "_id": "4" } }
{ "my_vector1": [5.5, 6.5], "price": 1.2 }
{ "index": { "_index": "my-index", "_id": "5" } }
{ "my_vector1": [4.5, 5.5], "price": 3.7 }
{ "index": { "_index": "my-index", "_id": "6" } }
{ "my_vector2": [1.5, 5.5, 4.5, 6.4], "price": 10.3 }
{ "index": { "_index": "my-index", "_id": "7" } }
{ "my_vector2": [2.5, 3.5, 5.6, 6.7], "price": 5.5 }
{ "index": { "_index": "my-index", "_id": "8" } }
{ "my_vector2": [4.5, 5.5, 6.7, 3.7], "price": 4.4 }
{ "index": { "_index": "my-index", "_id": "9" } }
{ "my_vector2": [1.5, 5.5, 4.5, 6.4], "price": 8.9 }

然後，您可以使用 knn 查詢類型搜尋資料。

GET my-index/_search
{
  "size": 2,
  "query": {
    "knn": {
      "my_vector2": {
        "vector": [2, 3, 5, 6],
        "k": 2
      }
    }
  }
}

在此情況下，k 是您想要查詢傳回的近鄰數目，但您亦須包含 size 選項。否則，您會獲得每個碎片 (和每個區段) 的 k 結果，而不是整個查詢的 k 結果。KNN 支援的最大 k 值為 10,000。

如果您將 knn 查詢與其他子句混合使用，則可能會收到少於 k 個的結果。在此範例中，post_filter 子句會將結果的數目從 2 減少為 1。

GET my-index/_search
{
  "size": 2,
  "query": {
    "knn": {
      "my_vector2": {
        "vector": [2, 3, 5, 6],
        "k": 2
      }
    }
  },
  "post_filter": {
    "range": {
      "price": {
        "gte": 6,
        "lte": 10
      }
    }
  }
}

如果您需要處理大量查詢，同時維持最佳效能，您可以使用 _msearchAPI 建構 JSON 大量搜尋，並傳送單一要求以執行多個搜尋：

GET _msearch
{ "index": "my-index"}
{ "query": { "knn": {"my_vector2":{"vector": [2, 3, 5, 6],"k":2 }} } }
{ "index": "my-index", "search_type": "dfs_query_then_fetch"}
{ "query": { "knn": {"my_vector1":{"vector": [2, 3],"k":2 }} } }

下列影片示範如何針對 K-NN 查詢設定大量向量搜尋。

k-NN 差異、調校和限制

OpenSearch 可讓您使用 API 修改所有 k-NN 設定_cluster/settings。在 OpenSearch 服務上，您可以變更除knn.memory.circuit_breaker.enabled和以外的所有設定knn.circuit_breaker.triggered。k-nN 統計資料包含在 Amazon CloudWatch 指標中。

特別是，請根據執行處理類型的knn.memory.circuit_breaker.limit統計資料和可用 RAM，檢查每個資料節點上的KNNGraphMemoryUsage測量結果。 OpenSearch 服務使用 Java 堆積執行個體的一半 RAM (最多 32 GiB 的堆積大小)。根據預設，k-NN 最高會使用剩下一半的 50%，這樣具有 32 GiB 的 RAM 的執行個體類型就能容納 8 GiB 的圖形 (32 * 0.5 * 0.5)。如果圖形記憶體用量超過此值，效能可能會受到影響。

如果索引使用近似的 k-nN ()，則無法將 k-n N 索引遷移到UltraWarm或冷存儲。"index.knn": true如果已將 index.knn 設為 false (準確 k-NN)，則您仍可將索引移動至其他儲存層。