Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Ricerca vettoriale per Amazon DocumentDB

La ricerca vettoriale è un metodo utilizzato nell'apprendimento automatico per trovare punti dati simili a un determinato punto dati confrontando le relative rappresentazioni vettoriali utilizzando metriche di distanza o somiglianza. Più i due vettori sono vicini nello spazio vettoriale, più simili sono considerati gli elementi sottostanti. Questa tecnica aiuta a catturare il significato semantico dei dati. Questo approccio è utile in varie applicazioni, come i sistemi di raccomandazione, l'elaborazione del linguaggio naturale e il riconoscimento delle immagini.

La ricerca vettoriale per Amazon DocumentDB combina la flessibilità e la ricca capacità di interrogazione di un database di JSON-based documenti con la potenza della ricerca vettoriale. Se desideri utilizzare i tuoi dati Amazon DocumentDB esistenti o una struttura flessibile dei dati dei documenti per creare casi d'uso di machine learning e intelligenza artificiale generativa, come esperienza di ricerca semantica, consigli sui prodotti, personalizzazione, chatbot, rilevamento di frodi e rilevamento di anomalie, la ricerca vettoriale per Amazon DocumentDB è la scelta ideale per te. La ricerca vettoriale è disponibile nei cluster basati su istanze Amazon DocumentDB 5.0.

Inserimento di vettori

Per inserire vettori nel tuo database Amazon DocumentDB, puoi utilizzare i metodi di inserimento esistenti:

Esempio

Nell'esempio seguente, viene creata una raccolta di cinque documenti all'interno di un database di test. Ogni documento include due campi: il nome del prodotto e il corrispondente incorporamento vettoriale.

db.collection.insertMany([
  {"product_name": "Product A", "vectorEmbedding": [0.2, 0.5, 0.8]},
  {"product_name": "Product B", "vectorEmbedding": [0.7, 0.3, 0.9]},
  {"product_name": "Product C", "vectorEmbedding": [0.1, 0.2, 0.5]},
  {"product_name": "Product D", "vectorEmbedding": [0.9, 0.6, 0.4]},
  {"product_name": "Product E", "vectorEmbedding": [0.4, 0.7, 0.2]}
]);

Creazione di un indice vettoriale

Amazon DocumentDB supporta i metodi di indicizzazione Hierarchical Navigable Small World (HNSW) e Inverted File with Flat Compression (IVFFlat). Un indice IVFFlat separa i vettori in elenchi e successivamente cerca un sottoinsieme selezionato di quegli elenchi più vicini al vettore di query. D'altra parte, un indice HNSW organizza i dati vettoriali in un grafico a più livelli. Sebbene HNSW abbia tempi di compilazione più lenti rispetto a IVFFlat, offre migliori prestazioni di interrogazione e richiamo. A differenza di IVFFlat, HNSW non prevede alcuna fase di addestramento e consente di generare l'indice senza alcun caricamento iniziale dei dati. Per la maggior parte dei casi d'uso, utilizzate il tipo di indice HNSW per la ricerca vettoriale.

Se non crei un indice vettoriale, Amazon DocumentDB esegue una ricerca esatta del vicino più prossimo, garantendo un richiamo perfetto. Tuttavia, negli scenari di produzione, la velocità è fondamentale. Utilizzate indici vettoriali, che potrebbero sostituire alcuni richiami con una maggiore velocità. È importante notare che l'aggiunta di un indice vettoriale può portare a risultati di ricerca diversi.

Modelli

Puoi utilizzare quanto segue createIndex o i runCommand modelli per creare un indice vettoriale su un campo vettoriale:

Using createIndex

In alcuni driver, come mongosh e Java, l'utilizzo dei vectorOptions parametri in createIndex potrebbe generare un errore. In questi casi, usa: runCommand

db.collection.createIndex(
  { "<vectorField>": "vector" },
  { "name": "<indexName>",
    "vectorOptions": {
      "type": " <hnsw> | <ivfflat> ",
      "dimensions": <number_of_dimensions>,
      "similarity": " <euclidean> | <cosine> | <dotProduct> ",
      "lists": <number_of_lists> [applicable for IVFFlat],
      "m": <max number of connections> [applicable for HNSW],
      "efConstruction": <size of the dynamic list for index build> [applicable for HNSW]
    }
  }
);

Using runCommand

In alcuni driver, come mongosh e Java, l'utilizzo dei vectorOptions parametri in createIndex potrebbe generare un errore. In questi casi, usa: runCommand

db.runCommand(
  { "createIndexes": "<collection>", 
  "indexes": [{
      key: { "<vectorField>": "vector" },
      vectorOptions: {
          type: " <hnsw> | <ivfflat> ",
          dimensions: <number of dimensions>,
          similarity: " <euclidean> | <cosine> | <dotProduct> ",
          lists: <number_of_lists> [applicable for IVFFlat],
          m: <max number of connections> [applicable for HNSW],
          efConstruction: <size of the dynamic list for index build> [applicable for HNSW]
          },
      name: "myIndex" 
      }] 
  }
);

È importante impostare il valore dei sottoparametri come lists per IVFFlat m e efConstruction per HNSW in modo appropriato poiché influirà sui tempi di compilazione e sulle prestazioni della accuracy/recall ricerca. Un valore di elenco più elevato aumenta la velocità dell'interrogazione in quanto riduce il numero di vettori in ogni elenco, con conseguente riduzione delle aree. Tuttavia, una regione di dimensioni inferiori può comportare un maggior numero di errori di richiamo, con conseguente minore precisione. Per HNSW, l'aumento del valore m e della precisione, ma efConstruction aumenta anche il tempo e le dimensioni di creazione dell'indice. Fare riferimento agli esempi riportati di seguito:

Esempi

HNSW

db.collection.createIndex(
  { "vectorEmbedding": "vector" },
  { "name": "myIndex",
    "vectorOptions": {
      "type": "hnsw",
      "dimensions": 3,
      "similarity": "euclidean",
      "m": 16,
      "efConstruction": 64
    }
  }
);

IVFFlat

db.collection.createIndex(
  { "vectorEmbedding": "vector" },
  { "name": "myIndex",
    "vectorOptions": {
      "type": "ivfflat",
      "dimensions": 3,
      "similarity": "euclidean",
      "lists":1
    }
  }
)

Ottenere una definizione dell'indice

Puoi visualizzare i dettagli dei tuoi indici, inclusi gli indici vettoriali, usando il comando: getIndexes

Esempio

db.collection.getIndexes()

Output di esempio

[
 {
  "v" : 4,
  "key" : {
   "_id" : 1
  },
  "name" : "_id_",
  "ns" : "test.collection"
 },
 {
  "v" : 4,
  "key" : {
   "vectorEmbedding" : "vector"
  },
  "name" : "myIndex",
  "vectorOptions" : {
   "type" : "ivfflat",
   "dimensions" : 3,
   "similarity" : "euclidean",
   "lists" : 1
  },
  "ns" : "test.collection"
 }
]

Query sui vettori

Amazon DocumentDB supporta due operatori di ricerca vettoriale per interrogare i vettori:

Operatore di ricerca vettoriale classico

Usa il seguente modello per interrogare un vettore:

db.collection.aggregate([
  {
    $search: {
      "vectorSearch": {
        "vector": <query vector>, 
        "path": "<vectorField>", 
        "similarity": "<distance metric>",
        "k": <number of results>,
        "probes":<number of probes> [applicable for IVFFlat],
        "efSearch":<size of the dynamic list during search> [applicable for HNSW]
      }
    }
  }
]);

È importante regolare con precisione il valore di efSearch (HNSW) o probes (IVFFlat) per ottenere le prestazioni e la precisione desiderate. Vedi i seguenti esempi di operazioni:

HNSW

db.collection.aggregate([
  {
    $search: {
      "vectorSearch": {
        "vector": [0.2, 0.5, 0.8], 
        "path": "vectorEmbedding", 
        "similarity": "euclidean",
        "k": 2,
        "efSearch": 40
      }
    }
  }
]);

IVFFlat

db.collection.aggregate([
  {
    $search: {
      "vectorSearch": {
        "vector": [0.2, 0.5, 0.8], 
        "path": "vectorEmbedding", 
        "similarity": "euclidean",
        "k": 2,
        "probes": 1
      }
    }
  }
]);

Output di esempio

L'aspetto dell'output di questa operazione è simile al seguente.

{ "_id" : ObjectId("653d835ff96bee02cad7323c"), "product_name" : "Product A", "vectorEmbedding" : [ 0.2, 0.5, 0.8 ] }
{ "_id" : ObjectId("653d835ff96bee02cad7323e"), "product_name" : "Product C", "vectorEmbedding" : [ 0.1, 0.2, 0.5 ] }

operatore $vectorSearch (disponibile in Amazon DocumentDB 8.0 e versioni successive)

Usa il seguente modello per interrogare un vettore:

db.collection.aggregate([
{
  "$vectorSearch": {
    "exact": true | false,
    "index": "<index-name>" [supports only HNSW index],
    "limit": <number-of-results> [same as k],
    "path": "<vector field-to-search>",
    "queryVector": <array-of-numbers>,
    "numCandidates": <number-of-candidates> [same as efSearch], 
  }
}])

Caratteristiche e limitazioni

Compatibilità delle versioni

Vettori

Indici

Query vettoriale

Best practice

Scopri le best practice per lavorare con la ricerca vettoriale in Amazon DocumentDB. Questa sezione viene continuamente aggiornata man mano che vengono identificate nuove best practice.

Risorse