Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pencarian vektor untuk Amazon DocumentDB

Pencarian vektor adalah metode yang digunakan dalam pembelajaran mesin untuk menemukan titik data serupa ke titik data tertentu dengan membandingkan representasi vektor mereka menggunakan metrik jarak atau kesamaan. Semakin dekat kedua vektor dalam ruang vektor, semakin mirip item yang mendasarinya dianggap. Teknik ini membantu menangkap makna semantik dari data. Pendekatan ini berguna dalam berbagai aplikasi, seperti sistem rekomendasi, pemrosesan bahasa alami, dan pengenalan gambar.

Pencarian vektor untuk Amazon DocumentDB menggabungkan fleksibilitas dan kemampuan query yang kaya dari database JSON-based dokumen dengan kekuatan pencarian vektor. Jika Anda ingin menggunakan data Amazon DocumentDB yang ada atau struktur data dokumen yang fleksibel untuk membangun pembelajaran mesin dan kasus penggunaan AI generatif, seperti pengalaman pencarian semantik, rekomendasi produk, personalisasi, chatbot, deteksi penipuan, dan deteksi anomali, maka pencarian vektor untuk Amazon DocumentDB adalah pilihan ideal untuk Anda. Pencarian vektor tersedia di cluster berbasis instance Amazon DocumentDB 5.0.

Menyisipkan vektor

Untuk menyisipkan vektor ke database Amazon DocumentDB Anda, Anda dapat menggunakan metode penyisipan yang ada:

Contoh

Dalam contoh berikut, kumpulan lima dokumen dalam database pengujian dibuat. Setiap dokumen mencakup dua bidang: nama produk dan penyematan vektor yang sesuai.

db.collection.insertMany([
  {"product_name": "Product A", "vectorEmbedding": [0.2, 0.5, 0.8]},
  {"product_name": "Product B", "vectorEmbedding": [0.7, 0.3, 0.9]},
  {"product_name": "Product C", "vectorEmbedding": [0.1, 0.2, 0.5]},
  {"product_name": "Product D", "vectorEmbedding": [0.9, 0.6, 0.4]},
  {"product_name": "Product E", "vectorEmbedding": [0.4, 0.7, 0.2]}
]);

Membuat indeks vektor

Amazon DocumentDB mendukung pengindeksan Hierarchical Navigable Small World (HNSW) dan Inverted File dengan metode pengindeksan Kompresi Datar (IVFFLAT). Indeks IVFFLAT memisahkan vektor ke dalam daftar dan kemudian mencari subset yang dipilih dari daftar yang paling dekat dengan vektor kueri. Di sisi lain, indeks HNSW mengatur data vektor menjadi grafik berlapis-lapis. Meskipun HNSW memiliki waktu pembuatan yang lebih lambat dibandingkan dengan IVFFlat, ia memberikan kinerja kueri dan ingatan yang lebih baik. Tidak seperti IVFFlat, HNSW tidak memiliki langkah pelatihan yang terlibat, memungkinkan indeks dihasilkan tanpa beban data awal. Untuk sebagian besar kasus penggunaan, gunakan tipe indeks HNSW untuk pencarian vektor.

Jika Anda tidak membuat indeks vektor, Amazon DocumentDB melakukan pencarian tetangga terdekat yang tepat, memastikan ingatan yang sempurna. Namun, dalam skenario produksi, kecepatan sangat penting. Gunakan indeks vektor, yang mungkin menukar beberapa ingatan untuk peningkatan kecepatan. Penting untuk dicatat bahwa menambahkan indeks vektor dapat menyebabkan hasil kueri yang berbeda.

Templat

Anda dapat menggunakan berikut createIndex atau runCommand templat untuk membangun indeks vektor pada bidang vektor:

Using createIndex

Dalam driver tertentu, seperti mongosh dan Java, menggunakan vectorOptions parameter di dapat meng createIndex akibatkan kesalahan. Dalam kasus seperti itu, gunakanrunCommand:

db.collection.createIndex(
  { "<vectorField>": "vector" },
  { "name": "<indexName>",
    "vectorOptions": {
      "type": " <hnsw> | <ivfflat> ",
      "dimensions": <number_of_dimensions>,
      "similarity": " <euclidean> | <cosine> | <dotProduct> ",
      "lists": <number_of_lists> [applicable for IVFFlat],
      "m": <max number of connections> [applicable for HNSW],
      "efConstruction": <size of the dynamic list for index build> [applicable for HNSW]
    }
  }
);

Using runCommand

Dalam driver tertentu, seperti mongosh dan Java, menggunakan vectorOptions parameter di dapat meng createIndex akibatkan kesalahan. Dalam kasus seperti itu, gunakanrunCommand:

db.runCommand(
  { "createIndexes": "<collection>", 
  "indexes": [{
      key: { "<vectorField>": "vector" },
      vectorOptions: {
          type: " <hnsw> | <ivfflat> ",
          dimensions: <number of dimensions>,
          similarity: " <euclidean> | <cosine> | <dotProduct> ",
          lists: <number_of_lists> [applicable for IVFFlat],
          m: <max number of connections> [applicable for HNSW],
          efConstruction: <size of the dynamic list for index build> [applicable for HNSW]
          },
      name: "myIndex" 
      }] 
  }
);

Penting bagi Anda untuk mengatur nilai sub-parameter seperti lists untuk IVFFLat dan m dan efConstruction untuk HNSW dengan tepat karena akan mempengaruhi, waktu pembuatan accuracy/recall, dan kinerja pencarian Anda. Nilai daftar yang lebih tinggi meningkatkan kecepatan query karena mengurangi jumlah vektor di setiap daftar, menghasilkan wilayah yang lebih kecil. Namun, ukuran wilayah yang lebih kecil dapat menyebabkan lebih banyak kesalahan penarikan, menghasilkan akurasi yang lebih rendah. Untuk HNSW, meningkatkan nilai m dan efConstruction meningkatkan akurasi, tetapi juga meningkatkan waktu dan ukuran pembuatan indeks. Lihat contoh berikut:

Contoh

HNSW

db.collection.createIndex(
  { "vectorEmbedding": "vector" },
  { "name": "myIndex",
    "vectorOptions": {
      "type": "hnsw",
      "dimensions": 3,
      "similarity": "euclidean",
      "m": 16,
      "efConstruction": 64
    }
  }
);

IVFFlat

db.collection.createIndex(
  { "vectorEmbedding": "vector" },
  { "name": "myIndex",
    "vectorOptions": {
      "type": "ivfflat",
      "dimensions": 3,
      "similarity": "euclidean",
      "lists":1
    }
  }
)

Mendapatkan definisi indeks

Anda dapat melihat detail indeks Anda, termasuk indeks vektor, menggunakan perintah: getIndexes

Contoh

db.collection.getIndexes()

Contoh keluaran

[
 {
  "v" : 4,
  "key" : {
   "_id" : 1
  },
  "name" : "_id_",
  "ns" : "test.collection"
 },
 {
  "v" : 4,
  "key" : {
   "vectorEmbedding" : "vector"
  },
  "name" : "myIndex",
  "vectorOptions" : {
   "type" : "ivfflat",
   "dimensions" : 3,
   "similarity" : "euclidean",
   "lists" : 1
  },
  "ns" : "test.collection"
 }
]

Mengkueri vektor

Amazon DocumentDB mendukung dua operator pencarian vektor untuk kueri vektor:

Operator pencarian vektor klasik

Gunakan template berikut untuk menanyakan vektor:

db.collection.aggregate([
  {
    $search: {
      "vectorSearch": {
        "vector": <query vector>, 
        "path": "<vectorField>", 
        "similarity": "<distance metric>",
        "k": <number of results>,
        "probes":<number of probes> [applicable for IVFFlat],
        "efSearch":<size of the dynamic list during search> [applicable for HNSW]
      }
    }
  }
]);

Penting untuk menyempurnakan nilai efSearch (HNSW) atau probes (IVFFLAT) untuk mencapai kinerja dan akurasi yang Anda inginkan. Lihat contoh operasi berikut:

HNSW

db.collection.aggregate([
  {
    $search: {
      "vectorSearch": {
        "vector": [0.2, 0.5, 0.8], 
        "path": "vectorEmbedding", 
        "similarity": "euclidean",
        "k": 2,
        "efSearch": 40
      }
    }
  }
]);

IVFFlat

db.collection.aggregate([
  {
    $search: {
      "vectorSearch": {
        "vector": [0.2, 0.5, 0.8], 
        "path": "vectorEmbedding", 
        "similarity": "euclidean",
        "k": 2,
        "probes": 1
      }
    }
  }
]);

Contoh keluaran

Keluaran dari operasi ini terlihat seperti berikut ini:

{ "_id" : ObjectId("653d835ff96bee02cad7323c"), "product_name" : "Product A", "vectorEmbedding" : [ 0.2, 0.5, 0.8 ] }
{ "_id" : ObjectId("653d835ff96bee02cad7323e"), "product_name" : "Product C", "vectorEmbedding" : [ 0.1, 0.2, 0.5 ] }

Operator $VectorSearch (tersedia di Amazon DocumentDB 8.0 dan seterusnya)

Gunakan template berikut untuk menanyakan vektor:

db.collection.aggregate([
{
  "$vectorSearch": {
    "exact": true | false,
    "index": "<index-name>" [supports only HNSW index],
    "limit": <number-of-results> [same as k],
    "path": "<vector field-to-search>",
    "queryVector": <array-of-numbers>,
    "numCandidates": <number-of-candidates> [same as efSearch], 
  }
}])

Fitur dan keterbatasan

Kompatibilitas versi

Vektor

Indeks

Kueri vektor

Praktik terbaik

Pelajari praktik terbaik untuk bekerja dengan pencarian vektor di Amazon DocumentDB. Bagian ini terus diperbarui saat praktik terbaik baru diidentifikasi.

Sumber daya