Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # Amazon DocumentDB kecerdasan buatan generatif Amazon DocumentDB menawarkan kemampuan untuk memungkinkan model pembelajaran mesin (ML) dan kecerdasan buatan generatif (AI) untuk bekerja dengan data yang disimpan di Amazon DocumentDB secara real time. Pelanggan tidak lagi harus menghabiskan waktu mengelola infrastruktur terpisah, menulis kode untuk terhubung dengan layanan lain, dan menduplikasi data dari database utama mereka. Untuk informasi lebih lanjut tentang kecerdasan buatan dan bagaimana AWS dapat mendukung kebutuhan AI Anda, lihat artikel [“Apa itu”](https://aws.amazon.com/what-is/artificial-intelligence/) ini. **Topics** + [Pembelajaran mesin tanpa kode dengan Amazon SageMaker AI Canvas](no-code-machine-learning.md) + [Pencarian vektor untuk Amazon DocumentDB](vector-search.md) # Pembelajaran mesin tanpa kode dengan Amazon SageMaker AI Canvas [Amazon SageMaker AI Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) memungkinkan Anda membuat AI/ML model Anda sendiri tanpa harus menulis satu baris kode pun. Anda dapat membuat model ML untuk kasus penggunaan umum seperti regresi dan peramalan dan dapat mengakses dan mengevaluasi model pondasi () FMs dari Amazon Bedrock. Anda juga dapat mengakses publik FMs dari Amazon SageMaker AI JumpStart untuk pembuatan konten, ekstraksi teks, dan ringkasan teks untuk mendukung solusi AI generatif. ## Cara membuat model MLtanpa kode dengan SageMaker AI Canvas Amazon DocumentDB sekarang terintegrasi dengan SageMaker Amazon AI Canvas untuk mengaktifkan pembelajaran mesin tanpa kode (ML) dengan data yang disimpan di Amazon DocumentDB. Anda sekarang dapat membangun model ML untuk kebutuhan regresi dan peramalan dan menggunakan model dasar untuk ringkasan dan pembuatan konten menggunakan data yang disimpan di Amazon DocumentDB tanpa menulis satu baris kode pun. SageMaker AI Canvas menyediakan antarmuka visual yang memungkinkan pelanggan Amazon DocumentDB menghasilkan prediksi tanpa memerlukan keahlian AI/ML apa pun atau menulis satu baris kode. Pelanggan sekarang dapat meluncurkan ruang kerja SageMaker AI Canvas dari Konsol Manajemen AWS, mengimpor, dan bergabung dengan data Amazon DocumentDB untuk persiapan data dan pelatihan model. Data di Amazon DocumentDB sekarang dapat digunakan SageMaker di AI Canvas untuk membangun dan menambah model untuk memprediksi churn pelanggan, mendeteksi penipuan, memprediksi kegagalan pemeliharaan, memperkirakan metrik bisnis, dan menghasilkan konten. Pelanggan sekarang dapat mempublikasikan dan berbagi wawasan berbasis ML di seluruh tim menggunakan integrasi asli SageMaker AI Canvas dengan Quick. Saluran konsumsi data di SageMaker AI Canvas berjalan di instans sekunder Amazon DocumentDB secara default, memastikan bahwa kinerja aplikasi dan SageMaker beban kerja konsumsi Kanvas AI tidak terhalang. Pelanggan Amazon DocumentDB dapat memulai SageMaker dengan AI Canvas dengan menavigasi ke halaman Amazon DocumentDB No-Code MLConsole baru dan menghubungkan ke ruang kerja AI Canvas baru atau yang tersedia. SageMaker ## Mengkonfigurasi domain SageMaker AI dan profil pengguna Anda dapat terhubung ke cluster Amazon DocumentDB SageMaker dari domain AI yang berjalan dalam mode VPC Only. Dengan meluncurkan domain SageMaker AI di VPC Anda, Anda dapat mengontrol aliran data dari lingkungan SageMaker AI Studio dan Canvas Anda. Ini memungkinkan Anda untuk membatasi akses internet, memantau dan memeriksa lalu lintas menggunakan AWS jaringan standar dan kemampuan keamanan, dan terhubung ke AWS sumber daya lain melalui titik akhir VPC. Silakan lihat [Amazon SageMaker AI Canvas Memulai](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) dan [Mengonfigurasi Amazon SageMaker AI Canvas di VPC tanpa akses internet](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-vpc.html) yang terletak di *Panduan Pengembang Amazon SageMaker AI* untuk membuat domain SageMaker AI Anda agar terhubung ke cluster Amazon DocumentDB Anda. ## Mengkonfigurasi izin akses IAM untuk Amazon DocumentDB dan AI Canvas SageMaker Pengguna Amazon DocumentDB yang `AmazonDocDBConsoleFullAccess` telah melekat pada peran dan identitas terkait mereka dapat mengakses file. Konsol Manajemen AWS Tambahkan tindakan berikut ke peran atau identitas yang disebutkan di atas untuk menyediakan akses ke pembelajaran mesin tanpa kode dengan Amazon SageMaker AI Canvas. ``` "sagemaker:CreatePresignedDomainUrl", "sagemaker:DescribeDomain", "sagemaker:ListDomains", "sagemaker:ListUserProfiles" ``` ## Membuat pengguna database dan peran untuk SageMaker AI Canvas Anda dapat membatasi akses ke tindakan yang dapat dilakukan pengguna pada database menggunakan kontrol akses berbasis peran (RBAC) di Amazon DocumentDB. RBAC bekerja dengan memberikan satu atau lebih peran kepada pengguna. Peran ini menentukan operasi yang dapat dilakukan pengguna pada sumber daya database. Sebagai pengguna Canvas, Anda terhubung ke database Amazon DocumentDB dengan kredensi nama pengguna dan kata sandi. Anda dapat membuat database user/role untuk pengguna Canvas yang memiliki akses baca ke database tertentu menggunakan fungsionalitas Amazon DocumentDB RBAC. Misalnya, gunakan `createUser` operasi: ``` db.createUser({ user: "canvas_user", pwd: "", roles: [{role: "read", db: "sample-database-1"}] }) ``` Ini menciptakan `canvas_user` yang telah membaca izin ke `sample-database-1` database. Analis Canvas Anda dapat menggunakan kredensi ini untuk mengakses data di klaster Amazon DocumentDB Anda. Lihat [Akses database menggunakan Kontrol Akses Berbasis Peran](role_based_access_control.md) untuk mempelajari lebih lanjut. ## Wilayah yang tersedia Integrasi tanpa kode tersedia di wilayah di mana Amazon DocumentDB SageMaker dan Amazon AI Canvas didukung. Daerah tersebut meliputi: + us-east-1 (Virginia Utara) + us-east-2 (Ohio) + us-west-2 (Oregon) + ap-northeast-1 (Tokyo) + ap-northeast-2 (Seoul) + ap-south-1 (Mumbai) + ap-southeast-1 (Singapura) + ap-southeast-2 (Sydney) + eu-central-1 (Frankfurt am Main) + eu-west-1 (Irlandia) Silakan merujuk ke [Amazon SageMaker AI Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) di *Panduan Pengembang Amazon SageMaker AI* untuk ketersediaan wilayah terbaru. # Pencarian vektor untuk Amazon DocumentDB Pencarian vektor adalah metode yang digunakan dalam pembelajaran mesin untuk menemukan titik data yang serupa dengan titik data tertentu dengan membandingkan representasi vektor mereka menggunakan metrik jarak atau kesamaan. Semakin dekat kedua vektor berada di ruang vektor, semakin mirip item yang mendasarinya. Teknik ini membantu menangkap makna semantik dari data. Pendekatan ini berguna dalam berbagai aplikasi, seperti sistem rekomendasi, pemrosesan bahasa alami, dan pengenalan gambar. Pencarian vektor untuk Amazon DocumentDB menggabungkan fleksibilitas dan kemampuan query yang kaya dari database dokumen berbasis JSON dengan kekuatan pencarian vektor. Jika Anda ingin menggunakan data Amazon DocumentDB yang ada atau struktur data dokumen yang fleksibel untuk membangun pembelajaran mesin dan kasus penggunaan AI generatif, seperti pengalaman pencarian semantik, rekomendasi produk, personalisasi, chatbots, deteksi penipuan, dan deteksi anomali, maka pencarian vektor untuk Amazon DocumentDB adalah pilihan ideal untuk Anda. Pencarian vektor tersedia di cluster berbasis instans Amazon DocumentDB 5.0. **Topics** + [Memasukkan vektor](#w2aac21c11b9) + [Membuat indeks vektor](#w2aac21c11c11) + [Mendapatkan definisi indeks](#w2aac21c11c13) + [Menanyakan vektor](#w2aac21c11c15) + [Fitur dan keterbatasan](#vector-limitations) + [Praktik terbaik](#w2aac21c11c19) ## Memasukkan vektor Untuk menyisipkan vektor ke dalam database Amazon DocumentDB, Anda dapat menggunakan metode penyisipan yang ada: **Contoh** Dalam contoh berikut, kumpulan lima dokumen dalam database pengujian dibuat. Setiap dokumen mencakup dua bidang: nama produk dan penyematan vektor yang sesuai. ``` db.collection.insertMany([ {"product_name": "Product A", "vectorEmbedding": [0.2, 0.5, 0.8]}, {"product_name": "Product B", "vectorEmbedding": [0.7, 0.3, 0.9]}, {"product_name": "Product C", "vectorEmbedding": [0.1, 0.2, 0.5]}, {"product_name": "Product D", "vectorEmbedding": [0.9, 0.6, 0.4]}, {"product_name": "Product E", "vectorEmbedding": [0.4, 0.7, 0.2]} ]); ``` ## Membuat indeks vektor Amazon DocumentDB mendukung pengindeksan Hierarchical Navigable Small World (HNSW) dan Inverted File dengan metode pengindeksan Flat Compression (). IVFFlat IVFFlat Indeks memisahkan vektor ke dalam daftar dan selanjutnya mencari subset terpilih dari daftar yang terdekat dengan vektor kueri. Di sisi lain, indeks HNSW mengatur data vektor ke dalam grafik berlapis-lapis. Meskipun HNSW memiliki waktu pembuatan yang lebih lambat dibandingkan dengan IVFFlat, HNSW memberikan kinerja kueri dan penarikan yang lebih baik. Tidak seperti IVFFlat, HNSW tidak memiliki langkah pelatihan yang terlibat, memungkinkan indeks dihasilkan tanpa beban data awal. Untuk sebagian besar kasus penggunaan, sebaiknya gunakan tipe indeks HNSW untuk pencarian vektor. Jika Anda tidak membuat indeks vektor, Amazon DocumentDB melakukan pencarian tetangga terdekat yang tepat, memastikan penarikan yang sempurna. Namun, dalam skenario produksi, kecepatan sangat penting. Kami merekomendasikan penggunaan indeks vektor, yang dapat memperdagangkan beberapa penarikan untuk meningkatkan kecepatan. Penting untuk dicatat bahwa menambahkan indeks vektor dapat menyebabkan hasil kueri yang berbeda. **Template** Anda dapat menggunakan `runCommand` templat `createIndex` atau templat berikut untuk membuat indeks vektor pada bidang vektor: ------ #### [ Using createIndex ] Pada driver tertentu, seperti mongosh dan Java, menggunakan `vectorOptions` parameter di `createIndex` dapat mengakibatkan kesalahan. Dalam kasus seperti itu, kami sarankan menggunakan`runCommand`: ``` db.collection.createIndex( { "": "vector" }, { "name": "", "vectorOptions": { "type": " | ", "dimensions": , "similarity": " | | ", "lists": [applicable for IVFFlat], "m": [applicable for HNSW], "efConstruction": [applicable for HNSW] } } ); ``` ------ #### [ Using runCommand ] Pada driver tertentu, seperti mongosh dan Java, menggunakan `vectorOptions` parameter di `createIndex` dapat mengakibatkan kesalahan. Dalam kasus seperti itu, kami sarankan menggunakan`runCommand`: ``` db.runCommand( { "createIndexes": "", "indexes": [{ key: { "": "vector" }, vectorOptions: { type: " | ", dimensions: , similarity: " | | ", lists: [applicable for IVFFlat], m: [applicable for HNSW], efConstruction: [applicable for HNSW] }, name: "myIndex" }] } ); ``` ------ | Parameter | Persyaratan | Jenis data | Deskripsi | Nilai | | --- | --- | --- | --- | --- | | **name** | opsional | string | Menentukan nama indeks. | Alfanumerik | | **type** | opsional | | Menentukan jenis indeks. | Didukung: hnsw atau ivfflat Default: HNSW (patch mesin 3.0.4574 dan seterusnya) | | **dimensions** | wajib | integer | Menentukan jumlah dimensi dalam data vektor. | Maksimal 2.000 dimensi. | | **similarity** | wajib | string | Menentukan metrik jarak yang digunakan untuk perhitungan kesamaan. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/documentdb/latest/developerguide/vector-search.html) | | **lists** | diperlukan untuk IVFFlat | integer | Menentukan jumlah cluster yang IVFFlat indeks menggunakan untuk mengelompokkan data vektor. Pengaturan yang disarankan adalah \$1 dokumen/1000 untuk hingga 1 juta dokumen dan `sqrt(# of documents)` untuk lebih dari 1 juta dokumen. | Minimal: 1 Maksimum: Lihat daftar per tabel jenis instans di [Fitur dan keterbatasan](#vector-limitations) bawah ini. | | **m** | opsional | integer | Menentukan jumlah max koneksi untuk indeks HNSW | Default: 16 Rentang [2, 100] | | **efConstruction** | opsional | integer | Menentukan ukuran daftar kandidat dinamis untuk membangun grafik untuk indeks HNSW. `efConstruction`harus lebih besar dari atau sama dengan (2 \$1 m) | Default: 64 Rentang [4, 1000] | Penting bagi Anda untuk menetapkan nilai sub-parameter seperti `lists` untuk IVFFlat dan `m` dan `efConstruction` untuk HNSW dengan tepat karena akan memengaruhi akurasi/penarikan, waktu pembuatan, dan kinerja pencarian Anda. Nilai daftar yang lebih tinggi meningkatkan kecepatan kueri karena mengurangi jumlah vektor di setiap daftar, menghasilkan wilayah yang lebih kecil. Namun, ukuran wilayah yang lebih kecil dapat menyebabkan lebih banyak kesalahan penarikan, menghasilkan akurasi yang lebih rendah. Untuk HNSW, meningkatkan nilai `m` dan `efConstruction` meningkatkan akurasi, tetapi juga meningkatkan waktu dan ukuran pembuatan indeks. Lihat contoh berikut: **Contoh** ------ #### [ HNSW ] ``` db.collection.createIndex( { "vectorEmbedding": "vector" }, { "name": "myIndex", "vectorOptions": { "type": "hnsw", "dimensions": 3, "similarity": "euclidean", "m": 16, "efConstruction": 64 } } ); ``` ------ #### [ IVFFlat ] ``` db.collection.createIndex( { "vectorEmbedding": "vector" }, { "name": "myIndex", "vectorOptions": { "type": "ivfflat", "dimensions": 3, "similarity": "euclidean", "lists":1 } } ) ``` ------ ## Mendapatkan definisi indeks Anda dapat melihat detail indeks Anda, termasuk indeks vektor, menggunakan perintah: `getIndexes` **Contoh** ``` db.collection.getIndexes() ``` **Contoh keluaran** ``` [ { "v" : 4, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "test.collection" }, { "v" : 4, "key" : { "vectorEmbedding" : "vector" }, "name" : "myIndex", "vectorOptions" : { "type" : "ivfflat", "dimensions" : 3, "similarity" : "euclidean", "lists" : 1 }, "ns" : "test.collection" } ] ``` ## Menanyakan vektor Amazon DocumentDB mendukung dua operator pencarian vektor untuk menanyakan vektor: ### Operator pencarian vektor klasik Gunakan template berikut untuk menanyakan vektor: ``` db.collection.aggregate([ { $search: { "vectorSearch": { "vector": , "path": "", "similarity": "", "k": , "probes": [applicable for IVFFlat], "efSearch": [applicable for HNSW] } } } ]); ``` | Parameter | Persyaratan | Tipe | Deskripsi | Nilai | | --- | --- | --- | --- | --- | | **vectorSearch** | wajib | operator | Digunakan di dalam perintah \$1search untuk query vektor. | | | **vector** | wajib | array | Menunjukkan vektor kueri yang akan digunakan untuk menemukan vektor serupa. | | | **path** | wajib | string | Mendefinisikan nama bidang vektor. | | | **k** | wajib | integer | Menentukan jumlah hasil yang pencarian kembali. | | | **similarity** | wajib | string | Menentukan metrik jarak yang digunakan untuk perhitungan kesamaan. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/documentdb/latest/developerguide/vector-search.html) | | **probes** | opsional | integer | Jumlah cluster yang Anda inginkan pencarian vektor untuk diperiksa. Nilai yang lebih tinggi memberikan penarikan yang lebih baik dengan mengorbankan kecepatan. Ini dapat diatur ke jumlah daftar untuk pencarian tetangga terdekat yang tepat (di mana perencana tidak akan menggunakan indeks). Pengaturan yang disarankan untuk memulai fine-tuning adalah. `sqrt(# of lists)` | Default: 1 | | **efSearch** | opsional | integer | Menentukan ukuran daftar kandidat dinamis yang digunakan indeks HNSW selama pencarian. Nilai yang lebih tinggi `efSearch` memberikan penarikan yang lebih baik dengan mengorbankan kecepatan. | Default: 40 Rentang [1, 1000] | Penting untuk menyempurnakan nilai `efSearch` (HNSW) atau `probes` (IVFFlat) untuk mencapai kinerja dan akurasi yang Anda inginkan. Lihat contoh operasi berikut: ------ #### [ HNSW ] ``` db.collection.aggregate([ { $search: { "vectorSearch": { "vector": [0.2, 0.5, 0.8], "path": "vectorEmbedding", "similarity": "euclidean", "k": 2, "efSearch": 40 } } } ]); ``` ------ #### [ IVFFlat ] ``` db.collection.aggregate([ { $search: { "vectorSearch": { "vector": [0.2, 0.5, 0.8], "path": "vectorEmbedding", "similarity": "euclidean", "k": 2, "probes": 1 } } } ]); ``` ------ **Contoh keluaran** Keluaran dari operasi ini terlihat seperti berikut ini: ``` { "_id" : ObjectId("653d835ff96bee02cad7323c"), "product_name" : "Product A", "vectorEmbedding" : [ 0.2, 0.5, 0.8 ] } { "_id" : ObjectId("653d835ff96bee02cad7323e"), "product_name" : "Product C", "vectorEmbedding" : [ 0.1, 0.2, 0.5 ] } ``` ### `$vectorSearch`operator (tersedia di Amazon DocumentDB 8.0 dan seterusnya) Gunakan template berikut untuk menanyakan vektor: ``` db.collection.aggregate([ { "$vectorSearch": { "exact": true | false, "index": "" [supports only HNSW index], "limit": [same as k], "path": "", "queryVector": , "numCandidates": [same as efSearch], } }]) ``` ## Fitur dan keterbatasan **Kompatibilitas versi** + Pencarian vektor untuk Amazon DocumentDB hanya tersedia di Amazon DocumentDB 5.0\$1 cluster berbasis instans. **vektor** + Amazon DocumentDB dapat mengindeks vektor hingga 2.000 dimensi. Namun, hingga 16.000 dimensi dapat disimpan tanpa indeks. **Indeks** + Untuk pembuatan IVFFlat indeks, pengaturan yang disarankan untuk parameter daftar adalah jumlah dokumen/1000 hingga 1 juta dokumen dan `sqrt(# of documents)` untuk lebih dari 1 juta dokumen. Karena batas memori yang berfungsi, Amazon DocumentDB mendukung nilai maksimum tertentu dari parameter daftar tergantung pada jumlah dimensi. Untuk referensi Anda, tabel berikut memberikan nilai maksimum parameter daftar untuk vektor 500, 1000, dan 2.000 dimensi: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/documentdb/latest/developerguide/vector-search.html) + Tidak ada opsi indeks lain seperti`compound`, `sparse` atau `partial` didukung dengan indeks vektor. + Build indeks paralel tidak didukung untuk indeks HNSW di Amazon DocumentDB 5.0. **kueri vektor** + Untuk kueri pencarian vektor, penting untuk menyempurnakan parameter seperti `probes` atau `efSearch` untuk hasil yang optimal. Semakin tinggi nilai `probes` atau `efSearch` parameter, semakin tinggi recall dan semakin rendah kecepatannya. Pengaturan yang disarankan untuk mulai menyempurnakan parameter probe adalah. `sqrt(# of lists)` ## Praktik terbaik Pelajari praktik terbaik untuk bekerja dengan pencarian vektor di Amazon DocumentDB. Bagian ini terus diperbarui saat praktik terbaik baru diidentifikasi. + File Terbalik dengan Pembuatan indeks Flat Compression (IVFFlat) melibatkan pengelompokan dan pengorganisasian titik data berdasarkan kesamaan. Oleh karena itu, agar indeks menjadi lebih efektif, kami menyarankan Anda setidaknya memuat beberapa data sebelum membuat indeks. + Untuk kueri pencarian vektor, penting untuk menyempurnakan parameter seperti `probes` atau `efSearch` untuk hasil yang optimal. Semakin tinggi nilai `efSearch` parameter `probes` atau, semakin tinggi recall dan semakin rendah kecepatannya. Pengaturan yang disarankan untuk memulai fine tuning `probes` parameter adalah`sqrt(lists)`. **Sumber Daya** + [Pencarian vektor apa posting blog baru](https://aws.amazon.com/blogs/aws/vector-search-for-amazon-documentdb-with-mongodb-compatibility-is-now-generally-available) + [Contoh kode pencarian semantik](https://github.com/aws-samples/amazon-documentdb-samples/tree/master/blogs/semanticsearch-docdb) + [Sampel kode pencarian vektor Amazon DocumentDB](https://github.com/aws-samples/amazon-documentdb-samples/tree/master/samples/vector-search)