Prasyarat untuk penyimpanan vektor Anda sendiri untuk basis pengetahuan - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Prasyarat untuk penyimpanan vektor Anda sendiri untuk basis pengetahuan

Sebuah penyimpanan vektor menyimpan representasi vektor embeddings dari data Anda. Teks diubah menjadi embeddings vektor dan ditulis ke indeks vektor, sambil mempertahankan pemetaan ke dokumen asli. Penyematan vektor memungkinkan teks untuk dibandingkan secara matematis.

Jika Anda lebih suka Amazon Bedrock untuk secara otomatis membuat indeks vektor di Amazon OpenSearch Tanpa Server untuk Anda, lewati prasyarat ini dan lanjutkan ke. Buat basis pengetahuan Amazon Bedrock

Anda dapat mengatur penyimpanan vektor Anda sendiri yang didukung untuk mengindeks representasi embeddings vektor data Anda. Anda membuat bidang untuk data berikut:

  • Bidang untuk vektor yang dihasilkan dari teks di sumber data Anda dengan model embeddings yang Anda pilih.

  • Bidang untuk potongan teks yang diekstrak dari file di sumber data Anda.

  • Bidang untuk metadata file sumber yang dikelola Amazon Bedrock.

  • (Jika Anda menggunakan database Amazon Aurora dan ingin mengatur pemfilteran pada metadata) Bidang untuk metadata yang Anda kaitkan dengan file sumber Anda. Jika Anda berencana untuk mengatur pemfilteran di toko vektor lain, Anda tidak perlu menyiapkan bidang ini untuk pemfilteran.

Anda dapat mengenkripsi toko vektor pihak ketiga dengan KMS kunci. Untuk informasi selengkapnya, lihat Enkripsi sumber daya basis pengetahuan.

Pilih tab yang sesuai dengan layanan penyimpanan vektor yang akan Anda gunakan untuk membuat indeks vektor Anda.

Amazon OpenSearch Serverless

  1. Untuk mengonfigurasi izin dan membuat koleksi pencarian vektor di Amazon Tanpa OpenSearch Server di AWS Management Console, ikuti langkah 1 dan 2 di Bekerja dengan koleksi pencarian vektor di Panduan Pengembang OpenSearch Layanan Amazon. Perhatikan pertimbangan berikut saat menyiapkan koleksi Anda:

    1. Berikan koleksi nama dan deskripsi pilihan Anda.

    2. Untuk membuat koleksi Anda pribadi, pilih Standard create for the Security. Kemudian, di bagian Pengaturan akses jaringan, pilih VPCsebagai jenis Akses dan pilih VPC titik akhir. Untuk informasi selengkapnya tentang menyiapkan VPC titik akhir untuk koleksi Amazon OpenSearch Tanpa Server, lihat Mengakses Amazon OpenSearch Tanpa Server menggunakan titik akhir antarmuka (AWS PrivateLink) di Panduan Pengembang OpenSearch Layanan Amazon.

  2. Setelah koleksi dibuat, perhatikan Koleksi ARN saat Anda membuat basis pengetahuan.

  3. Di panel navigasi kiri, pilih Koleksi di bawah Tanpa Server. Kemudian pilih koleksi pencarian vektor Anda.

  4. Pilih tab Indeks. Kemudian pilih Buat indeks vektor.

  5. Di bagian Detail indeks vektor, masukkan nama untuk indeks Anda di bidang nama indeks vektor.

  6. Di bagian Bidang vektor, pilih Tambahkan bidang vektor. Amazon Bedrock menyimpan embeddings vektor untuk sumber data Anda di bidang ini. Berikan konfigurasi berikut:

    • Nama bidang vektor — Berikan nama untuk bidang (misalnya,embeddings).

    • Mesin — Mesin vektor yang digunakan untuk pencarian. Pilih Faiss.

    • Dimensi — Jumlah dimensi dalam vektor. Lihat tabel berikut untuk menentukan berapa banyak dimensi yang harus dikandung vektor:

      Model Dimensi
      Titan Embeddings G1 - Teks 1,536
      Titan V2 Embeddings - Teks 1,024
      Cohere Embed Bahasa Inggris 1,024
      Cohere Embed Multilingual 1,024

    • Metrik jarak — Metrik yang digunakan untuk mengukur kesamaan antara vektor. Kami merekomendasikan menggunakan Euclidean.

  7. Perluas bagian manajemen Metadata dan tambahkan dua bidang untuk mengonfigurasi indeks vektor untuk menyimpan metadata tambahan yang dapat diambil oleh basis pengetahuan dengan vektor. Tabel berikut menjelaskan bidang dan nilai yang akan ditentukan untuk setiap bidang:

    Deskripsi bidang Bidang pemetaan Tipe data Dapat disaring
    Amazon Bedrock memotong teks mentah dari data Anda dan menyimpan potongan di bidang ini. Nama pilihan Anda (misalnya,text) String True
    Amazon Bedrock menyimpan metadata yang terkait dengan basis pengetahuan Anda di bidang ini. Nama pilihan Anda (misalnya,bedrock-metadata) String False

  8. Catat nama yang Anda pilih untuk nama indeks vektor, nama bidang vektor, dan nama bidang pemetaan manajemen metadata saat Anda membuat basis pengetahuan. Lalu pilih Buat.

Setelah indeks vektor dibuat, Anda dapat melanjutkan untuk membuat basis pengetahuan Anda. Tabel berikut merangkum di mana Anda akan memasukkan setiap informasi yang Anda catat.

Bidang Bidang yang sesuai dalam pengaturan basis pengetahuan (Konsol) Bidang yang sesuai dalam pengaturan basis pengetahuan (API) Deskripsi
Koleksi ARN Koleksi ARN koleksi ARN Nama Sumber Daya Amazon (ARN) dari koleksi pencarian vektor.
Nama indeks vektor Nama indeks vektor vectorIndexName Nama indeks vektor.
Nama bidang vektor Bidang vektor vectorField Nama bidang tempat menyimpan embeddings vektor untuk sumber data Anda.
Manajemen metadata (bidang pemetaan pertama) Bidang teks textField Nama bidang untuk menyimpan teks mentah dari sumber data Anda.
Manajemen metadata (bidang pemetaan kedua) Bidang metadata yang dikelola batuan dasar metadataField Nama bidang tempat menyimpan metadata yang dikelola Amazon Bedrock.

Untuk dokumentasi lebih rinci tentang menyiapkan penyimpanan vektor di Amazon OpenSearch Tanpa Server, lihat Bekerja dengan koleksi pencarian vektor di Panduan Pengembang OpenSearch Layanan Amazon.

Amazon Aurora (RDS)

  1. Buat klaster, skema, dan tabel database Amazon Aurora (DB) dengan mengikuti langkah-langkah di Menggunakan Aurora SQL Postgre sebagai basis pengetahuan. Saat Anda membuat tabel, konfigurasikan dengan kolom dan tipe data berikut. Anda dapat menggunakan nama kolom yang Anda sukai, bukan yang tercantum dalam tabel berikut. Catat nama kolom yang Anda pilih sehingga Anda dapat memberikannya selama pengaturan basis pengetahuan.

    Nama kolom Tipe data Bidang yang sesuai dalam pengaturan basis pengetahuan (Konsol) Bidang yang sesuai dalam pengaturan basis pengetahuan (API) Deskripsi
    id UUIDkunci utama Kunci primer primaryKeyField Berisi pengidentifikasi unik untuk setiap catatan.
    menyematkan vektor Bidang vektor vectorField Berisi embeddings vektor dari sumber data.
    potongan Teks Bidang teks textField Berisi potongan teks mentah dari sumber data Anda.
    Metadata JSON Bidang metadata yang dikelola batuan dasar metadataField Berisi metadata yang diperlukan untuk melakukan atribusi sumber dan untuk mengaktifkan penyerapan dan kueri data

  2. (Opsional) Jika Anda menambahkan metadata ke file Anda untuk pemfilteran, Anda juga harus membuat kolom untuk setiap atribut metadata dalam file Anda dan menentukan tipe data (teks, angka, atau boolean). Misalnya, jika atribut genre ada di sumber data Anda, Anda akan menambahkan kolom bernama genre dan menentukan text sebagai tipe data. Selama konsumsi data, kolom ini akan diisi dengan nilai atribut yang sesuai.

  3. Konfigurasikan sebuah AWS Secrets Manager rahasia untuk cluster Aurora DB Anda dengan mengikuti langkah-langkah di Manajemen kata sandi dengan Amazon Aurora dan AWS Secrets Manager.

  4. Catat informasi berikut setelah Anda membuat cluster DB dan mengatur rahasianya.

    Bidang dalam pengaturan basis pengetahuan (Konsol) Bidang dalam pengaturan basis pengetahuan (API) Deskripsi
    Amazon Aurora DB Cluster ARN resourceArn ARNCluster DB Anda.
    Nama basis data databaseName Nama database Anda
    Nama tabel tableName Nama tabel di cluster DB Anda
    Rahasia ARN credentialsSecretArn ARNDari AWS Secrets Manager kunci untuk cluster DB Anda
Pinecone
catatan

Jika Anda menggunakan Pinecone, Anda setuju untuk mengotorisasi AWS untuk mengakses sumber pihak ketiga yang ditunjuk atas nama Anda untuk menyediakan layanan penyimpanan vektor kepada Anda. Anda bertanggung jawab untuk mematuhi persyaratan pihak ketiga yang berlaku untuk penggunaan dan dan transfer data dari layanan pihak ketiga.

Untuk dokumentasi rinci tentang pengaturan penyimpanan vektor di Pinecone, lihat Biji Pinus sebagai basis pengetahuan untuk Amazon Bedrock.

Saat Anda mengatur penyimpanan vektor, perhatikan informasi berikut, yang akan Anda isi saat membuat basis pengetahuan:

  • String koneksi - Titik akhir URL untuk halaman manajemen indeks Anda.

  • Namespace — (Opsional) Namespace yang akan digunakan untuk menulis data baru ke database Anda. Untuk informasi selengkapnya, lihat Menggunakan ruang nama.

Ada konfigurasi tambahan yang harus Anda berikan saat membuat Pinecone indeks:

  • Nama — Nama indeks vektor. Pilih nama yang valid pilihan Anda. Kemudian, saat Anda membuat basis pengetahuan Anda, masukkan nama yang Anda pilih di bidang nama indeks vektor.

  • Dimensi — Jumlah dimensi dalam vektor. Lihat tabel berikut untuk menentukan berapa banyak dimensi yang harus dikandung vektor.

    Model Dimensi
    Titan Embeddings G1 - Teks 1,536
    Titan V2 Embeddings - Teks 1,024
    Cohere Embed Bahasa Inggris 1,024
    Cohere Embed Multilingual 1,024

  • Metrik jarak — Metrik yang digunakan untuk mengukur kesamaan antara vektor. Kami menyarankan Anda bereksperimen dengan metrik yang berbeda untuk kasus penggunaan Anda. Kami merekomendasikan memulai dengan kesamaan kosinus.

Untuk mengakses Pinecone indeks, Anda harus memberikan Pinecone APIkunci ke Amazon Bedrock melalui AWS Secrets Manager.

Untuk membuat rahasia untuk Anda Pinecone konfigurasi

  1. Ikuti langkah-langkahnya di Buat AWS Secrets Manager rahasia, menetapkan kunci sebagai apiKey dan nilai sebagai API kunci untuk mengakses Anda Pinecone indeks.

  2. Untuk menemukan API kunci Anda, buka konsol Pinecone Anda dan pilih API Keys.

  3. Setelah Anda membuat rahasia, perhatikan ARN KMS kuncinya.

  4. Lampirkan izin ke peran layanan Anda untuk mendekripsi KMS kunci dengan mengikuti langkah-langkahnya. ARN Izin untuk mendekripsi AWS Secrets Manager rahasia untuk penyimpanan vektor yang berisi basis pengetahuan Anda

  5. Kemudian, ketika Anda membuat basis pengetahuan Anda, masukkan ARN di bidang rahasia ARN Kredensial.

Redis Enterprise Cloud
catatan

Jika Anda menggunakan Redis Enterprise Cloud, Anda setuju untuk mengotorisasi AWS untuk mengakses sumber pihak ketiga yang ditunjuk atas nama Anda untuk menyediakan layanan penyimpanan vektor kepada Anda. Anda bertanggung jawab untuk mematuhi persyaratan pihak ketiga yang berlaku untuk penggunaan dan transfer data dari layanan pihak ketiga.

Untuk dokumentasi rinci tentang pengaturan penyimpanan vektor di Redis Enterprise Cloud, lihat Mengintegrasikan Redis Enterprise Cloud dengan Amazon Bedrock.

Saat Anda mengatur penyimpanan vektor, perhatikan informasi berikut, yang akan Anda isi saat membuat basis pengetahuan:

  • Endpoint URL — Endpoint publik URL untuk database Anda.

  • Nama indeks vektor — Nama indeks vektor untuk database Anda.

  • Bidang vektor — Nama bidang tempat penyematan vektor akan disimpan. Lihat tabel berikut untuk menentukan berapa banyak dimensi yang harus dikandung vektor.

    Model Dimensi
    Titan Embeddings G1 - Teks 1,536
    Titan V2 Embeddings - Teks 1,024
    Cohere Embed Bahasa Inggris 1,024
    Cohere Embed Multilingual 1,024

  • Bidang teks — Nama bidang tempat Amazon Bedrock menyimpan potongan teks mentah.

  • Bidang metadata yang dikelola oleh batuan dasar — Nama bidang tempat Amazon Bedrock menyimpan metadata yang terkait dengan basis pengetahuan Anda.

Untuk mengakses Redis Enterprise Cloud cluster, Anda harus memberikan Redis Enterprise Cloud konfigurasi keamanan ke Amazon Bedrock melalui AWS Secrets Manager.

Untuk membuat rahasia untuk Anda Redis Enterprise Cloud konfigurasi

  1. Aktifkan TLS untuk menggunakan database Anda dengan Amazon Bedrock dengan mengikuti langkah-langkah di Transport Layer Security (TLS).

  2. Ikuti langkah-langkahnya di Buat AWS Secrets Manager rahasia. Siapkan kunci berikut dengan nilai yang sesuai dari Anda Redis Enterprise Cloud konfigurasi dalam rahasia:

    • username— Nama pengguna untuk mengakses Redis Enterprise Cloud basis data. Untuk menemukan nama pengguna Anda, lihat di bawah bagian Keamanan database Anda di Konsol Redis.

    • password— Kata sandi untuk mengakses Redis Enterprise Cloud basis data. Untuk menemukan kata sandi Anda, lihat di bawah bagian Keamanan database Anda di Konsol Redis.

    • serverCertificate— Isi sertifikat dari otoritas Redis Cloud Certificate. Unduh sertifikat server dari Konsol Admin Redis dengan mengikuti langkah-langkah di Unduh sertifikat.

    • clientPrivateKey— Kunci pribadi sertifikat dari otoritas Redis Cloud Certificate. Unduh sertifikat server dari Konsol Admin Redis dengan mengikuti langkah-langkah di Unduh sertifikat.

    • clientCertificate— Kunci publik sertifikat dari otoritas Redis Cloud Certificate. Unduh sertifikat server dari Konsol Admin Redis dengan mengikuti langkah-langkah di Unduh sertifikat.

  3. Setelah Anda membuat rahasianya, perhatikan rahasianyaARN. Kemudian, ketika Anda membuat basis pengetahuan Anda, masukkan ARN di bidang rahasia ARN Kredensial.

MongoDB Atlas
catatan

Jika Anda menggunakan MongoDB Atlas, Anda setuju untuk mengotorisasi AWS untuk mengakses sumber pihak ketiga yang ditunjuk atas nama Anda untuk menyediakan layanan penyimpanan vektor kepada Anda. Anda bertanggung jawab untuk mematuhi persyaratan pihak ketiga yang berlaku untuk penggunaan dan dan transfer data dari layanan pihak ketiga.

Untuk dokumentasi rinci tentang menyiapkan penyimpanan vektor di MongoDB Atlas, lihat MongoDB Atlas sebagai basis pengetahuan untuk Amazon Bedrock.

Saat Anda mengatur penyimpanan vektor, perhatikan informasi berikut yang akan Anda tambahkan saat Anda membuat basis pengetahuan:

  • Endpoint URL — Titik akhir cluster URL MongoDB Atlas Anda.

  • Nama database — Nama database di cluster MongoDB Atlas Anda.

  • Nama koleksi — Nama koleksi dalam database Anda.

  • Rahasia kredensial ARN - Nama Sumber Daya Amazon (ARN) dari rahasia yang Anda buat di AWS Secrets Manager yang berisi nama pengguna dan kata sandi untuk pengguna database di cluster MongoDB Atlas Anda.

  • (Opsional) KMS Kunci yang dikelola pelanggan untuk rahasia Kredensil Anda ARN — jika Anda mengenkripsi rahasia kredensialnya, ARN berikan kunci tersebut KMS agar Amazon Bedrock dapat mendekripsi.

Ada konfigurasi tambahan untuk pemetaan Field yang harus Anda berikan saat membuat indeks MongoDB Atlas:

  • Nama indeks vektor — Nama Indeks Pencarian Vektor MongoDB Atlas pada koleksi Anda.

  • Nama bidang vektor — Nama bidang tempat Amazon Bedrock harus menyimpan embeddings vektor.

  • Nama bidang teks - Nama bidang tempat Amazon Bedrock harus menyimpan teks potongan mentah.

  • Nama bidang metadata — Nama bidang tempat Amazon Bedrock harus menyimpan metadata atribusi sumber.

(Opsional) Agar Amazon Bedrock terhubung ke cluster MongoDB Atlas Anda AWS PrivateLink, lihat RAGalur kerja dengan MongoDB Atlas menggunakan Amazon Bedrock.