Buat basis pengetahuan Amazon Bedrock - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Buat basis pengetahuan Amazon Bedrock

Anda dapat membuat basis pengetahuan Amazon Bedrock untuk mengambil informasi dari data milik Anda dan menghasilkan tanggapan untuk menjawab pertanyaan bahasa alami. Sebagai bagian dari pembuatan basis pengetahuan, Anda mengonfigurasi sumber data dan penyimpanan vektor pilihan Anda.

catatan

Anda tidak dapat membuat basis pengetahuan dengan pengguna root. Masuk dengan IAM pengguna sebelum memulai langkah-langkah ini.

Pilih tab yang sesuai dengan metode pilihan Anda dan ikuti langkah-langkahnya:

Console
Untuk membuat basis pengetahuan
  1. Masuk ke AWS Management Console menggunakan IAMperan dengan izin Amazon Bedrock, dan buka konsol Amazon Bedrock di. https://console.aws.amazon.com/bedrock/

  2. Dari panel navigasi kiri, pilih Basis pengetahuan.

  3. Di bagian Basis pengetahuan, pilih Buat basis pengetahuan.

  4. Pada halaman Berikan detail basis pengetahuan, siapkan konfigurasi berikut:

    1. (Opsional) Di bagian Detail basis pengetahuan, ubah nama default dan berikan deskripsi untuk basis pengetahuan Anda.

    2. Di bagian IAMizin, pilih peran AWS Identity and Access Management (IAM) yang memberikan izin Amazon Bedrock untuk mengakses layanan lain AWS . Anda dapat membiarkan Amazon Bedrock membuat peran layanan atau memilih peran khusus yang telah Anda buat.

    3. (Opsional) Tambahkan tag ke basis pengetahuan Anda. Untuk informasi selengkapnya, lihat Menandai sumber daya Amazon Bedrock.

    4. Pilih Selanjutnya.

  5. Pada halaman Pilih sumber data, pilih sumber data yang akan digunakan untuk basis pengetahuan:

    1. Ikuti langkah-langkah konfigurasi koneksi untuk sumber data yang Anda pilih. Lihat Sumber data yang didukung untuk memilih sumber data Anda dan ikuti langkah-langkah konfigurasi koneksi konsol.

    2. (Opsional) Untuk mengkonfigurasi pengaturan lanjutan berikut sebagai bagian dari konfigurasi sumber data, perluas Pengaturan lanjutan - bagian opsional.

      Untuk KMS key pengaturan, Anda dapat memilih salah satu kunci kustom atau menggunakan kunci enkripsi data default yang disediakan.

      Saat mengonversi data Anda menjadi embeddings, Amazon Bedrock mengenkripsi data sementara Anda dengan kunci yang memiliki dan mengelola, secara default. AWS Anda dapat menggunakan KMS kunci Anda sendiri. Untuk informasi selengkapnya, lihat Enkripsi penyimpanan data sementara selama konsumsi data.

      Untuk setelan kebijakan penghapusan data, Anda dapat memilih:

      • Hapus: Menghapus semua data dari sumber data Anda yang diubah menjadi embeddings vektor setelah penghapusan basis pengetahuan atau sumber daya sumber data. Perhatikan bahwa penyimpanan vektor itu sendiri tidak dihapus, hanya data. Bendera ini diabaikan jika AWS akun dihapus.

      • Mempertahankan: Menyimpan semua data dari sumber data Anda yang diubah menjadi embeddings vektor setelah penghapusan basis pengetahuan atau sumber daya sumber data. Perhatikan bahwa penyimpanan vektor itu sendiri tidak dihapus jika Anda menghapus basis pengetahuan atau sumber daya sumber data.

    3. Untuk mengonfigurasi pengaturan chunking dan parsing konten berikut sebagai bagian dari konfigurasi sumber data, buka bagian Chunking dan parsing konten.

      Pilih salah satu opsi chunking berikut:

      • Potongan ukuran tetap: Konten dibagi menjadi potongan-potongan teks dengan perkiraan ukuran token yang Anda tetapkan. Anda dapat mengatur jumlah maksimum token yang tidak boleh melebihi potongan dan persentase tumpang tindih antara potongan berturut-turut.

      • Potongan default: Konten dibagi menjadi potongan-potongan teks hingga 300 token. Jika satu dokumen atau konten berisi kurang dari 300 token, dokumen tersebut tidak dibagi lebih lanjut.

      • Chunking hierarkis: Konten diatur ke dalam struktur bersarang dari potongan orangtua-anak. Anda menetapkan ukuran token potongan induk maksimum dan ukuran token potongan anak maksimum. Anda juga menetapkan jumlah absolut token tumpang tindih antara potongan induk berturut-turut dan potongan anak berturut-turut.

      • Potongan semantik: Konten yang disusun ke dalam potongan teks atau kelompok kalimat yang serupa secara semantik. Anda mengatur jumlah maksimum kalimat di sekitar target/kalimat saat ini untuk dikelompokkan bersama (ukuran buffer). Anda juga mengatur ambang persentil breakpoint untuk membagi teks menjadi potongan-potongan yang bermakna. Chunking semantik menggunakan model pondasi. Lihat Amazon Bedrock harga untuk informasi tentang biaya model pondasi.

      • No chunking: Setiap dokumen diperlakukan sebagai potongan teks tunggal. Anda mungkin ingin pra-proses dokumen Anda dengan membaginya menjadi file terpisah.

      catatan

      Anda tidak dapat mengubah strategi chunking setelah Anda membuat sumber data.

      Anda dapat memilih untuk menggunakan Amazon Bedrock model dasar untuk mengurai dokumen untuk mengurai lebih dari teks standar. Anda dapat mengurai data tabular dalam dokumen dengan strukturnya utuh, misalnya. Lihat Amazon Bedrock harga untuk informasi tentang biaya model pondasi.

      Anda dapat memilih untuk menggunakan AWS Lambda fungsi untuk menyesuaikan strategi chunking Anda dan bagaimana atribut/bidang metadata dokumen Anda diperlakukan dan dicerna. Berikan lokasi Amazon S3 bucket untuk input dan output fungsi Lambda.

    4. Pilih Selanjutnya.

  6. Pada halaman Select embeddings model dan configure vector store, pilih model embeddings yang didukung untuk mengonversi data Anda menjadi embeddings vektor untuk basis pengetahuan.

  7. Di bagian Vector store, pilih salah satu opsi berikut untuk menyimpan embeddings vektor untuk basis pengetahuan Anda:

    • Buat toko vektor baru dengan cepat — Amazon Bedrock membuat koleksi pencarian vektor Amazon OpenSearch Tanpa Server untuk Anda. Dengan opsi ini, koleksi pencarian vektor publik dan indeks vektor disiapkan untuk Anda dengan bidang yang diperlukan dan konfigurasi yang diperlukan. Setelah koleksi dibuat, Anda dapat mengelolanya di konsol Amazon OpenSearch Tanpa Server atau melalui. AWS API Untuk informasi selengkapnya, lihat Bekerja dengan koleksi pencarian vektor di Panduan Pengembang OpenSearch Layanan Amazon. Jika Anda memilih opsi ini, Anda dapat mengaktifkan pengaturan berikut secara opsional:

      1. Untuk mengaktifkan replika aktif yang berlebihan, sehingga ketersediaan penyimpanan vektor Anda tidak terganggu jika terjadi kegagalan infrastruktur, pilih Aktifkan redundansi (replika aktif).

        catatan

        Kami menyarankan Anda membiarkan opsi ini dinonaktifkan saat Anda menguji basis pengetahuan Anda. Saat Anda siap untuk menerapkan ke produksi, kami sarankan Anda mengaktifkan replika aktif yang berlebihan. Untuk informasi tentang harga, lihat Harga untuk Tanpa OpenSearch Server

      2. Untuk mengenkripsi penyimpanan vektor otomatis dengan kunci yang dikelola pelanggan, pilih Tambahkan kunci yang dikelola pelanggan KMS untuk vektor Amazon OpenSearch Tanpa Server — opsional dan pilih kuncinya. Untuk informasi selengkapnya, lihat Enkripsi informasi diteruskan ke OpenSearch Layanan Amazon.

    • Pilih toko vektor yang telah Anda buat — Pilih layanan untuk penyimpanan vektor yang telah Anda buat. Isi kolom untuk memungkinkan Amazon Bedrock memetakan informasi dari basis pengetahuan ke penyimpanan vektor Anda, sehingga dapat menyimpan, memperbarui, dan mengelola penyematan vektor. Untuk informasi selengkapnya tentang bidang, lihat Menyiapkan penyimpanan vektor yang didukung Anda sendiri.

      catatan

      Jika Anda menggunakan database di Amazon OpenSearch Tanpa Server, Amazon Aurora, atau MongoDB Atlas, Anda harus mengonfigurasi bidang di bawah Pemetaan bidang sebelumnya. Jika Anda menggunakan database di Pinecone atau Redis Enterprise Cloud, Anda dapat memberikan nama untuk bidang ini di sini dan Amazon Bedrock akan membuatnya secara dinamis di toko vektor untuk Anda.

  8. Pilih Selanjutnya.

  9. Pada halaman Tinjau dan buat, periksa konfigurasi dan detail basis pengetahuan Anda. Pilih Edit di bagian mana pun yang perlu Anda ubah. Ketika Anda puas, pilih Buat basis pengetahuan.

  10. Waktu yang dibutuhkan untuk membuat basis pengetahuan tergantung pada konfigurasi spesifik Anda. Ketika pembuatan basis pengetahuan telah selesai, status basis pengetahuan berubah menjadi keadaan siap atau tersedia.

API

Untuk membuat basis pengetahuan, kirim CreateKnowledgeBasepermintaan dengan titik akhir waktu pembuatan Agen untuk Amazon Bedrock dan berikan nama, deskripsi, instruksi untuk apa yang harus dilakukan, dan model dasar untuk mengaturnya.

catatan

Jika Anda lebih suka membiarkan Amazon Bedrock membuat dan mengelola penyimpanan vektor untuk Anda di Amazon OpenSearch Service, gunakan konsol. Untuk informasi selengkapnya, lihat Buat basis pengetahuan Amazon Bedrock.

  • Berikan izin untuk membuat basis pengetahuan di roleArn lapangan. ARN

  • Berikan model embeddings vektor untuk digunakan di embeddingModelArn bidang dalam objek. knowledgeBaseConfiguration Lihat model yang didukung untuk basis pengetahuan.

    Anda harus mengaktifkan akses model untuk menggunakan model yang didukung untuk basis pengetahuan. Catat model Anda Amazon Resource Name (ARN) yang diperlukan untuk mengubah data Anda menjadi embeddings vektor. Salin ID model untuk model yang Anda pilih untuk basis pengetahuan dan buat model ARN menggunakan ID model (sumber daya), mengikuti ARNcontoh yang diberikan untuk jenis sumber daya model Anda.

  • Berikan konfigurasi untuk penyimpanan vektor Anda di storageConfiguration objek. Untuk informasi selengkapnya, silakan lihat Prasyarat untuk penyimpanan vektor Anda sendiri untuk basis pengetahuan

    • Untuk database Amazon OpenSearch Service, gunakan opensearchServerlessConfiguration objek.

    • Untuk Pinecone database, gunakan pineconeConfiguration objek.

    • Untuk Redis Enterprise Cloud database, gunakan redisEnterpriseCloudConfiguration objek.

    • Untuk database Amazon Aurora, gunakan objek. rdsConfiguration

    • Untuk database MongoDB Atlas, gunakan objek. mongodbConfiguration

Setelah Anda membuat basis pengetahuan, buat sumber data yang berisi dokumen atau konten untuk basis pengetahuan Anda. Untuk membuat sumber data, kirim CreateDataSourcepermintaan. Lihat Sumber data yang didukung untuk memilih sumber data Anda dan ikuti contoh konfigurasi API sambungan.

  • Berikan informasi koneksi untuk file sumber data di dataSourceConfiguration lapangan.

  • Tentukan cara memotong sumber data di vectorIngestionConfiguration lapangan.

    catatan

    Anda tidak dapat mengubah konfigurasi chunking setelah membuat sumber data.

  • Berikan sumber data Anda. dataDeletionPolicy Anda dapat DELETE semua data dari sumber data Anda yang diubah menjadi embeddings vektor setelah penghapusan basis pengetahuan atau sumber daya sumber data. Bendera ini diabaikan jika AWS akun dihapus. Anda dapat RETAIN semua data dari sumber data Anda yang diubah menjadi embeddings vektor setelah penghapusan basis pengetahuan atau sumber daya sumber data. Perhatikan bahwa penyimpanan vektor itu sendiri tidak dihapus jika Anda menghapus basis pengetahuan atau sumber daya sumber data.

  • (Opsional) Saat mengonversi data Anda menjadi embeddings, Amazon Bedrock mengenkripsi data Anda dengan kunci AWS yang memiliki dan mengelola, secara default. Untuk menggunakan KMS kunci Anda sendiri, sertakan dalam serverSideEncryptionConfiguration objek. Untuk informasi selengkapnya, lihat Enkripsi sumber daya basis pengetahuan.

Siapkan konfigurasi keamanan untuk basis pengetahuan Anda

Setelah membuat basis pengetahuan, Anda mungkin harus menyiapkan konfigurasi keamanan berikut:

Menyiapkan kebijakan akses data untuk basis pengetahuan Anda

Jika Anda menggunakan peran khusus, siapkan konfigurasi keamanan untuk basis pengetahuan yang baru dibuat. Jika Anda membiarkan Amazon Bedrock membuat peran layanan untuk Anda, Anda dapat melewati langkah ini. Ikuti langkah-langkah di tab yang sesuai dengan database yang Anda atur.

Amazon OpenSearch Serverless

Untuk membatasi akses ke koleksi Amazon OpenSearch Tanpa Server ke peran layanan basis pengetahuan, buat kebijakan akses data. Anda dapat melakukannya dengan cara-cara berikut:

Gunakan kebijakan akses data berikut, yang menentukan koleksi Amazon OpenSearch Tanpa Server dan peran layanan Anda:

[ { "Description": "${data access policy description}", "Rules": [ { "Resource": [ "index/${collection_name}/*" ], "Permission": [ "aoss:DescribeIndex", "aoss:ReadDocument", "aoss:WriteDocument" ], "ResourceType": "index" } ], "Principal": [ "arn:aws:iam::${account-id}:role/${kb-service-role}" ] } ]
Pinecone, Redis Enterprise Cloud or MongoDB Atlas

Untuk mengintegrasikan a Pinecone, Redis Enterprise Cloud, MongoDB Atlas indeks vektor, lampirkan kebijakan berbasis identitas berikut ke peran layanan basis pengetahuan Anda untuk memungkinkannya mengakses rahasia untuk indeks vektor. AWS Secrets Manager

{ "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Action": [ "bedrock:AssociateThirdPartyKnowledgeBase" ], "Resource": "*", "Condition": { "StringEquals": { "bedrock:ThirdPartyKnowledgeBaseCredentialsSecretArn": "arn:aws:iam::${region}:${account-id}:secret:${secret-id}" } } }] }

Menyiapkan kebijakan akses jaringan untuk basis pengetahuan Amazon OpenSearch Tanpa Server Anda

Jika Anda menggunakan koleksi Amazon OpenSearch Tanpa Server pribadi untuk basis pengetahuan Anda, itu hanya dapat diakses melalui titik akhir. AWS PrivateLink VPC Anda dapat membuat koleksi Amazon OpenSearch Tanpa Server pribadi saat menyiapkan koleksi vektor Amazon OpenSearch Tanpa Server atau membuat koleksi Amazon Tanpa OpenSearch Server yang ada (termasuk yang dibuat oleh konsol Amazon Bedrock untuk Anda) saat mengonfigurasi kebijakan akses jaringannya.

Sumber daya berikut dalam Panduan Pengembang OpenSearch Layanan Amazon akan membantu Anda memahami penyiapan yang diperlukan untuk koleksi Private Amazon OpenSearch Tanpa Server:

Untuk mengizinkan basis pengetahuan Amazon Bedrock mengakses koleksi Amazon OpenSearch Tanpa Server pribadi, Anda harus mengedit kebijakan akses jaringan untuk koleksi Amazon Tanpa OpenSearch Server untuk mengizinkan Amazon Bedrock sebagai layanan sumber. Pilih tab yang sesuai dengan metode pilihan Anda dan ikuti langkah-langkahnya:

Console
  1. Buka konsol OpenSearch Layanan Amazon di https://console.aws.amazon.com/aos/.

  2. Dari panel navigasi kiri, pilih Koleksi. Kemudian pilih koleksi Anda.

  3. Di bagian Jaringan, pilih Kebijakan Terkait.

  4. Pilih Edit.

  5. Untuk memilih metode definisi kebijakan, lakukan salah satu hal berikut:

    • Biarkan Pilih metode definisi kebijakan sebagai Editor visual dan konfigurasikan pengaturan berikut di bagian Aturan 1:

      1. (Opsional) Di bidang Nama aturan, masukkan nama untuk aturan akses jaringan.

      2. Di bawah Akses koleksi dari, pilih Pribadi (disarankan).

      3. Pilih AWS layanan akses pribadi. Di kotak teks, masukkanbedrock.amazonaws.com.

      4. Batalkan pilihan Aktifkan akses ke OpenSearch Dasbor.

    • Pilih JSONdan tempel kebijakan berikut di JSONeditor.

      [ { "AllowFromPublic": false, "Description":"${network access policy description}", "Rules":[ { "ResourceType": "collection", "Resource":[ "collection/${collection-id}" ] }, ], "SourceServices":[ "bedrock.amazonaws.com" ] } ]
  6. Pilih Perbarui.

API

Untuk mengedit kebijakan akses jaringan untuk koleksi Amazon OpenSearch Tanpa Server, lakukan hal berikut:

  1. Kirim GetSecurityPolicypermintaan dengan titik akhir OpenSearch Tanpa Server. Tentukan name kebijakan dan tentukan type sebagainetwork. Catat policyVersion dalam respons.

  2. Kirim UpdateSecurityPolicypermintaan dengan titik akhir OpenSearch Tanpa Server. Minimal, tentukan bidang-bidang berikut:

    Bidang Deskripsi
    nama Nama kebijakan
    policyVersion Yang policyVersion dikembalikan kepada Anda dari GetSecurityPolicy tanggapan.
    jenis Jenis kebijakan keamanan. Tentukan network.
    kebijakan Kebijakan untuk digunakan. Tentukan JSON objek berikut
    [ { "AllowFromPublic": false, "Description":"${network access policy description}", "Rules":[ { "ResourceType": "collection", "Resource":[ "collection/${collection-id}" ] }, ], "SourceServices":[ "bedrock.amazonaws.com" ] } ]

AWS CLI Sebagai contoh, lihat Membuat kebijakan akses data (AWS CLI).

  • Gunakan konsol OpenSearch Layanan Amazon dengan mengikuti langkah-langkah di Membuat kebijakan jaringan (konsol). Alih-alih membuat kebijakan jaringan, perhatikan kebijakan terkait di subbagian Jaringan dari rincian koleksi.