Menyebarkan cetak biru vektorisasi data streaming

Menyebarkan cetak biru vektorisasi data streaming

1. Pastikan sumber daya berikut diatur dengan benar:

   1. Cluster MSK yang disediakan atau Tanpa Server dengan satu atau lebih topik yang berisi data.

2. Pengaturan Batuan Dasar: Akses ke Model Batuan Dasar yang diinginkan. Model Bedrock yang saat ini didukung adalah:

   • Amazon Titan Embeddings G1 - Teks

   • Embeddings Teks Amazon Titan V2

   • Embeddings Multimodal Amazon Titan G1

   • Cohere Sematkan Bahasa Inggris

   • Cohere Sematkan Multilingual

3. AWS OpenSearch koleksi:

   • Anda dapat menggunakan koleksi Layanan yang disediakan atau Tanpa Server OpenSearch .

   • Koleksi OpenSearch Layanan harus memiliki setidaknya satu indeks.

   • Jika Anda berencana untuk menggunakan koleksi OpenSearch Tanpa Server, pastikan untuk membuat koleksi pencarian vektor. Untuk detail tentang cara menyiapkan indeks vektor, lihat Prasyarat untuk penyimpanan vektor Anda sendiri untuk basis pengetahuan. Untuk mempelajari lebih lanjut tentang vektorisasi, lihat kemampuan database vektor Amazon OpenSearch Service dijelaskan.

     catatan

     Saat membuat indeks vektor, Anda harus menggunakan nama bidang vektorembedded_data.

   • Jika Anda berencana untuk menggunakan koleksi OpenSearch Provisioned, Anda perlu menambahkan peran aplikasi MSF (yang berisi kebijakan akses Opensearch) yang dibuat oleh cetak biru, sebagai pengguna utama ke koleksi Anda. OpenSearch Juga, konfirmasikan bahwa kebijakan akses OpenSearch diatur ke tindakan “Izinkan”. Ini diperlukan untuk mengaktifkan kontrol akses butir halus.

   • Secara opsional, Anda dapat mengaktifkan akses ke OpenSearch dasbor untuk melihat hasil. Lihat untuk mengaktifkan kontrol akses butir halus.

4. Login menggunakan peran yang memungkinkan CreateStack izin aws:.

5. Buka dasbor konsol MSF dan pilih Buat Aplikasi Streaming.

6. Dalam Pilih metode untuk mengatur aplikasi pemrosesan aliran pilih Gunakan Blueprint.

7. Pilih cetak biru aplikasi AI real-time dari menu tarik-turun cetak biru.

8. Berikan konfigurasi yang diinginkan. Lihat Buat konfigurasi halaman.

9. Pilih Deploy Blueprint untuk memulai penerapan. CloudFormation

10. Setelah CloudFormation penerapan selesai, buka aplikasi Flink yang digunakan. Periksa properti Runtime aplikasi.

11. Anda dapat memilih untuk mengubah/menambahkan properti runtime ke aplikasi Anda. Lihat Konfigurasi Properti Runtime untuk detail untuk mengonfigurasi properti ini.

    catatan

    Catatan:

    Jika Anda menggunakan OpenSearch provisioned, pastikan Anda mengaktifkan kontrol akses butir halus.

    Jika klaster yang disediakan bersifat pribadi, tambahkan URL endpoint VPC OpenSearch Provisioned Anda dan sink.os.endpoint ubah https:// ke titik akhir ini.

    Jika klaster yang Anda berikan bersifat publik, pastikan aplikasi MSF Anda dapat mengakses internet. Untuk informasi selengkapnya, lihat >>>>>> express-brokers-publication-merge type="documentation” url="managed- flink/latest/java/vpc -internet.html ">Akses internet dan layanan untuk aplikasi Managed Service yang terhubung dengan VPC untuk Apache Flink.

12. Setelah Anda puas dengan semua konfigurasi, pilihRun. Aplikasi akan mulai berjalan.

13. Pompa pesan di cluster MSK Anda.

14. Arahkan ke cluster Opensearch dan pergi ke OpenSearch dasbor.

15. Di dasbor, pilih Temukan di menu sebelah kiri. Anda akan melihat dokumen yang bertahan bersama dengan penyematan vektornya.

16. Lihat Bekerja dengan koleksi pencarian vektor untuk melihat bagaimana Anda dapat menggunakan vektor yang disimpan dalam indeks.