Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penggunaan CloudFormation untuk mengatur inferensi jarak jauh untuk pencarian semantik

Dimulai dengan OpenSearch versi 2.9, Anda dapat menggunakan inferensi jarak jauh dengan pencarian semantik untuk meng-host model pembelajaran mesin (ML) Anda sendiri. Inferensi jarak jauh menggunakan plugin https://opensearch.org/docs/latest/ml-commons-plugin/index/ ML Commons.

Dengan Inferensi jarak jauh, Anda dapat meng-host kesimpulan model Anda dari jarak jauh di layanan ML, seperti Amazon SageMaker AI dan Amazon Bedrock, dan menghubungkannya ke Amazon OpenSearch Service dengan konektor ML.

Untuk memudahkan pengaturan inferensi jarak jauh, Amazon OpenSearch Service menyediakan AWS CloudFormation template di konsol. CloudFormation adalah Layanan AWS tempat di mana Anda dapat, menyediakan, AWS dan mengelola sumber daya pihak ketiga dengan memperlakukan infrastruktur sebagai kode.

OpenSearch CloudFormation Template mengotomatiskan proses penyediaan model untuk Anda, sehingga Anda dapat dengan mudah membuat model di domain OpenSearch Layanan Anda dan kemudian menggunakan ID model untuk menelan data dan menjalankan kueri pencarian saraf.

Saat Anda menggunakan enkoder neural sparse dengan OpenSearch Layanan versi 2.12 dan seterusnya, sebaiknya gunakan model tokenizer secara lokal alih-alih menerapkan dari jarak jauh. Untuk informasi selengkapnya, lihat model pengkodean Sparse dalam OpenSearch dokumentasi.

Available CloudFormation templat

Template pembelajaran AWS CloudFormation mesin (ML) berikut tersedia untuk digunakan:

Prasyarat

Untuk menggunakan CloudFormation template dengan OpenSearch Layanan, lengkapi prasyarat berikut.

Menyiapkan domain OpenSearch Layanan

Sebelum dapat menggunakan CloudFormation template, Anda harus menyiapkan domain OpenSearch Layanan Amazon dengan versi 2.9 atau yang lebih baru dan kontrol akses halus diaktifkan. Buat peran backend OpenSearch Layanan untuk memberikan izin plugin ML Commons untuk membuat konektor Anda untuk Anda.

Tem CloudFormation plate membuat peran Lambda IAM untuk Anda dengan nama defaultLambdaInvokeOpenSearchMLCommonsRole, yang dapat Anda ganti jika Anda ingin memilih nama yang berbeda. Setelah template membuat peran IAM ini, Anda perlu memberikan izin fungsi Lambda untuk memanggil domain OpenSearch Layanan Anda. Untuk melakukannya, pet akan peran yang diberi ml_full_access nama ke peran backend OpenSearch Layanan Anda dengan langkah-langkah berikut:

Setelah Anda memetakan peran, navigasikan ke konfigurasi keamanan domain Anda dan tambahkan peran Lambda IAM ke kebijakan akses OpenSearch Layanan Anda.

Aktifkan izin pada Anda Akun AWS

Anda Akun AWS harus memiliki izin untuk mengakses CloudFormation dan Lambda, bersama dengan mana pun yang Layanan AWS Anda pilih untuk template Anda - baik SageMaker Runtime atau Amazon Bedrock.

Jika Anda menggunakan Amazon Bedrock, Anda juga harus mendaftarkan model Anda. Lihat Akses Model di Panduan Pengguna Amazon Bedrock untuk mendaftarkan model Anda.

Jika Anda menggunakan bucket Amazon S3 Anda sendiri untuk menyediakan artefak model, Anda harus menambahkan peran CloudFormation IAM ke kebijakan akses S3 Anda. Untuk informasi lebih lanjut, lihat Menambahkan dan menghapus izin identitas IAM dalam Panduan Pengguna IAM.

Inferensi jarak jauh untuk templat penyorotan semantik

Penyorotan semantik adalah fitur pencarian lanjutan yang meningkatkan relevansi hasil dengan menganalisis makna dan konteks kueri daripada hanya mengandalkan kecocokan kata kunci yang tepat. Kemampuan ini menggunakan model pembelajaran mesin untuk mengevaluasi kesamaan semantik antara kueri pencarian dan konten dokumen, mengidentifikasi dan menyoroti kalimat atau bagian yang paling relevan secara kontekstual dalam dokumen. Tidak seperti metode penyorotan tradisional yang berfokus pada kecocokan istilah yang tepat, penyorotan semantik memanfaatkan model AI untuk menilai setiap kalimat menggunakan informasi kontekstual dari kueri dan teks sekitarnya, memungkinkannya untuk memunculkan informasi terkait bahkan ketika istilah pencarian yang tepat tidak ada di bagian yang disorot. Pendekatan ini sangat berharga untuk implementasi AI-driven pencarian di mana pengguna memprioritaskan makna semantik daripada pencocokan kata literal, memungkinkan administrator pencarian untuk memberikan pengalaman pencarian yang lebih cerdas dan sadar kontekstual yang menyoroti rentang konten yang bermakna daripada hanya kejadian kata kunci. Untuk informasi selengkapnya, lihat Menggunakan penyorotan semantik.

Gunakan prosedur berikut untuk membuka dan menjalankan CloudFormation template yang secara otomatis mengonfigurasi SageMaker model Amazon untuk penyorotan semantik.