Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pengambilan Augmented Generation
Model dasar biasanya dilatih secara offline, membuat model agnostik terhadap data apa pun yang dibuat setelah model dilatih. Selain itu, model dasar dilatih pada korpora domain yang sangat umum, membuatnya kurang efektif untuk tugas-tugas khusus domain. Anda dapat menggunakan Retrieval Augmented Generation (RAG) untuk mengambil data dari luar model dasar dan menambah prompt Anda dengan menambahkan data yang diambil yang relevan dalam konteks. Untuk informasi selengkapnya tentang arsitektur model RAG, lihat Retrieval-Augmented Generasi untuk Tugas Knowledge-Intensive NLP.
Dengan RAG, data eksternal yang digunakan untuk menambah prompt Anda dapat berasal dari beberapa sumber data, seperti repositori dokumen, database, atau API. Langkah pertama adalah mengonversi dokumen Anda dan permintaan pengguna ke dalam format yang kompatibel untuk melakukan pencarian relevansi. Untuk membuat format kompatibel, koleksi dokumen, atau pustaka pengetahuan, dan kueri yang dikirimkan pengguna dikonversi ke representasi numerik menggunakan model bahasa penyematan. Embedding adalah proses di mana teks diberikan representasi numerik dalam ruang vektor. Arsitektur model RAG membandingkan penyematan kueri pengguna dalam vektor perpustakaan pengetahuan. Prompt pengguna asli kemudian ditambahkan dengan konteks yang relevan dari dokumen serupa dalam pustaka pengetahuan. Prompt yang diperbesar ini kemudian dikirim ke model pondasi. Anda dapat memperbarui pustaka pengetahuan dan penyematan yang relevan secara asinkron.
Dokumen yang diambil harus cukup besar untuk berisi konteks yang berguna untuk membantu menambah prompt, tetapi cukup kecil untuk masuk ke dalam panjang urutan maksimum prompt. Anda dapat menggunakan JumpStart model khusus tugas, seperti model General Text Embeddings (GTE) dariHugging Face, untuk menyediakan penyematan untuk prompt dan dokumen pustaka pengetahuan Anda. Setelah membandingkan prompt dan penyematan dokumen untuk menemukan dokumen yang paling relevan, buat prompt baru dengan konteks tambahan. Kemudian, berikan prompt tambahan ke model pembuatan teks pilihan Anda.
Notebook contoh
Untuk informasi selengkapnya tentang solusi model pondasi RAG, lihat contoh buku catatan berikut:
-
Retrieval-Augmented Generasi: Menjawab Pertanyaan menggunakan LLama-2, Pinecone dan Dataset Kustom
-
Retrieval-Augmented Generasi: Menjawab Pertanyaan berdasarkan Kumpulan Data Kustom
-
Retrieval-Augmented Generasi: Menjawab Pertanyaan menggunakan Llama-2 dan Model Penyematan Teks
-
Amazon SageMaker JumpStart - Penyematan Teks dan Kesamaan Kalimat
Anda dapat mengkloning repositori contoh Amazon SageMaker AI
