Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Kirim petunjuk dan hasilkan tanggapan dengan inferensi model
Inferensi mengacu pada proses menghasilkan output dari input yang diberikan ke model. Model dasar menggunakan probabilitas untuk membangun kata-kata secara berurutan. Diberikan masukan, model memprediksi kemungkinan urutan token yang mengikuti, dan mengembalikan urutan itu sebagai output. Amazon Bedrock memberi Anda kemampuan menjalankan inferensi dalam model dasar pilihan Anda. Ketika Anda menjalankan inferensi, Anda memberikan input berikut.
-
Prompt — Masukan yang diberikan kepada model agar dapat menghasilkan respons. Untuk informasi tentang petunjuk menulis, lihat Konsep teknik yang cepat. Untuk informasi tentang perlindungan terhadap serangan injeksi yang cepat, lihatKeamanan injeksi yang cepat.
-
Parameter inferensi — Satu set nilai yang dapat disesuaikan untuk membatasi atau mempengaruhi respons model. Untuk informasi tentang parameter inferensi, lihat Mempengaruhi generasi respons dengan parameter inferensi danParameter permintaan inferensi dan bidang respons untuk model pondasi.
Amazon Bedrock menawarkan serangkaian model pondasi yang dapat Anda gunakan untuk menghasilkan output dari modalitas berikut. Untuk melihat dukungan modalitas berdasarkan model pondasi, lihat. Model pondasi yang didukung di Amazon Bedrock
| Modalitas keluaran | Deskripsi | Contoh kasus penggunaan |
|---|---|---|
| Teks | Berikan masukan teks dan hasilkan berbagai jenis teks | Obrolan question-and-answering,, brainstorming, ringkasan, pembuatan kode, pembuatan tabel, pemformatan data, penulisan ulang |
| Citra | Menyediakan teks atau input gambar dan menghasilkan atau memodifikasi gambar | Pembuatan gambar, pengeditan gambar, variasi gambar |
| Embeddings | Berikan teks, gambar, atau teks dan gambar dan hasilkan vektor nilai numerik yang mewakili input. Vektor keluaran dapat dibandingkan dengan vektor embeddings lainnya untuk menentukan kesamaan semantik (untuk teks) atau kesamaan visual (untuk gambar). | Pencarian teks dan gambar, kueri, kategorisasi, rekomendasi, personalisasi, pembuatan basis pengetahuan |
Saat menjalankan inferensi, Anda menentukan tingkat throughput yang akan digunakan dengan memilih throughput di konsol atau dengan menentukan throughput di bidang dalam permintaan. modelId API Throughput mendefinisikan jumlah dan tingkat input dan output token yang dapat Anda proses. Untuk informasi selengkapnya, lihat Meningkatkan throughput untuk ketahanan dan daya pemrosesan.
Anda dapat menjalankan inferensi model dengan cara berikut.
-
Gunakan salah satu Taman Bermain untuk menjalankan inferensi dalam antarmuka grafis yang ramah pengguna.
Gunakan Converse API (Converse dan ConverseStream) untuk mengimplementasikan aplikasi percakapan.
-
Kirim InvokeModelatau InvokeModelWithResponseStreampermintaan.
-
Siapkan kumpulan data prompt dengan konfigurasi yang Anda inginkan dan jalankan inferensi batch dengan permintaan.
CreateModelInvocationJob -
Fitur Amazon Bedrock berikut menggunakan inferensi model sebagai langkah dalam orkestrasi yang lebih besar. Lihat bagian tersebut untuk lebih jelasnya.
-
Siapkan basis pengetahuan dan kirim RetrieveAndGeneratepermintaan.
-
Siapkan agen dan kirim InvokeAgentpermintaan.
-
Anda dapat menjalankan inferensi dengan model dasar, model kustom, atau model yang disediakan. Untuk menjalankan inferensi pada model kustom, pertama-tama beli Throughput yang Disediakan untuknya (untuk informasi selengkapnya, lihat). Tingkatkan kapasitas pemanggilan model dengan Provisioned Throughput di Amazon Bedrock
Gunakan metode ini untuk menguji respons model pondasi dengan petunjuk dan parameter inferensi yang berbeda. Setelah Anda cukup menjelajahi metode ini, Anda dapat mengatur aplikasi Anda untuk menjalankan inferensi model dengan memanggil ini. APIs
Pilih topik untuk mempelajari lebih lanjut tentang menjalankan inferensi model melalui metode itu. Untuk mempelajari lebih lanjut tentang menggunakan agen, lihatMengotomatiskan tugas dalam aplikasi Anda menggunakan agen percakapan.
Topik
- Mempengaruhi generasi respons dengan parameter inferensi
- Hasilkan respons dalam antarmuka visual menggunakan taman bermain
- Kirim satu prompt dengan InvokeModel API operasi
- Lakukan percakapan dengan operasi Converse API
- Gunakan alat untuk menyelesaikan respons model Amazon Bedrock
- Memproses beberapa prompt dengan inferensi batch
