Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Kirim petunjuk dan hasilkan tanggapan dengan inferensi model
Inferensi mengacu pada proses menghasilkan output dari input yang diberikan ke model. Model dasar menggunakan probabilitas untuk membangun kata-kata secara berurutan. Diberikan masukan, model memprediksi kemungkinan urutan token yang mengikuti, dan mengembalikan urutan itu sebagai output. Amazon Bedrock memberi Anda kemampuan menjalankan inferensi dalam model dasar pilihan Anda. Saat Anda menjalankan inferensi, Anda memberikan masukan berikut:
-
Prompt — Masukan yang diberikan kepada model agar dapat menghasilkan respons. Untuk informasi tentang petunjuk menulis, lihat Konsep rekayasa yang cepat. Untuk informasi tentang perlindungan terhadap serangan injeksi cepat, lihatKeamanan injeksi yang cepat.
-
Model — Model dasar atau profil inferensi untuk menjalankan inferensi dengan. Model atau profil inferensi yang Anda pilih juga menentukan tingkat throughput, yang menentukan jumlah dan tingkat input dan output token yang dapat Anda proses. Untuk informasi lebih lanjut tentang model foundation yang tersedia di Amazon Bedrock, lihatInformasi model pondasi Amazon Bedrock. Untuk informasi lebih lanjut tentang profil inferensi, lihatSiapkan sumber daya pemanggilan model menggunakan profil inferensi. Untuk informasi lebih lanjut tentang peningkatan throughput, lihat Tingkatkan throughput dengan inferensi lintas wilayah danTingkatkan kapasitas pemanggilan model dengan Provisioned Throughput di Amazon Bedrock.
-
Parameter inferensi — Satu set nilai yang dapat disesuaikan untuk membatasi atau mempengaruhi respons model. Untuk informasi tentang parameter inferensi, lihat Mempengaruhi generasi respons dengan parameter inferensi danParameter permintaan inferensi dan bidang respons untuk model pondasi.
Amazon Bedrock menawarkan serangkaian model pondasi yang dapat Anda gunakan untuk menghasilkan output dari modalitas berikut. Untuk melihat dukungan modalitas berdasarkan model pondasi, lihat. Model pondasi yang didukung di Amazon Bedrock
| Modalitas keluaran | Deskripsi | Contoh kasus penggunaan |
|---|---|---|
| Teks | Berikan masukan teks dan hasilkan berbagai jenis teks | Obrolan question-and-answering,, brainstorming, ringkasan, pembuatan kode, pembuatan tabel, pemformatan data, penulisan ulang |
| Citra | Menyediakan teks atau input gambar dan menghasilkan atau memodifikasi gambar | Pembuatan gambar, pengeditan gambar, variasi gambar |
| Embeddings | Berikan teks, gambar, atau teks dan gambar dan hasilkan vektor nilai numerik yang mewakili input. Vektor keluaran dapat dibandingkan dengan vektor embeddings lainnya untuk menentukan kesamaan semantik (untuk teks) atau kesamaan visual (untuk gambar). | Pencarian teks dan gambar, kueri, kategorisasi, rekomendasi, personalisasi, pembuatan basis pengetahuan |
Anda dapat langsung menjalankan inferensi model dengan cara berikut:
-
Di AWS Management Console, gunakan salah satu Amazon Bedrock Playgrounds untuk menjalankan inferensi dalam antarmuka grafis yang ramah pengguna.
Gunakan Converse atau ConverseStreamAPIuntuk mengimplementasikan aplikasi percakapan.
-
Gunakan InvokeModelatau InvokeModelWithResponseStreamAPIuntuk mengirimkan satu prompt.
-
Siapkan kumpulan data prompt dengan konfigurasi yang Anda inginkan dan jalankan inferensi batch dengan permintaan. CreateModelInvocationJob
Fitur Amazon Bedrock berikut juga menggunakan inferensi model sebagai langkah dalam alur kerja yang lebih besar:
-
Evaluasi model menggunakan proses pemanggilan model untuk mengevaluasi kinerja model yang berbeda setelah Anda mengirimkan permintaan. CreateEvaluationJob
-
Basis pengetahuan menggunakan pemanggilan model saat menggunakan RetrieveAndGenerateAPIuntuk menghasilkan respons berdasarkan hasil yang diambil dari basis pengetahuan.
-
Agen menggunakan pemanggilan model untuk menghasilkan tanggapan dalam berbagai tahap selama InvokeAgentpermintaan.
-
Alur mencakup sumber daya Amazon Bedrock, seperti prompt, basis pengetahuan, dan agen, yang menggunakan pemanggilan model.
Setelah menguji model fondasi yang berbeda dengan petunjuk dan parameter inferensi yang berbeda, Anda dapat mengonfigurasi aplikasi Anda untuk memanggil ini APIs dengan spesifikasi yang Anda inginkan.
Topik
- Mempengaruhi generasi respons dengan parameter inferensi
- Wilayah dan model yang didukung untuk menjalankan inferensi model
- Prasyarat untuk menjalankan inferensi model
- Hasilkan tanggapan di konsol menggunakan taman bermain
- Optimalkan inferensi model untuk latensi
- Kirim petunjuk dan hasilkan tanggapan menggunakan API
- Gunakan alat untuk menyelesaikan respons model Amazon Bedrock
- Gunakan alat penggunaan komputer untuk menyelesaikan respons model Amazon Bedrock
- Caching cepat untuk inferensi model yang lebih cepat
