Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Jalankan inferensi model
Inferensi mengacu pada proses menghasilkan output dari input yang diberikan ke model. Model dasar menggunakan probabilitas untuk membangun kata-kata secara berurutan. Diberikan masukan, model memprediksi kemungkinan urutan token yang mengikuti, dan mengembalikan urutan itu sebagai output. Amazon Bedrock memberi Anda kemampuan menjalankan inferensi dalam model dasar pilihan Anda. Ketika Anda menjalankan inferensi, Anda memberikan input berikut.
-
Prompt — Masukan yang diberikan kepada model agar dapat menghasilkan respons. Untuk informasi tentang petunjuk menulis, lihat Pedoman rekayasa yang cepat.
-
Parameter inferensi — Satu set nilai yang dapat disesuaikan untuk membatasi atau mempengaruhi respons model. Untuk informasi tentang parameter inferensi, lihat Parameter inferensi danParameter inferensi untuk model pondasi.
Amazon Bedrock menawarkan serangkaian model pondasi yang dapat Anda gunakan untuk menghasilkan output dari modalitas berikut. Untuk melihat dukungan modalitas berdasarkan model pondasi, lihat. Model pondasi yang didukung di Amazon Bedrock
| Modalitas keluaran | Deskripsi | Contoh kasus penggunaan |
|---|---|---|
| Teks | Berikan masukan teks dan hasilkan berbagai jenis teks | Obrolan question-and-answering,, brainstorming, ringkasan, pembuatan kode, pembuatan tabel, pemformatan data, penulisan ulang |
| Citra | Menyediakan teks atau input gambar dan menghasilkan atau memodifikasi gambar | Pembuatan gambar, pengeditan gambar, variasi gambar |
| Embeddings | Berikan teks, gambar, atau teks dan gambar dan hasilkan vektor nilai numerik yang mewakili input. Vektor keluaran dapat dibandingkan dengan vektor embeddings lainnya untuk menentukan kesamaan semantik (untuk teks) atau kesamaan visual (untuk gambar). | Pencarian teks dan gambar, kueri, kategorisasi, rekomendasi, personalisasi, pembuatan basis pengetahuan |
Anda dapat menjalankan inferensi model dengan cara berikut.
-
Gunakan salah satu Taman Bermain untuk menjalankan inferensi dalam antarmuka grafis yang ramah pengguna.
-
Kirim InvokeModelatau InvokeModelWithResponseStreampermintaan.
-
Siapkan kumpulan data prompt dengan konfigurasi yang Anda inginkan dan jalankan inferensi batch dengan permintaan.
CreateModelInvocationJob -
Fitur Amazon Bedrock berikut menggunakan inferensi model sebagai langkah dalam orkestrasi yang lebih besar. Lihat bagian tersebut untuk lebih jelasnya.
-
Siapkan basis pengetahuan dan kirim RetrieveAndGeneratepermintaan.
-
Siapkan agen dan kirim InvokeAgentpermintaan.
-
Anda dapat menjalankan inferensi dengan model dasar, model kustom, atau model yang disediakan. Untuk menjalankan inferensi pada model kustom, pertama-tama beli Throughput yang Disediakan untuknya (untuk informasi selengkapnya, lihat). Throughput yang Disediakan untuk Amazon Bedrock
Gunakan metode ini untuk menguji respons model pondasi dengan petunjuk dan parameter inferensi yang berbeda. Setelah Anda cukup menjelajahi metode ini, Anda dapat mengatur aplikasi Anda untuk menjalankan inferensi model dengan memanggil API ini.
Pilih topik untuk mempelajari lebih lanjut tentang menjalankan inferensi model melalui metode itu. Untuk mempelajari lebih lanjut tentang menggunakan agen, lihatAgen untuk Amazon Bedrock.
Topik
