Parameter permintaan inferensi dan bidang respons untuk model pondasi

Bagian ini menjelaskan parameter permintaan dan bidang respons untuk model yang disediakan Amazon Bedrock. Gunakan informasi ini untuk membuat panggilan inferensi ke model dengan operasi InvokeModeldan InvokeModelWithResponseStream(streaming). Bagian ini juga mencakup Python contoh kode yang menunjukkan cara memanggil model. Untuk menggunakan model dalam operasi inferensi, Anda memerlukan ID model untuk model tersebut. Untuk mendapatkan ID model, lihatModel Amazon Bedrock IDs. Beberapa model juga bekerja dengan Converse API. Untuk memeriksa apakah Converse API mendukung model tertentu, lihatModel dan fitur model yang didukung. Untuk contoh kode lainnya, lihatContoh kode untuk Amazon Bedrock menggunakan AWS SDKs.

Secara opsional, Anda dapat mengatur parameter inferensi untuk memengaruhi respons yang dihasilkan oleh model. Jika Anda menggunakan model khusus, gunakan parameter inferensi yang sama dengan model fondasi dari mana model itu disesuaikan.

Model foundation di Amazon Bedrock mendukung modalitas input dan output, yang bervariasi dari model ke model. Untuk memeriksa modalitas yang didukung model, lihat. Model pondasi yang didukung di Amazon Bedrock Untuk memeriksa fitur Amazon Bedrock yang didukung model, lihatDukungan model berdasarkan fitur. Untuk memeriksa AWS Wilayah mana model tersedia, lihatDukungan model menurut AWS Wilayah.

Saat Anda membuat panggilan inferensi ke model, Anda menyertakan prompt untuk model tersebut. Untuk informasi umum tentang membuat prompt untuk model yang didukung Amazon Bedrock, lihat. Konsep teknik yang cepat