Kirim petunjuk dan hasilkan tanggapan dengan inferensi model - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kirim petunjuk dan hasilkan tanggapan dengan inferensi model

Inferensi mengacu pada proses menghasilkan output dari input yang diberikan ke model. Model dasar menggunakan probabilitas untuk membangun kata-kata secara berurutan. Diberikan masukan, model memprediksi kemungkinan urutan token yang mengikuti, dan mengembalikan urutan itu sebagai output. Amazon Bedrock memberi Anda kemampuan menjalankan inferensi dalam model dasar pilihan Anda. Saat Anda menjalankan inferensi, Anda memberikan masukan berikut:

Amazon Bedrock menawarkan serangkaian model pondasi yang dapat Anda gunakan untuk menghasilkan output dari modalitas berikut. Untuk melihat dukungan modalitas berdasarkan model pondasi, lihat. Model pondasi yang didukung di Amazon Bedrock

Modalitas keluaran Deskripsi Contoh kasus penggunaan
Teks Berikan masukan teks dan hasilkan berbagai jenis teks Obrolan question-and-answering,, brainstorming, ringkasan, pembuatan kode, pembuatan tabel, pemformatan data, penulisan ulang
Citra Menyediakan teks atau input gambar dan menghasilkan atau memodifikasi gambar Pembuatan gambar, pengeditan gambar, variasi gambar
Embeddings Berikan teks, gambar, atau teks dan gambar dan hasilkan vektor nilai numerik yang mewakili input. Vektor keluaran dapat dibandingkan dengan vektor embeddings lainnya untuk menentukan kesamaan semantik (untuk teks) atau kesamaan visual (untuk gambar). Pencarian teks dan gambar, kueri, kategorisasi, rekomendasi, personalisasi, pembuatan basis pengetahuan

Anda dapat langsung menjalankan inferensi model dengan cara berikut:

  • Di AWS Management Console, gunakan salah satu Amazon Bedrock Playgrounds untuk menjalankan inferensi dalam antarmuka grafis yang ramah pengguna.

  • Gunakan Converse atau ConverseStreamAPIuntuk mengimplementasikan aplikasi percakapan.

  • Gunakan InvokeModelatau InvokeModelWithResponseStreamAPIuntuk mengirimkan satu prompt.

  • Siapkan kumpulan data prompt dengan konfigurasi yang Anda inginkan dan jalankan inferensi batch dengan permintaan. CreateModelInvocationJob

Fitur Amazon Bedrock berikut juga menggunakan inferensi model sebagai langkah dalam alur kerja yang lebih besar:

  • Evaluasi model menggunakan proses pemanggilan model untuk mengevaluasi kinerja model yang berbeda setelah Anda mengirimkan permintaan. CreateEvaluationJob

  • Basis pengetahuan menggunakan pemanggilan model saat menggunakan RetrieveAndGenerateAPIuntuk menghasilkan respons berdasarkan hasil yang diambil dari basis pengetahuan.

  • Agen menggunakan pemanggilan model untuk menghasilkan tanggapan dalam berbagai tahap selama InvokeAgentpermintaan.

  • Alur mencakup sumber daya Amazon Bedrock, seperti prompt, basis pengetahuan, dan agen, yang menggunakan pemanggilan model.

Setelah menguji model fondasi yang berbeda dengan petunjuk dan parameter inferensi yang berbeda, Anda dapat mengonfigurasi aplikasi Anda untuk memanggil ini APIs dengan spesifikasi yang Anda inginkan.