Optimalkan inferensi model untuk latensi

Inferensi yang dioptimalkan latensi untuk model dasar dalam Amazon Bedrock memberikan waktu respons yang lebih cepat dan peningkatan respons untuk aplikasi AI. Versi yang dioptimalkan dari model Claude 3.5 Haiku Anthropic dan model Meta Llama 3.1 405B dan 70B menawarkan latensi yang berkurang secara signifikan tanpa mengorbankan akurasi.

Mengakses kemampuan optimasi latensi tidak memerlukan pengaturan tambahan atau penyesuaian model, memungkinkan peningkatan segera aplikasi yang ada dengan waktu respons yang lebih cepat. Anda dapat menyetel parameter “Latency” ke “dioptimalkan” saat memanggil API runtime Amazon Bedrock. Jika Anda memilih “standar” sebagai opsi pemanggilan Anda, permintaan Anda akan dilayani oleh inferensi standar. Secara default semua permintaan dirutekan ke melalui “standar”.

“performanceConfig” : {
    “latency” : “standard | optimized” 
}

Setelah Anda mencapai kuota penggunaan untuk optimasi latensi untuk model, kami akan mencoba untuk melayani permintaan dengan latensi Standar. Dalam kasus seperti itu, permintaan akan dikenakan tarif latensi Standar. Konfigurasi latensi untuk permintaan yang disajikan terlihat dalam respons API dan AWS CloudTrail log. Anda juga dapat melihat metrik untuk permintaan latensi yang dioptimalkan di Amazon CloudWatch log di bawah “model-id+latency-optimized”.

Inferensi yang dioptimalkan latensi tersedia untuk Meta Llama 3.1 70B dan 405B, serta Claude 3.5 Haiku Anthropic di wilayah Timur AS (Ohio) dan AS Barat (Oregon) melalui inferensi lintas wilayah.

Untuk informasi lebih lanjut tentang harga, kunjungi halaman harga.