Caching cepat untuk inferensi model yang lebih cepat

Converse API menyediakan opsi lanjutan dan fleksibel untuk menerapkan caching cepat dalam percakapan multi-putaran. Untuk informasi selengkapnya tentang persyaratan prompt untuk setiap model, lihat bagian sebelumnya. Model, wilayah, dan batas yang didukung

Permintaan contoh

Contoh berikut menunjukkan pos pemeriksaan cache yang disetel di messagessystem,, atau tools bidang permintaan ke Converse API. Anda dapat menempatkan pos pemeriksaan di salah satu lokasi ini untuk permintaan tertentu. Misalnya, jika mengirim permintaan ke model Claude 3.5 Sonnet v2, Anda dapat menempatkan dua pos pemeriksaan cache, satu pos pemeriksaan cachemessages, dan satu disystem. tools Untuk informasi lebih rinci dan contoh penataan dan pengiriman Converse Permintaan API, lihatLakukan percakapan dengan Converse Operasi API.

Respon model dari Converse API mencakup dua bidang baru yang khusus untuk prompt caching. CacheWriteInputTokensNilai CacheReadInputTokens dan memberi tahu Anda berapa banyak token yang dibaca dari cache dan berapa banyak token yang ditulis ke cache karena permintaan Anda sebelumnya. Ini adalah nilai yang dikenakan biaya oleh Amazon Bedrock, dengan tarif yang lebih rendah dari biaya inferensi model penuh.

...
"messages": [
   {
        "role": "user",
        "content": [
            {
                "image": {
                    "bytes": "asfb14tscve..."
                }
            },
            {
                "text": "What's is in this image?"
            },
            {
                "cachePoint": {
                    "type": "default"
                }
            }
      ]
  }
]
...

Caching prompt diaktifkan secara default saat Anda memanggil InvokeModelAPI. Anda dapat mengatur pos pemeriksaan cache di titik mana pun di badan permintaan Anda, mirip dengan contoh sebelumnya untuk Converse API.

Contoh berikut menunjukkan bagaimana menyusun badan InvokeModel permintaan Anda untuk Anthropic Claude 3.5 Sonnet model v2. Perhatikan bahwa format dan bidang yang tepat dari isi InvokeModel permintaan dapat bervariasi tergantung pada model yang Anda pilih. Untuk melihat format dan konten badan permintaan dan respons untuk model yang berbeda, lihatParameter permintaan inferensi dan bidang respons untuk model pondasi.

body={
        "anthropic_version": "bedrock-2023-05-31",
        "system":"Reply concisely",
        "messages": [
            {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe the best way to learn programming."
                },
                {
                    "type": "text",
                    "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
                    "cache_control": {
                        "type": "ephemeral"
                    }
                }
            ]
            }
        ],
        "max_tokens": 2048,
        "temperature": 0.5,
        "top_p": 0.8,
        "stop_sequences": [
            "stop"
        ],
        "top_k": 250
}

Untuk informasi selengkapnya tentang mengirim InvokeModel permintaan, lihatKirim satu prompt dengan InvokeModel.

body={
        "anthropic_version": "bedrock-2023-05-31",
        "system":"Reply concisely",
        "messages": [
            {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe the best way to learn programming."
                },
                {
                    "type": "text",
                    "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
                    "cache_control": {
                        "type": "ephemeral"
                    }
                }
            ]
            }
        ],
        "max_tokens": 2048,
        "temperature": 0.5,
        "top_p": 0.8,
        "stop_sequences": [
            "stop"
        ],
        "top_k": 250
}

Di taman bermain obrolan di konsol Amazon Bedrock, Anda dapat mengaktifkan opsi caching prompt, dan Amazon Bedrock secara otomatis membuat pos pemeriksaan cache untuk Anda.

Ikuti instruksi Hasilkan tanggapan di konsol menggunakan taman bermain untuk memulai dengan meminta di taman bermain Amazon Bedrock. Untuk model yang didukung, caching prompt secara otomatis dihidupkan di taman bermain. Namun, jika tidak, lakukan hal berikut untuk mengaktifkan caching prompt:

Setelah input gabungan dan respons model Anda mencapai jumlah token minimum yang diperlukan untuk pos pemeriksaan (yang bervariasi menurut model), Amazon Bedrock secara otomatis membuat pos pemeriksaan cache pertama untuk Anda. Saat Anda terus mengobrol, setiap jangkauan berikutnya dari jumlah minimum token menciptakan pos pemeriksaan baru, hingga jumlah maksimum pos pemeriksaan yang diizinkan untuk model tersebut. Anda dapat melihat pos pemeriksaan cache Anda kapan saja dengan memilih Lihat pos pemeriksaan cache di sebelah sakelar caching Prompt, seperti yang ditunjukkan pada gambar berikut.

Anda dapat melihat berapa banyak token yang dibaca dan ditulis ke cache karena setiap interaksi dengan model dengan melihat metrik Caching pop-up ( ) di respons taman bermain.

Jika Anda mematikan sakelar caching prompt saat berada di tengah percakapan, Anda dapat terus mengobrol dengan model.

Taman bermain

Di taman bermain obrolan di konsol Amazon Bedrock, Anda dapat mengaktifkan opsi caching prompt, dan Amazon Bedrock secara otomatis membuat pos pemeriksaan cache untuk Anda.

Ikuti instruksi Hasilkan tanggapan di konsol menggunakan taman bermain untuk memulai dengan meminta di taman bermain Amazon Bedrock. Untuk model yang didukung, caching prompt secara otomatis dihidupkan di taman bermain. Namun, jika tidak, lakukan hal berikut untuk mengaktifkan caching prompt:

1. Di panel sisi kiri, buka menu Konfigurasi.

2. Aktifkan sakelar Prompt caching.

3. Jalankan petunjuk Anda.

Setelah input gabungan dan respons model Anda mencapai jumlah token minimum yang diperlukan untuk pos pemeriksaan (yang bervariasi menurut model), Amazon Bedrock secara otomatis membuat pos pemeriksaan cache pertama untuk Anda. Saat Anda terus mengobrol, setiap jangkauan berikutnya dari jumlah minimum token menciptakan pos pemeriksaan baru, hingga jumlah maksimum pos pemeriksaan yang diizinkan untuk model tersebut. Anda dapat melihat pos pemeriksaan cache Anda kapan saja dengan memilih Lihat pos pemeriksaan cache di sebelah sakelar caching Prompt, seperti yang ditunjukkan pada gambar berikut.

Anda dapat melihat berapa banyak token yang dibaca dan ditulis ke cache karena setiap interaksi dengan model dengan melihat metrik Caching pop-up ( ) di respons taman bermain.

Jika Anda mematikan sakelar caching prompt saat berada di tengah percakapan, Anda dapat terus mengobrol dengan model.