Penggunaan alat (panggilan fungsi) dengan Amazon Nova

Mode fokus

Penggunaan alat (panggilan fungsi) dengan Amazon Nova - Amazon Nova

Alat adalah cara untuk menyediakan fungsionalitas eksternal ke Amazon Nova seperti panggilan API atau fungsi kode. Bagian ini akan membahas bagaimana Anda dapat mendefinisikan dan mengintegrasikan dengan alat saat bekerja dengan model Amazon Nova.

Penggunaan alat melibatkan tiga langkah tingkat tinggi:

Kueri pengguna - Anda menentukan alat yang dapat digunakan Amazon Nova dengan menyediakan skema JSON yang menjelaskan fungsionalitas dan persyaratan input setiap alat.
Pemilihan Alat - Ketika pengguna mengirim pesan, Amazon Nova akan menganalisisnya untuk menentukan apakah alat diperlukan untuk menghasilkan respons. Ini disebut sebagai pilihan Auto alat. Lihat Memilih alat untuk informasi selengkapnya. Jika Amazon Nova mengidentifikasi alat yang sesuai, itu akan “memanggil alat” dan mengembalikan nama alat dan parameter yang akan digunakan.

Anda, sebagai pengembang, bertanggung jawab untuk mengeksekusi alat berdasarkan permintaan model. Ini berarti Anda perlu menulis kode yang memanggil fungsionalitas alat dan memproses parameter input yang disediakan oleh model.

catatan
Seperti semua tanggapan LLM, Amazon Nova dapat berhalusinasi panggilan alat. Adalah tanggung jawab Anda, pengembang, untuk memvalidasi bahwa alat itu ada, input diformat dengan benar, dan izin yang sesuai sudah ada.
Hasil Pengembalian - Setelah menjalankan alat, Anda harus mengirim hasilnya kembali ke Amazon Nova dalam format terstruktur. Format yang valid termasuk JSON atau kombinasi teks dan gambar. Ini memungkinkan Amazon Nova untuk memasukkan output alat ke dalam respons akhir kepada pengguna.

Jika ada kesalahan selama eksekusi alat, Anda dapat menunjukkan ini dalam respons alat ke Amazon Nova, memungkinkan Amazon Nova untuk menyesuaikan responsnya.

Pertimbangkan contoh sederhana alat kalkulator:

User query

Langkah pertama dalam alur kerja pemanggilan alat adalah kueri pengguna ke Amazon Nova untuk hasil persamaan matematika - 10 kali 5. Kueri ini dikirim sebagai prompt ke Amazon Nova bersama dengan spesifikasi alat yang mewakili kalkulator.


user_query = "10*5"

messages = [{
    "role": "user",
    "content": [{"text": user_query}]
}]

tool_config = {
    "tools": [
        {
            "toolSpec": {
                "name": "calculator", # Name of the tool
                "description": "A calculator tool that can execute a math equation", # Concise description of the tool
                "inputSchema": {
                    "json": { 
                        "type": "object",
                        "properties": {
                            "equation": { # The name of the parameter
                                "type": "string", # parameter type: string/int/etc
                                "description": "The full equation to evaluate" # Helpful description of the parameter
                            }
                        },
                        "required": [ # List of all required parameters
                            "equation"
                        ]
                    }
                }
            }
        }
    ]
}

Tool selection

Amazon Nova menggunakan konteks alat bersama dengan prompt pengguna untuk menentukan alat yang diperlukan untuk digunakan dan konfigurasi yang diperlukan. Ini dikembalikan sebagai bagian dari respons API.


{
    "toolUse": {
        "toolUseId": "tooluse_u7XTryCSReawd9lXwljzHQ", 
        "name": "calculator", 
        "input": {
            "equation": "10*5"
         }
    }
}

Aplikasi bertanggung jawab untuk mengeksekusi alat dan menyimpan hasilnya.


def calculator(equation: str):
    return eval(equation)
    
tool_result = calculator("10*5")

Return results

Untuk mengembalikan hasil alat ke Amazon Nova, hasil alat disertakan dalam permintaan API baru. Perhatikan bahwa ID penggunaan alat konsisten dengan yang dikembalikan dari Amazon Nova pada respons sebelumnya.


{ 
    "toolResult": {
        "toolUseId": "tooluse_u7XTryCSReawd9lXwljzHQ",
        "content": [
            {
                "json": {
                    "result": "50"
                }
            }
        ],
        "status": "success"
    }
}

Amazon Nova akan menggunakan konteks lengkap pesan, termasuk kueri pengguna awal, penggunaan alat, dan hasil alat untuk menentukan respons akhir terhadap pengguna. Dalam hal ini, Amazon Nova akan menanggapi pengguna bahwa “10 kali 5 adalah 50".

anchor anchor anchor


user_query = "10*5"

messages = [{
    "role": "user",
    "content": [{"text": user_query}]
}]

tool_config = {
    "tools": [
        {
            "toolSpec": {
                "name": "calculator", # Name of the tool
                "description": "A calculator tool that can execute a math equation", # Concise description of the tool
                "inputSchema": {
                    "json": { 
                        "type": "object",
                        "properties": {
                            "equation": { # The name of the parameter
                                "type": "string", # parameter type: string/int/etc
                                "description": "The full equation to evaluate" # Helpful description of the parameter
                            }
                        },
                        "required": [ # List of all required parameters
                            "equation"
                        ]
                    }
                }
            }
        }
    ]
}

Amazon Nova memungkinkan penggunaan alat di Invoke dan Converse API, namun, untuk keluasan fitur lengkap, kami sarankan menggunakan Converse API dan akan menggunakan contoh dengan API ini untuk bergerak maju.