Verwendung von Tools (Funktionsaufruf) mit Amazon Nova

Fokusmodus

Verwendung von Tools (Funktionsaufruf) mit Amazon Nova - Amazon Nova

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Tools sind eine Möglichkeit, Amazon Nova externe Funktionen wie einen API-Aufruf oder eine Codefunktion zur Verfügung zu stellen. In diesem Abschnitt wird beschrieben, wie Sie Tools definieren und integrieren können, wenn Sie mit Amazon Nova-Modellen arbeiten.

Die Verwendung von Tools umfasst drei grundlegende Schritte:

Benutzerabfrage — Sie definieren die Tools, die Amazon Nova verwenden kann, indem Sie ein JSON-Schema bereitstellen, das die Funktionen und Eingabeanforderungen der einzelnen Tools beschreibt.
Toolauswahl — Wenn ein Benutzer eine Nachricht sendet, analysiert Amazon Nova diese, um festzustellen, ob ein Tool zur Generierung einer Antwort erforderlich ist. Dies wird als Auto Werkzeugauswahl bezeichnet. Weitere Informationen finden Sie unter Auswahl eines Tools. Wenn Amazon Nova ein geeignetes Tool identifiziert, „ruft es das Tool auf“ und gibt den Namen des Tools und die zu verwendenden Parameter zurück.

Sie als Entwickler sind dafür verantwortlich, das Tool auf der Grundlage der Anfrage des Modells auszuführen. Das bedeutet, dass Sie den Code schreiben müssen, der die Funktionalität des Tools aufruft und die vom Modell bereitgestellten Eingabeparameter verarbeitet.

Anmerkung
Wie bei allen LLM-Antworten ist es auch bei Amazon Nova möglich, einen Tool-Call zu halluzinieren. Es liegt in Ihrer Verantwortung als Entwickler, zu überprüfen, ob das Tool vorhanden ist, ob die Eingaben korrekt formatiert sind und die entsprechenden Berechtigungen bereits vorhanden sind.
Ergebnisse zurückgeben — Nachdem Sie das Tool ausgeführt haben, müssen Sie die Ergebnisse in einem strukturierten Format an Amazon Nova zurücksenden. Zu den gültigen Formaten gehören JSON oder eine Kombination aus Text und Bildern. Auf diese Weise kann Amazon Nova die Ausgabe des Tools in die endgültige Antwort an den Benutzer integrieren.

Wenn bei der Ausführung des Tools Fehler auftreten, können Sie dies in der Antwort des Tools an Amazon Nova angeben, sodass Amazon Nova die Antwort entsprechend anpassen kann.

Stellen Sie sich ein einfaches Beispiel für ein Taschenrechner-Tool vor:

User query

Der erste Schritt im Workflow zum Aufrufen von Tools ist die Benutzerabfrage an Amazon Nova nach dem Ergebnis einer mathematischen Gleichung — 10 mal 5. Diese Abfrage wird zusammen mit einer Toolspezifikation, die den Rechner darstellt, als Aufforderung an Amazon Nova gesendet.


user_query = "10*5"

messages = [{
    "role": "user",
    "content": [{"text": user_query}]
}]

tool_config = {
    "tools": [
        {
            "toolSpec": {
                "name": "calculator", # Name of the tool
                "description": "A calculator tool that can execute a math equation", # Concise description of the tool
                "inputSchema": {
                    "json": { 
                        "type": "object",
                        "properties": {
                            "equation": { # The name of the parameter
                                "type": "string", # parameter type: string/int/etc
                                "description": "The full equation to evaluate" # Helpful description of the parameter
                            }
                        },
                        "required": [ # List of all required parameters
                            "equation"
                        ]
                    }
                }
            }
        }
    ]
}

Tool selection

Amazon Nova verwendet den Kontext des Tools zusammen mit der Benutzeraufforderung, um das zu verwendende Tool und die erforderliche Konfiguration zu ermitteln. Dies wird als Teil der API-Antwort zurückgegeben.


{
    "toolUse": {
        "toolUseId": "tooluse_u7XTryCSReawd9lXwljzHQ", 
        "name": "calculator", 
        "input": {
            "equation": "10*5"
         }
    }
}

Die Anwendung ist dafür verantwortlich, das Tool auszuführen und das Ergebnis zu speichern.


def calculator(equation: str):
    return eval(equation)
    
tool_result = calculator("10*5")

Return results

Um das Ergebnis des Tools an Amazon Nova zurückzugeben, ist das Tool-Ergebnis in einer neuen API-Anfrage enthalten. Beachten Sie, dass die Verwendungs-ID des Tools mit der ID übereinstimmt, die von Amazon Nova in der vorherigen Antwort zurückgegeben wurde.


{ 
    "toolResult": {
        "toolUseId": "tooluse_u7XTryCSReawd9lXwljzHQ",
        "content": [
            {
                "json": {
                    "result": "50"
                }
            }
        ],
        "status": "success"
    }
}

Amazon Nova verwendet den vollständigen Kontext der Nachrichten, einschließlich der ersten Benutzeranfrage, der Verwendung des Tools und des Toolergebnisses, um die endgültige Antwort an den Benutzer zu ermitteln. In diesem Fall antwortet Amazon Nova dem Benutzer, dass „10 mal 5 ist 50".

anchor anchor anchor


user_query = "10*5"

messages = [{
    "role": "user",
    "content": [{"text": user_query}]
}]

tool_config = {
    "tools": [
        {
            "toolSpec": {
                "name": "calculator", # Name of the tool
                "description": "A calculator tool that can execute a math equation", # Concise description of the tool
                "inputSchema": {
                    "json": { 
                        "type": "object",
                        "properties": {
                            "equation": { # The name of the parameter
                                "type": "string", # parameter type: string/int/etc
                                "description": "The full equation to evaluate" # Helpful description of the parameter
                            }
                        },
                        "required": [ # List of all required parameters
                            "equation"
                        ]
                    }
                }
            }
        }
    ]
}

Amazon Nova ermöglicht die Verwendung von Tools sowohl in der Invoke- als auch in der Converse-API. Für den vollen Funktionsumfang empfehlen wir jedoch die Verwendung der Converse-API und werden in Zukunft Beispiele mit dieser API verwenden.