Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie ein Computer-Nutzungstool, um eine Antwort auf ein Amazon Bedrock-Modell abzuschließen

Die Nutzung von Computern ist neu Anthropic Claude Modellfähigkeit (in der Betaversion) verfügbar mit Anthropic Claude 3.5 Sonnet Nur v2. Bei Computernutzung Claude kann Ihnen helfen, Aufgaben durch grundlegende GUI-Aktionen zu automatisieren.

Die Computernutzungs-API bietet mehrere vordefinierte Tools zur Computernutzung (computer_20241022, bash_20241022 und text_editor_20241022), die Sie verwenden können. Sie können dann eine Aufforderung mit Ihrer Anfrage erstellen, z. B. „Senden Sie Ben eine E-Mail mit den Notizen von meinem letzten Treffen“ und einen Screenshot (falls erforderlich). Die Antwort enthält eine Liste von tool_use Aktionen im JSON-Format (z. B. scroll_down, left_button_press, Screenshot). Ihr Code führt die Computeraktionen aus und bietet Claude mit einem Screenshot, der die Ausgaben zeigt (falls gewünscht).

Der Werkzeugparameter wurde aktualisiert und akzeptiert nun polymorphe Werkzeugtypen. Eine neue tool.type Eigenschaft wurde hinzugefügt, um sie zu unterscheiden. typeist optional. Wenn es weggelassen wird, wird davon ausgegangen, dass es sich bei dem Werkzeug um ein benutzerdefiniertes Werkzeug handelt (bisher der einzige unterstützte Werkzeugtyp). Zusätzlich wurde ein neuer Parameteranthropic_beta,, mit einem entsprechenden Enum-Wert hinzugefügt:computer-use-2024-10-22. Nur Anfragen, die mit diesem Parameter und Enum gestellt wurden, können die neuen Computerverwendungstools verwenden. Es kann wie folgt angegeben werden:"anthropic_beta": ["computer-use-2024-10-22"] .

Um den Computer zu verwenden, verwenden Sie mit Anthropic Claude 3.5 Sonnet v2 können Sie verwenden Converse API (Converse oder ConverseStream). Sie geben an, dass der Computer bestimmte Felder im additionalModelRequestFields Feld verwendet. Allgemeine Informationen zum Aufrufen des Converse API, sieheFühren Sie ein Gespräch mit dem Converse API-Operationen.

Es ist möglich, Tools mit den grundlegenden Inferenzoperationen (InvokeModeloder InvokeModelWithResponseStream) zu verwenden. Informationen zu den Inferenzparametern, die Sie im Hauptteil der Anfrage übergeben, finden Sie unter. Anthropic Claude Nachrichten-API

Weitere Informationen finden Sie unter Computernutzung (Beta) im Anthropic -Dokumentation.

Beispiel-Code

Der folgende Code zeigt, wie Sie die Computer-Use-API aufrufen. Die Eingabe ist ein Bild der AWS Konsole.

with open('test_images/console.png', 'rb') as f:
        png = f.read()

    response = bedrock.converse(
        modelId='anthropic.claude-3-5-sonnet-20241022-v2:0',
        messages=[
            {
                'role': 'user',
                'content': [
                    {
                        'text': 'Go to the bedrock console'
                    },
                    {
                        'image': {
                            'format': 'png',
                            'source': {
                                'bytes': png
                            }
                        }
                    }
                ]
            }
        ],
        additionalModelRequestFields={
            "tools": [
                {
                    "type": "computer_20241022",
                    "name": "computer",
                    "display_height_px": 768,
                    "display_width_px": 1024,
                    "display_number": 0
                },
                {
                    "type": "bash_20241022",
                    "name": "bash",

                },
                {
                    "type": "text_editor_20241022",
                    "name": "str_replace_editor",
                }
            ],
            "anthropic_beta": ["computer-use-2024-10-22"]
        },
        toolConfig={
            'tools': [
                {
                    'toolSpec': {
                        'name': 'get_weather',
                        'inputSchema': {
                            'json': {
                                'type': 'object'
                            }
                        }
                    }
                }
            ]
        })

    print(json.dumps(response, indent=4))

Beispielantwort

Der Beispielcode gibt eine Ausgabe aus, die der folgenden ähnelt.

{
   "id": "msg_bdrk_01Ch8g9MF3A9FTrmeywrwfMZ",
   "type": "message",
   "role": "assistant",
   "content": [
        {
            "type": "text",
            "text": "I can see from the screenshot that we're already in the AWS Console. To go to the Amazon Bedrock console specifically, I'll click on the Amazon Bedrock service from the \"Recently Visited\" section."
        },
        {
            "type": "tool_use",
            "id": "toolu_bdrk_013sAzs1gsda9wLrfD8bhYQ3",
            "name": "computer",
            "input": {
                "action": "screenshot"
            }
        }
   ],
   "stop_reason": "tool_use",
   "stop_sequence": null,
   "usage": {
       "input_tokens": 3710,
       "output_tokens": 97
   }
}