Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
L'uso del computer è nuovo Anthropic Claude funzionalità del modello (in versione beta) disponibile con Anthropic Claude 3.5 Sonnet solo v2. Con l'uso del computer, Claude può aiutarti ad automatizzare le attività tramite azioni GUI di base.
avvertimento
La funzionalità di utilizzo del computer viene messa a tua disposizione come «servizio beta», come definito nei Termini del servizio AWS. È soggetto al contratto stipulato con AWS, ai Termini di servizio AWS e al modello di EULA applicabile. Tieni presente che l'API Computer Use presenta rischi unici che sono diversi dalle funzionalità API standard o dalle interfacce di chat. Questi rischi aumentano quando si utilizza l'API Computer Use per interagire con Internet. Per ridurre al minimo i rischi, prendi in considerazione l'adozione di precauzioni come:
Utilizza la funzionalità di utilizzo del computer in una macchina virtuale o in un contenitore dedicato con privilegi minimi per prevenire attacchi o incidenti diretti al sistema.
Per prevenire il furto di informazioni, evita di concedere all'API Computer Use l'accesso ad account o dati sensibili.
Limitazione dell'accesso Internet dell'API per l'uso del computer ai domini necessari per ridurre l'esposizione a contenuti dannosi.
Per garantire una supervisione adeguata, tieni sempre aggiornato un operatore umano per le attività sensibili (come prendere decisioni che potrebbero avere conseguenze significative nel mondo reale) e per tutto ciò che richiede il consenso affermativo (come accettare i cookie, eseguire transazioni finanziarie o accettare i termini di servizio).
Qualsiasi contenuto che abiliti Claude la visualizzazione o l'accesso possono potenzialmente annullare le istruzioni o la causa Claude commettere errori o eseguire azioni non intenzionali. Prendere le dovute precauzioni, come l'isolamento Claude da superfici sensibili, è essenziale, anche per evitare i rischi legati all'iniezione tempestiva. Prima di abilitare o richiedere le autorizzazioni necessarie per abilitare le funzionalità di utilizzo del computer nei vostri prodotti, informate gli utenti finali di eventuali rischi pertinenti e ottenete il loro consenso, se del caso.
L'API per l'uso del computer offre diversi strumenti predefiniti per l'uso del computer (computer_20241022, bash_20241022 e text_editor_20241022) da utilizzare. Puoi quindi creare un prompt con la tua richiesta, ad esempio «invia un'email a Ben con le note della mia ultima riunione» e uno screenshot (se richiesto). La risposta contiene un elenco di tool_use azioni in formato JSON (ad esempio, scroll_down, left_button_press, screenshot). Il codice esegue le azioni del computer e fornisce Claude con screenshot che mostra gli output (quando richiesto).
Il parametro tools è stato aggiornato per accettare tipi di strumenti polimorfici; è stata aggiunta una nuova tool.type proprietà per distinguerli. typeè facoltativo; se omesso, si presume che lo strumento sia uno strumento personalizzato (in precedenza era l'unico tipo di strumento supportato). Inoltre, è stato aggiunto un nuovo parametroanthropic_beta,, con un valore enum corrispondente:. computer-use-2024-10-22 Solo le richieste effettuate con questo parametro ed enum possono utilizzare i nuovi strumenti di utilizzo del computer. Può essere specificato come segue:"anthropic_beta":
["computer-use-2024-10-22"] .
Da utilizzare al computer con Anthropic Claude 3.5 Sonnet v2 puoi usare il Converse API (Converse o ConverseStream). Si specifica che il computer utilizza campi specifici nel additionalModelRequestFields campo. Per informazioni generali sulla chiamata al Converse API, vediEffettuare una conversazione con Converse Operazioni API.
È possibile utilizzare strumenti con le operazioni di inferenza di base (InvokeModelo InvokeModelWithResponseStream). Per trovare i parametri di inferenza che passate nel corpo della richiesta, consultate. Anthropic Claude API Messaggi
Per ulteriori informazioni, vedete Uso del computer (beta)
Argomenti
Codice di esempio
Il codice seguente mostra come chiamare l'API di utilizzo del computer. L'input è un'immagine della AWS console.
with open('test_images/console.png', 'rb') as f:
png = f.read()
response = bedrock.converse(
modelId='anthropic.claude-3-5-sonnet-20241022-v2:0',
messages=[
{
'role': 'user',
'content': [
{
'text': 'Go to the bedrock console'
},
{
'image': {
'format': 'png',
'source': {
'bytes': png
}
}
}
]
}
],
additionalModelRequestFields={
"tools": [
{
"type": "computer_20241022",
"name": "computer",
"display_height_px": 768,
"display_width_px": 1024,
"display_number": 0
},
{
"type": "bash_20241022",
"name": "bash",
},
{
"type": "text_editor_20241022",
"name": "str_replace_editor",
}
],
"anthropic_beta": ["computer-use-2024-10-22"]
},
toolConfig={
'tools': [
{
'toolSpec': {
'name': 'get_weather',
'inputSchema': {
'json': {
'type': 'object'
}
}
}
}
]
})
print(json.dumps(response, indent=4))Example response
Il codice di esempio emette un output simile al seguente.
{
"id": "msg_bdrk_01Ch8g9MF3A9FTrmeywrwfMZ",
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "I can see from the screenshot that we're already in the AWS Console. To go to the Amazon Bedrock console specifically, I'll click on the Amazon Bedrock service from the \"Recently Visited\" section."
},
{
"type": "tool_use",
"id": "toolu_bdrk_013sAzs1gsda9wLrfD8bhYQ3",
"name": "computer",
"input": {
"action": "screenshot"
}
}
],
"stop_reason": "tool_use",
"stop_sequence": null,
"usage": {
"input_tokens": 3710,
"output_tokens": 97
}
}