View a markdown version of this page

API di risposta sull'endpoint bedrock-mantle - Amazon Bedrock
Regioni ed endpoint supportatiPrerequisitiAPI per modelliAPI per le risposte

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

API di risposta sull'endpoint bedrock-mantle

Amazon Bedrock fornisce l'API OpenAI Responses sia sugli endpoint che sugli bedrock-runtime endpoint. bedrock-mantle L'API ti consente di utilizzare OpenAI SDK e strumenti familiari con i modelli Amazon Bedrock, in modo da poter migrare le applicazioni esistenti con modifiche minime al codice: è sufficiente aggiornare l'URL di base e la chiave API. Per le nuove applicazioni, consigliamo l'endpoint. bedrock-runtime

I due endpoint non supportano funzionalità identiche. Le richieste bedrock-runtime sono sempre sincrone, gli strumenti lato server non sono disponibili ed è supportato solo il progetto predefinito. Per il confronto completo, vediEndpoint supportati da Amazon Bedrock, e per i dettagli di ciascuna differenza, vedi. Utilizzo dell'API Responses sull'endpoint bedrock-runtime

Importante

Quando usi l'OpenAISDK con Amazon Bedrock, devi indirizzarlo all'endpoint Amazon Bedrock, non all'endpoint. OpenAI Imposta le seguenti variabili di ambiente, scegliendo l'URL di base per l'endpoint che desideri:

# bedrock-runtime (recommended)
OPENAI_BASE_URL="https://bedrock-runtime.<your-region>.amazonaws.com/openai/v1"

# bedrock-mantle
OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"

OPENAI_API_KEY="<your Bedrock API key>"

Non utilizzare la chiave OpenAI API o l'URL di OpenAI base (https://api.openai.com/v1). Questi si connettono OpenAI direttamente, non ad Amazon Bedrock. Per creare una chiave API Amazon Bedrock, consulta. Chiavi API

I vantaggi principali includono:

  • Inferenza asincrona: supporto per carichi di lavoro di inferenza di lunga durata tramite l'API Responses. Disponibile bedrock-mantle solo su.

  • Gestione stateful delle conversazioni: ricostruisci automaticamente il contesto senza passare manualmente la cronologia delle conversazioni a ogni richiesta

  • Utilizzo semplificato degli strumenti: integrazione semplificata per i flussi di lavoro agentici

  • Modalità di risposta flessibili: supporto per risposte in streaming e non

  • Migrazione semplice: compatibile con le basi di codice OpenAI SDK esistenti

Ogni endpoint è governato da un proprio set di quote. Per quanto riguarda il traffico di Responsesbedrock-runtime, si applicano le quote di token al minuto e di token giornalieri del modello e sono condivise con le altre API di inferenza su quell'endpoint. Vedi. Quote per l'endpoint bedrock-runtime Per bedrock-mantle, consulta Quote per l'endpoint del substrato roccioso.

Regioni ed endpoint supportati

Sull'bedrock-runtimeendpoint, l'API Responses è disponibile Regione AWS ovunque l'endpoint sia disponibile, comprese le regioni AWS GovCloud (Stati Uniti). Per l'elenco, consulta Disponibilità regionale per endpoint. I modelli che supportano l'API su ciascun endpoint sono elencati in. Disponibilità degli endpoint per modelli

L'bedrock-mantleendpoint è disponibile nelle seguenti regioni: AWS

Nome della regione Regione Endpoint
Stati Uniti orientali (Ohio) us-east-2 bedrock-mantle.us-east-2.api.aws
Stati Uniti orientali (Virginia settentrionale) us-east-1 bedrock-mantle.us-east-1.api.aws
Stati Uniti occidentali (Oregon) us-west-2 bedrock-mantle.us-west-2.api.aws
Asia Pacifico (Giacarta) ap-southeast-3 bedrock-mantle.ap-southeast-3.api.aws
Asia Pacifico (Mumbai) ap-south-1 bedrock-mantle.ap-south-1.api.aws
Asia Pacifico (Sydney) ap-southeast-2 bedrock-mantle.ap-southeast-2.api.aws
Asia Pacifico (Tokyo) ap-northeast-1 bedrock-mantle.ap-northeast-1.api.aws
Europa (Francoforte) eu-central-1 bedrock-mantle.eu-central-1.api.aws
Europa (Irlanda) eu-west-1 bedrock-mantle.eu-west-1.api.aws
Europe (London) eu-west-2 bedrock-mantle.eu-west-2.api.aws
Europe (Milan) eu-south-1 bedrock-mantle.eu-south-1.api.aws
Europa (Stoccolma) eu-north-1 bedrock-mantle.eu-north-1.api.aws
Sud America (San Paolo) sa-east-1 bedrock-mantle.sa-east-1.api.aws
AWS ( GovCloud ) US-West us-gov-west-1 bedrock-mantle.us-gov-west-1.api.aws

Prerequisiti

Prima di utilizzare le API, assicurati di avere quanto segue: OpenAI

  • Autenticazione: puoi autenticarti utilizzando:

    • Chiave API Amazon Bedrock (richiesta per OpenAI l'SDK)

    • AWS credenziali (supportate per le richieste HTTP)

  • OpenAISDK (opzionale): installa l'SDK OpenAI Python se utilizzi le richieste. SDK-based

  • Variabili di ambiente: imposta le seguenti variabili di ambiente:

    • OPENAI_API_KEY— Impostato sulla tua chiave API Amazon Bedrock

    • OPENAI_BASE_URL— Impostato sull'endpoint Amazon Bedrock per la tua regione (ad esempio, o) https://bedrock-runtime.us-east-1.amazonaws.com/openai/v1 https://bedrock-mantle.us-east-1.api.aws/v1

  • Autorizzazioni: le azioni necessarie dipendono dall'endpoint. Sìbedrock-mantle, l'inferenza autorizza. bedrock-mantle:CreateInference Attivabedrock-runtime, autorizza sia bedrock:InvokeModel il target di inferenza che il progetto predefinito dell'account e la gestione delle risposte archiviate autorizza bedrock:GetInvoke e su quel progetto. bedrock:CancelInvoke bedrock:DeleteInvoke Per esempi di policy, consulta Prerequisiti per l’esecuzione dell’inferenza del modello.

API per modelli

L'API Models ti consente di scoprire i modelli disponibili in Amazon Bedrock powered by Mantle. Usa questa API per recuperare un elenco di modelli che puoi utilizzare con l'API Responses. Per i dettagli completi sull'API, consulta la documentazione dei OpenAI modelli.

Elenca i modelli disponibili

Per elencare i modelli disponibili, scegli la scheda corrispondente al tuo metodo preferito, quindi segui i passaggi:

OpenAI SDK (Python)
# List all available models using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

models = client.models.list()

for model in models.data:
    print(model.id)
HTTP request

Effettua una richiesta GET a/v1/models:

# List all available models
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X GET $OPENAI_BASE_URL/models \
   -H "Authorization: Bearer $OPENAI_API_KEY"

API per le risposte

L'API Responses fornisce una gestione stateful delle conversazioni con supporto per lo streaming, l'elaborazione in background e le interazioni a più turni. Per i dettagli completi sull'API, consulta la documentazione di OpenAI Responses.

Nota

Non tutti i modelli supportano l'API Responses. Per vedere quali modelli supportano l'API Responses, consultaCompatibilità API per modelli.

In che modo l'API Responses memorizza lo stato della conversazione

L'API Responses può utilizzare lo stato memorizzato per abilitare conversazioni a più turni e consentirti di fare riferimento ai turni precedenti tramite il previous_response_id parametro. L'archiviazione è abilitata per impostazione predefinita, ma può essere disabilitata per richiesta tramite il store parametro. Le risposte archiviate rientrano nell'ambito di Project. Una risposta di un progetto non può essere utilizzata come risposta precedente o letta in un secondo progetto. Per ulteriori informazioni sui progetti, vedereProgetti (OpenAI-compatible).

  • Quando lo store è true (impostazione predefinita), Amazon Bedrock conserva la risposta, inclusi l'input e l'output, per 30 giorni. Durante questa finestra puoi concatenare le richieste di follow-up inviando previous_response_id e recuperando la risposta con GET /v1/responses/{id} on o onbedrock-mantle. GET /openai/v1/responses/{id} bedrock-runtime Dopo 30 giorni, la risposta viene eliminata automaticamente e non è più recuperabile.

  • Quando lo store èfalse, Amazon Bedrock non conserva alcun dato della richiesta o della risposta. Il previous_response_id parametro non può essere utilizzato per continuare la conversazione.

Il valore predefinito corrisponde true alla specifica dell'API OpenAI Responses. I clienti che non vogliono che Amazon Bedrock conservi i dati delle conversazioni devono store impostarla esplicitamente false su ogni richiesta o impostare la modalità di conservazione dei dati dell'account sunone, che rifiuta una richiesta esplicita. store=true Per ulteriori informazioni, consulta Conservazione dei dati.

I dati archiviati sono crittografati quando sono inattivi e associati alla risorsa Project dell'account chiamante. AWS I dati vengono archiviati esclusivamente per soddisfare le richieste dell'utente e non vengono utilizzati o conservati per altri scopi. Attivatobedrock-mantle, viene conservato nel file a cui è stata inviata Regione AWS la richiesta. Sebedrock-runtime, una richiesta che utilizza l'inferenza interregionale può essere elaborata in un'altra e la risposta viene archiviata nella regione che l'ha elaborata Regione AWS, quindi una richiesta che utilizza un profilo di inferenza globale può archiviare i dati in qualsiasi regione commerciale a cui il profilo è indirizzato. Se hai requisiti di residenza dei dati, utilizza un profilo di inferenza geografico anziché globale.

Richiesta di base

Per creare una risposta, scegli la scheda corrispondente al tuo metodo preferito, quindi segui i passaggi:

OpenAI SDK (Python)
# Create a basic response using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
)

print(response)
HTTP request

Effettua una richiesta POST a/v1/responses:

# Create a basic response
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
}'

Trasmetti le risposte

Per ricevere gli eventi di risposta in modo incrementale, scegli la scheda corrispondente al tuo metodo preferito, quindi segui i passaggi:

OpenAI SDK (Python)
# Stream response events incrementally using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

stream = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[{"role": "user", "content": "Tell me a story"}],
    stream=True
)

for event in stream:
    print(event)
HTTP request

Effettua una richiesta POST a /v1/responses con stream impostazione su: true

# Stream response events incrementally
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Tell me a story"}
    ],
    "stream": true
}'

Utilizzo dell'API Responses sull'endpoint bedrock-runtime

L'API Responses on bedrock-runtime utilizza lo stesso formato di richiesta e risposta di onbedrock-mantle, quindi l'OpenAISDK funziona con entrambi. Ciò che cambia è l'URL di base, gli ID del modello, le autorizzazioni e un piccolo numero di comportamenti descritti in questa sezione.

URL e percorsi di base

Imposta l'URL di base suhttps://bedrock-runtime.region.amazonaws.com/openai/v1. L'API viene fornita nei seguenti percorsi:

  • POST /openai/v1/responses— creare una risposta.

  • GET /openai/v1/responses/{id}— recuperare una risposta memorizzata.

  • POST /openai/v1/responses/{id}/cancel— annullare una risposta ancora in corso.

  • DELETE /openai/v1/responses/{id}— eliminare una risposta memorizzata.

ID del modello

Assegna un nome a un profilo di inferenza interregionale come modello, non a un ID del modello di base. I modelli OpenAI GPT utilizzano i global. profili us. and nelle regioni commerciali e i us-gov. profili nelle regioni AWS GovCloud (Stati Uniti), ad esempio. us.openai.gpt-5.6-sol In-Region l'inferenza non è disponibile per questi modelli su questo endpoint. Per l'ID del profilo di ciascun modello, vedi la scheda del modello in e per come funziona il routingI modelli a colpo d'occhio, vedi. Indirizza le richieste di inferenza del modello Regioni AWS con inferenza interregionale

Autorizzazioni

La creazione di una risposta autorizza due risorse: bedrock:InvokeModel (obedrock:InvokeModelWithResponseStream) sul target di inferenza, come fa qualsiasi richiesta di inferenza, e bedrock:InvokeModel sul progetto predefinito del tuo account. Il recupero, l'annullamento e l'eliminazione di una risposta memorizzata autorizzano, rispettivamentebedrock:GetInvoke, bedrock:CancelInvoke ciascuna parte del progetto. bedrock:DeleteInvoke Gli ID di risposta individuali non sono risorse IAM.

Due chiavi di condizione consentono a una policy su una risorsa di vincolare l'altra. L'autorizzazione a scopo di inferenza e l'autorizzazione bedrock:ProjectArn del progetto vengono valutati in base al profilo di inferenza o al modello di base denominato dalla richiestabedrock:ModelArn, mai ai modelli di destinazione a cui viene indirizzato un profilo interregionale. Per esempi di policy, consulta Prerequisiti per l’esecuzione dell’inferenza del modello.

Differenze comportamentali

  • Le richieste sono sempre sincrone. background=trueviene rifiutato con un errore 400. Il store parametro è inalterato e mantiene l'impostazione predefinitatrue, pertanto le conversazioni a più turni memorizzate funzionano normalmente.

  • modelè obbligatorio per ogni richiesta, inclusa quella relativa alle forniture. previous_response_id Ciò è diverso dalla specifica dell'API OpenAI Responses e dabedrock-mantle, in cui il modello può essere omesso ed ereditato dalla risposta precedente. Il modello fa parte di ciò per cui è autorizzata la richiesta, quindi deve essere indicato nella richiesta stessa.

  • Server-side l'uso degli strumenti e gli strumenti preconfigurati non sono disponibili, inclusa la ricerca Ricerca sul Web sul Web. Client-side l'uso dello strumento funziona su entrambi gli endpoint.

  • È supportato solo il progetto predefinito. L'OpenAI-Projectintestazione viene accettata solo come default ARN di progetto predefinito; qualsiasi altro valore viene rifiutato. Per informazioni, consulta Progetti (OpenAI-compatible).

  • I profili di inferenza delle applicazioni non sono supportati. Una richiesta che ne nomina uno come obiettivo di inferenza viene rifiutata con un errore 400. I profili di inferenza sistemici, geografici e globali funzionano normalmente.

  • I guardrail non si applicano all'API Responses. Per applicare un guardrail a un modello GPT su questo endpoint, chiama invece l'API Converse.

  • Una risposta memorizzata appartiene a chi l'ha fornita. Regione AWS Il recupero, l'annullamento o l'eliminazione e la continuazione della conversazione conprevious_response_id, sono tutti gestiti da quella Regione. Un ID di risposta che non può essere trovato, perché non è mai esistito, appartiene a un altro account o non è mai stato memorizzato, restituisce sempre lo stesso errore 404.

Monitoraggio e costi

Poiché ogni richiesta è sincrona, le CloudWatch metriche e la registrazione delle invocazioni dei modelli funzionano per l'API Responses nello stesso modo in cui funzionano per le altre API di inferenza su questo endpoint, incluse le richieste di streaming. L'utilizzo viene attribuito al target di inferenza, esattamente come per Converse e InvokeModel : il progetto predefinito non è mai l'ancoraggio di fatturazione. Per informazioni, consulta Tieni traccia dell'utilizzo e dei costi in Amazon Bedrock.