Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Tieni traccia dell'utilizzo e dei costi in Amazon Bedrock
Amazon Bedrock offre diversi modi per attribuire l'utilizzo e i costi dell'inferenza dei modelli a utenti, team, applicazioni, ambienti o esperimenti specifici. Puoi utilizzare un unico meccanismo o combinarne diversi. Ad esempio, utilizza l'attribuzione principale IAM per la visibilità per utente insieme ai progetti per l'etichettatura per applicazione e richiedi i metadati per il monitoraggio degli esperimenti per chiamata.
Suggerimento
Se non sei sicuro di quale meccanismo si adatti al tuo caso d'uso, inizia dalla fine di questo capitolo. Domande frequenti Risponde a domande decisionali comuni come «Voglio un'attribuzione per utente e per prompt: quali sono le mie scelte?» e «Qual è la differenza tra il CUR classico e il CUR 2.0?».
Scelta di un approccio
Il metodo di attribuzione dei costi scelto dipende dalla dimensione che desideri monitorare, dalle API di Amazon Bedrock che utilizzi e dal livello di granularità di cui hai bisogno. Le due tabelle seguenti presentano visualizzazioni complementari. Utilizzate la prima per cercare i meccanismi in base al vostro obiettivo e la seconda per confrontarli fianco a fianco.
Scegli per obiettivo
Se sai cosa vuoi dal monitoraggio dei costi, inizia da qui.
| Se il tuo obiettivo è... | Utilizzo |
|---|---|
| Per-user o dollari per squadra in bolletta | Attribuzione principale IAM |
| Per-application o dollari per carico di lavoro | Profili di inferenza delle applicazioni(bedrock-runtime) o Progetti e () WorkSpace bedrock-mantle |
| Per-prompt utilizzo e costo dei token, suddivisi per qualsiasi dimensione | Per-request etichettatura dei metadati, con registri di richiamo del modello |
| Per-user e dettagli per prompt | registri di richiamo del modello, con l'utente tratto dall'identityARN o un tag di metadati di richiesta Per-request etichettatura dei metadati |
| Sia in dollari accurati in termini di fatturazione che in base alle richieste | Combina un metodo nativo (ad esempio,) con Attribuzione principale IAM Per-request etichettatura dei metadati |
Confronta i meccanismi
La tabella seguente confronta i meccanismi disponibili in base ai quali consentono di attribuire, al risultato ottenuto, alla granularità di tale output, al luogo in cui vengono forniti i dati e agli endpoint che supportano.
| Meccanismo | Attribuisci per | Output | Granularity (Granularità) | Destinazione dei dati | API supportate | bedrock-runtime |
bedrock-mantle |
|---|---|---|---|---|---|---|---|
| Attribuzione principale IAM | Identità IAM | Dollari fatturati | Aggregato, per tipo di utilizzo al giorno | AWS Cost Explorer/CUR 2.0 | InvokeModel, Converse, Completamenti chat, Risposte |  |
|
| Profili di inferenza delle applicazioni | Tag delle risorse del profilo | Dollari fatturati | Aggregato, per tipo di utilizzo al giorno | AWS Cost Explorer/CUR 2.0 | InvokeModel, Converse, Completamenti chat | |
 |
| Progetti | Tag delle risorse del progetto | Dollari fatturati | Aggregato, per tipo di utilizzo al giorno | AWS Cost Explorer/CUR 2.0 | Risposte, completamenti delle chat | |
|
| WorkSpace | Etichette delle risorse del progetto tramite l'intestazione dell'area di lavoro | Dollari fatturati | Aggregato, per tipo di utilizzo al giorno | AWS Cost Explorer/CUR 2.0 | Messaggi antropici | |
|
| Per-request etichettatura dei metadati | Per-request tag chiave-valore | I token contano (si convertono in costi) | Per richiesta | Solo registri di chiamata | InvokeModel,, InvokeModelWithResponseStream Converse, ConverseStream | |
|
Nota
I metodi nativi (Attribuzione principale IAM, Profili di inferenza delle applicazioniProgetti, eWorkSpace) forniscono dollari fatturati aggregati a AWS Cost Explorer e CUR 2.0. La granulometria migliore è determinata per tipo di utilizzo giornaliero, attribuita tramite identità o tag; non producono una riga per richiesta. Per informazioni dettagliate, utilizzate i log di richiamo del modello, in cui ogni chiamata è un record separato con il proprio numero di token.
Attribuzione dietro un gateway LLM
Quando un gateway o un proxy chiama Amazon Bedrock per conto di molti utenti, Amazon Bedrock registra il ruolo IAM del gateway come identità del chiamante. Per preservare l'attribuzione a livello di utente, scegli in base all'output di cui hai bisogno.
-
Se spendi per utente i tuoi strumenti di fatturazione, chiedi al gateway di assumere il ruolo di Amazon Bedrock per utente o tenant, utilizzando tag per utente o sessione.
RoleSessionNameMemorizza nella cache le credenziali risultanti per tutta la durata della sessione per evitare una chiamata per ogni richiesta. AWS STS Per ulteriori informazioni, consulta Attribuzione principale IAM. -
Per informazioni dettagliate, imposta i metadati dell'utente nella richiesta per ogni chiamata. I metadati delle richieste variano in base alla richiesta senza AWS STS chiamate aggiuntive, operazione che i tag di sessione non possono eseguire in una sessione condivisa.
