Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock

Il throughput si riferisce al numero e alla velocità di input e output che un modello elabora e restituisce. È possibile acquistare Provisioned Throughput per fornire un livello più elevato di throughput per un modello a un costo fisso. Se hai personalizzato un modello, devi acquistare Provisioned Throughput per poterlo utilizzare.

Ti viene fatturato ogni ora il Provisioned Throughput acquistato. Per informazioni dettagliate sui prezzi, consulta la pagina dei prezzi di Amazon Bedrock. Il prezzo orario dipende dai seguenti fattori:

  1. Il modello scelto (per i modelli personalizzati, il prezzo è lo stesso del modello base da cui è stato personalizzato).

  2. Il numero di unità del modello (MUs) specificato per il Provisioned Throughput. Una MU fornisce un livello di throughput specifico per il modello specificato. Il livello di throughput di una MU specifica quanto segue:

    • Il numero di token di input che una MU può elaborare su tutte le richieste nell'arco di un minuto.

    • Il numero di token di output che una MU può generare su tutte le richieste nell'arco di un minuto.

    Nota

    Per ulteriori informazioni su ciò che specifica una MU, contatta il tuo manager. Account AWS

  3. Il periodo di tempo in cui ti impegni a mantenere il Provisioned Throughput. Più lunga è la durata dell'impegno, più scontato diventa il prezzo orario. Puoi scegliere tra i seguenti livelli di impegno:

    • Nessun impegno: puoi eliminare il Provisioned Throughput in qualsiasi momento.

    • 1 mese: non è possibile eliminare il Provisioned Throughput fino al termine del periodo di impegno di un mese.

    • 6 mesi: non è possibile eliminare il Provisioned Throughput fino al termine del periodo di impegno di sei mesi.

    Nota

    La fatturazione continua fino all'eliminazione del Provisioned Throughput.

I passaggi seguenti descrivono il processo di configurazione e utilizzo di Provisioned Throughput.

  1. Determina il numero di prodotti MUs che desideri acquistare per un Provisioned Throughput e per quanto tempo desideri impegnarti a utilizzare il Provisioned Throughput.

  2. Acquista Provisioned Throughput per un modello base o personalizzato.

  3. Dopo aver creato il modello fornito, è possibile utilizzarlo per eseguire l'inferenza del modello.

Argomenti