Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Elabora più prompt con inferenza in batch
Con l'inferenza in batch, puoi inviare più richieste e generare risposte in modo asincrono. L'inferenza in batch ti aiuta a elaborare un gran numero di richieste in modo efficiente inviando una singola richiesta e generando le risposte in un bucket Amazon S3. Dopo aver definito gli input del modello nei file creati, carichi i file in un bucket S3. Quindi invii una richiesta di inferenza in batch e specifichi il bucket S3. Una volta completato il lavoro, puoi recuperare i file di output da S3. Puoi utilizzare l'inferenza in batch per migliorare le prestazioni dell'inferenza del modello su set di dati di grandi dimensioni.
Nota
L'inferenza in batch non è supportata per i modelli con provisioning.
Fate riferimento alle seguenti risorse per informazioni generali sull'inferenza in batch:
-
Per vedere i prezzi per l'inferenza in batch, consulta i prezzi di Amazon Bedrock
. -
Per visualizzare le quote per l'inferenza in batch, consulta gli endpoint e le quote di Amazon Bedrock nel. Riferimenti generali di AWS
Argomenti
- Regioni e modelli supportati per l'inferenza in batch
- Prerequisiti per l'inferenza in batch
- Creazione di un processo di inferenza in batch
- Monitora i lavori di inferenza in batch
- Arresto di un processo di inferenza in batch
- Visualizzare i risultati di un processo di inferenza in batch
- Esempi di codice per l'inferenza in batch
