Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Esecuzione dell'inferenza del modello
L'inferenza si riferisce al processo di generazione di un output da un input fornito a un modello. I modelli di fondazione utilizzano la probabilità per costruire le parole in una sequenza. Dato un input, il modello prevede una probabile sequenza di token che segue e restituisce tale sequenza come output. Amazon Bedrock offre la possibilità di eseguire inferenze nel modello di fondazione che preferisci. Quando esegui l'inferenza, devi fornire gli input riportati di seguito.
-
Prompt: input fornito al modello affinché questo generi una risposta. Per informazioni sulla scrittura dei prompt, consulta Linee guida per la progettazione dei prompt.
-
Parametri di inferenza: un set di valori che possono essere adattati per limitare o influenzare la risposta del modello. Per informazioni sui parametri di inferenza, consulta Parametri di inferenza e Parametri di inferenza per modelli di fondazione.
Amazon Bedrock offre una suite di modelli di base che puoi utilizzare per generare output nelle seguenti modalità. Per vedere il supporto delle modalità in base al modello di base, consulta. Modelli di fondazione supportati in Amazon Bedrock
| Modalità di output | Descrizione | Casi d'uso di esempio |
|---|---|---|
| Testo | Fornisci input di testo e genera vari tipi di testo | Chat, brainstorming question-and-answering, riepilogo, generazione di codice, creazione di tabelle, formattazione dei dati, riscrittura |
| Immagine | Fornisci testo o inserisci immagini e genera o modifica immagini | Generazione di immagini, modifica delle immagini, variazione delle immagini |
| Incorporamenti | Fornisci testo, immagini o sia testo che immagini e genera un vettore di valori numerici che rappresentano l'input. Il vettore di output può essere confrontato con altri vettori di incorporamento per determinare la somiglianza semantica (per il testo) o la somiglianza visiva (per le immagini). | Ricerca di testo e immagini, interrogazione, categorizzazione, consigli, personalizzazione, creazione di knowledge base |
Puoi eseguire l'inferenza del modello nei modi seguenti.
-
Usa uno qualsiasi degli spazi di sviluppo per eseguire l'inferenza in un'interfaccia grafica intuitiva.
-
Invia una nostra richiesta InvokeModel. InvokeModelWithResponseStream
-
Prepara un set di dati dei prompt con le configurazioni desiderate ed esegui l'inferenza in batch con una richiesta
CreateModelInvocationJob. -
Le seguenti funzionalità di Amazon Bedrock utilizzano l'inferenza dei modelli come fase di un'orchestrazione più ampia. Per maggiori dettagli, consulta queste sezioni.
-
Configura una knowledge base e invia una RetrieveAndGeneraterichiesta.
-
Configura un agente e invia una InvokeAgentrichiesta.
-
Puoi eseguire l'inferenza con modelli di base, modelli personalizzati o modelli assegnati. Per eseguire l'inferenza su un modello personalizzato, acquista anzitutto la velocità di trasmissione effettiva assegnata per il modello (per ulteriori informazioni, consulta Throughput assegnato per Amazon Bedrock).
Utilizza questi metodi per testare le risposte del modello di fondazione con prompt e parametri di inferenza diversi. Dopo aver esplorato a fondo questi metodi, puoi configurare l'applicazione per eseguire l'inferenza del modello chiamando queste API.
Seleziona un argomento per saperne di più sull'esecuzione dell'inferenza del modello tramite quel metodo. Per ulteriori informazioni sull'utilizzo di agenti, consulta Agenti per Amazon Bedrock.
Argomenti
