Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Nota
Il prompt routing intelligente in Amazon Bedrock è disponibile in anteprima ed è soggetto a modifiche.
Il prompt routing intelligente di Amazon Bedrock fornisce un unico endpoint serverless per instradare in modo efficiente le richieste tra diversi modelli di base all'interno della stessa famiglia di modelli. Può aiutarti a ottimizzare la qualità e i costi di risposta. Offrono una soluzione completa per la gestione di più modelli di intelligenza artificiale tramite un unico endpoint serverless, semplificando il processo per te. Il prompt routing intelligente prevede le prestazioni di ogni modello per ogni richiesta e indirizza dinamicamente ogni richiesta verso il modello che prevede più probabilmente fornirà la risposta desiderata al minor costo. Con il prompt routing intelligente, Amazon Bedrock può aiutarti a creare applicazioni AI generative utilizzando una combinazione di modelli di base per ottenere prestazioni migliori a un costo inferiore rispetto a un singolo modello di base.
Per utilizzare al meglio l'Intelligent Prompt Routing, è necessario verificare regolarmente le prestazioni per sfruttare i nuovi modelli. Per ottimizzare l'utilizzo, monitora le metriche di prestazioni e costi disponibili.
Per iniziare a usare il prompt routing intelligente, usa la console Amazon Bedrock o l'SDK. AWS CLI AWS
Durante l'anteprima, puoi scegliere di utilizzare modelli selezionati delle famiglie Anthropic e Meta.
Il prompt routing intelligente offre i seguenti vantaggi.
-
Consente di ottimizzare la qualità e i costi di risposta indirizzando i prompt a diversi modelli di base.
-
Può contribuire a migliorare le prestazioni complessive sfruttando i punti di forza di più modelli.
-
Gestione semplificata senza la necessità di una logica di orchestrazione complessa.
-
A prova di futuro incorporando nuovi modelli non appena disponibili.
Come funziona il prompt routing intelligente
-
Scegli la famiglia di modelli che desideri utilizzare.
-
Per ogni richiesta in arrivo, il prompt routing intelligente prevede le prestazioni di ogni modello specificato.
-
Amazon Bedrock sceglie dinamicamente il modello che prevede offrirà la migliore combinazione di qualità di risposta e costi.
-
Amazon Bedrock invia la richiesta al modello che hai scelto per l'elaborazione.
-
Riceverai la risposta, che contiene anche informazioni sul modello scelto da Amazon Bedrock.
Considerazioni e limitazioni
Di seguito sono riportate considerazioni e limitazioni per il prompt routing intelligente in Amazon Bedrock.
-
Durante l'anteprima, puoi scegliere solo tra router preconfigurati.
-
Attualmente, l'Intelligent Prompt Routing accetta solo istruzioni in inglese.
-
L'Intelligent Prompt Routing non è in grado di adattare le decisioni o le risposte di routing in base ai dati prestazionali specifici dell'applicazione.
-
Il routing intelligente dei prompt potrebbe non fornire sempre il routing più ottimale per casi d'uso unici o specializzati. L'efficacia del routing dipende dai dati di addestramento iniziali.
