Genera risposte nella console utilizzando i parchi giochi

Per utilizzare uno spazio di sviluppo

1. Se non l'hai già fatto, richiedi l'accesso ai modelli che desideri utilizzare. Per ulteriori informazioni, consulta Accedi ai modelli di base Amazon Bedrock.

2. Accedi all' AWS Management Console utilizzo di un IAMruolo con le autorizzazioni di Amazon Bedrock e apri la console Amazon Bedrock all'indirizzo. https://console.aws.amazon.com/bedrock/

3. Dal pannello di navigazione, in Playgrounds, scegli Chat/testo o immagine.

4. Se ti trovi nel campo di gioco Chat/SMS, seleziona una modalità.

5. Scegli Seleziona modello e seleziona un provider, un modello e un throughput da utilizzare. Per ulteriori informazioni sull'aumento della produttività, consulta Aumenta la produttività con l'inferenza tra regioni e. Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock

6. Invia le seguenti informazioni per generare una risposta:

   • Richiesta: una o più frasi di testo che configurano uno scenario, una domanda o un'attività per un modello. Per informazioni sulla creazione di prompt, consulta Concetti ingegneristici rapidi.

     Se utilizzi la modalità chat dell'area giochi chat/testo, puoi selezionare Scegli file o trascinare un file nel campo di testo del prompt per includere file da aggiungere al prompt. Puoi fare riferimento al file nel testo del prompt, ad esempio o. Summarize this document for me Tell me what's in this image È possibile includere i seguenti tipi di file:

     • Documenti: aggiungi documenti per completare la richiesta. Per un elenco dei tipi di file supportati, consulta il format campo in DocumentBlock.

       avvertimento

       I nomi dei documenti sono vulnerabili alle iniezioni tempestive, perché il modello potrebbe inavvertitamente interpretarli come istruzioni. Pertanto, si consiglia di specificare un nome neutro.

     • Immagini: aggiungi immagini per completare il prompt, se il modello supporta i prompt multimodali. Per un elenco dei tipi di file supportati, consultate il campo in. format ImageBlock

     Nota

     Le seguenti restrizioni riguardano l'aggiunta di file a un prompt:

     • È possibile includere fino a 20 immagini. Le dimensioni, l'altezza e la larghezza di ogni immagine non devono superare rispettivamente 3,75 MB, 8.000 px e 8.000 px.

     • Puoi includere fino a cinque documenti. Le dimensioni di ogni documento non devono superare i 4,5 MB.

   • Configurazioni: impostazioni regolate per modificare la risposta del modello. Le configurazioni includono quanto segue:

     • Parametri di inferenza: valori che influiscono o limitano il modo in cui il modello genera la risposta. Per ulteriori informazioni, consulta Influenza la generazione della risposta con parametri di inferenza. Per visualizzare i parametri di inferenza per modelli specifici, fare riferimento a. Parametri della richiesta di inferenza e campi di risposta per i modelli di base

     • Prompt di sistema: prompt che forniscono istruzioni o contesto al modello sull'attività che deve svolgere o sulla persona da adottare. Questi sono disponibili solo nella modalità chat del parco giochi chat/text. Per ulteriori informazioni e un elenco di modelli che supportano i prompt di sistema, consulta. Effettuare una conversazione con Converse Operazioni API

     • Guardrails: filtra i contenuti dannosi o indesiderati nei prompt e nelle risposte dei modelli. Per ulteriori informazioni, consulta Blocca i contenuti dannosi nei modelli che utilizzano Amazon Bedrock Guardrails.

7. (Facoltativo) Se un modello supporta lo streaming, il comportamento predefinito nel campo di chat e testo consiste nello streaming delle risposte. Puoi disattivare lo streaming scegliendo l'icona delle opzioni ( ) e modificando l'opzione di preferenza Streaming.

8. (Facoltativo) Nella modalità chat del parco giochi chat/testo, puoi confrontare le risposte di diversi modelli effettuando le seguenti operazioni:

   1. Attiva Modalità di confronto.

   2. Scegliete Seleziona modello e selezionate il provider, il modello e la velocità effettiva da utilizzare.

   3. Scegliete l'icona delle configurazioni ( ) per modificare le configurazioni da utilizzare.

   4. Per aggiungere altri modelli da confrontare, scegliete l'icona + sulla destra, selezionate un modello e modificate le configurazioni secondo necessità.

9. (Facoltativo) Se un modello supporta la memorizzazione nella cache dei prompt, potete aprire il pannello Configurazioni e attivare la memorizzazione nella cache dei prompt caching per abilitare la memorizzazione nella cache delle risposte di input e del modello per ridurre costi e latenza. Per ulteriori informazioni, consulta Memorizzazione tempestiva nella cache per un'inferenza più rapida del modello.

   Nota

   Il prompt caching di Amazon Bedrock è attualmente disponibile solo per un numero selezionato di clienti. Per ulteriori informazioni sulla partecipazione all'anteprima, consulta Amazon Bedrock prompt caching.

10. Per eseguire il prompt, scegli Esegui. Amazon Bedrock non memorizza testo, immagini o documenti forniti da te. I dati vengono utilizzati solo per generare la risposta.

    Nota

    Se la risposta viola la policy di moderazione dei contenuti, Amazon Bedrock non la visualizza. Se hai attivato lo streaming, Amazon Bedrock cancella l'intera risposta se genera contenuti che violano la policy. Per ulteriori dettagli, accedi alla console Amazon Bedrock, seleziona Fornitori e leggi il testo nella sezione Limitazioni dei contenuti.

11. Il modello restituisce la risposta. Se utilizzi la modalità chat del parco giochi chat/testo, puoi inviare un prompt per rispondere alla risposta e generare un'altra risposta.

12. Dopo aver generato una risposta, hai le seguenti opzioni:

    • Per esportare la risposta come JSON file, scegliete l'icona delle opzioni ( ) e selezionate Esporta come JSON.

    • Per visualizzare la API richiesta effettuata, scegli l'icona delle opzioni ( ) e seleziona Visualizza API richiesta.

    • Nella modalità chat del parco giochi chat/testo, puoi visualizzare le metriche nella sezione Metriche del modello. Sono disponibili le seguenti metriche del modello:

      • Latenza: il tempo impiegato dal modello per generare ogni token (parola) in una sequenza.

      • Numero di token di input: il numero di token che vengono inseriti nel modello come input durante l'inferenza.

      • Numero di token di output: il numero di token generati in risposta a un prompt. Le risposte più lunghe e più colloquiali richiedono più token.

      • Costo: il costo dell'elaborazione dell'input e della generazione dei token di output.

      Per impostare i criteri metrici ai quali desideri che la risposta corrisponda, scegli Definisci criteri metrici e definisci le condizioni che il modello deve soddisfare. Dopo aver applicato i criteri, la sezione Metriche del modello mostra quanti e quali criteri sono stati soddisfatti dalla risposta.

      Se i criteri non sono soddisfatti, è possibile scegliere un modello diverso, riscrivere il prompt o modificare le configurazioni ed eseguire nuovamente il prompt.