Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Integrazione di Amazon Redshift ML con Amazon Bedrock
Questa sezione descrive come utilizzare l'integrazione di Amazon Redshift ML con Amazon Bedrock. Con questa funzionalità, puoi richiamare un modello Amazon Bedrock e utilizzare i dati di un data warehouse Amazon Redshift per creare applicazioni AI generative come la generazione di testo, l'analisi del sentiment o la traduzione. SQL
Argomenti
- Creazione o aggiornamento di un IAM ruolo per l'integrazione di Amazon Redshift ML con Amazon Bedrock
- Creazione di un modello esterno per l'integrazione di Amazon Redshift ML con Amazon Bedrock
- Utilizzo di un modello esterno per l'integrazione di Amazon Redshift ML con Amazon Bedrock
- Progettazione rapida per l'integrazione di Amazon Redshift ML con Amazon Bedrock
Creazione o aggiornamento di un IAM ruolo per l'integrazione di Amazon Redshift ML con Amazon Bedrock
Questa sezione illustra come creare un IAM ruolo da utilizzare con l'integrazione di Amazon Redshift ML con Amazon Bedrock.
Aggiungi la seguente policy al IAM ruolo che utilizzi con l'integrazione di Amazon Redshift ML con Amazon Bedrock:
AmazonBedrockFullAccess
Per consentire ad Amazon Redshift di assumere un ruolo per interagire con altri servizi, aggiungi la seguente politica di fiducia al IAM ruolo:
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": [ "redshift.amazonaws.com" ] }, "Action": "sts:AssumeRole" } ] }
Se il cluster o lo spazio dei nomi si trova in unVPC, segui le istruzioni in. Configurare il cluster e le impostazioni di Amazon Redshift ML
Se hai bisogno di una politica più restrittiva, puoi crearne una che includa solo le autorizzazioni Amazon Bedrock specificate nelle seguenti pagine:
Per informazioni sulla creazione di un IAM ruolo, consulta IAMRole Creation nella Guida per l'AWS Identity and Access Management utente.
Creazione di un modello esterno per l'integrazione di Amazon Redshift ML con Amazon Bedrock
Questa sezione mostra come creare un modello esterno da utilizzare come interfaccia per Amazon Bedrock all'interno del tuo data warehouse Amazon Redshift.
Per richiamare un modello Amazon Bedrock da Amazon Redshift, devi prima eseguire il comando. CREATE EXTERNAL MODEL
Questo comando crea un oggetto modello esterno nel database e una funzione utente associata da utilizzare per generare contenuti di testo con Amazon Bedrock.
Il seguente esempio di codice mostra un CREATE EXTERNAL MODEL
comando di base:
CREATE EXTERNAL MODEL llm_claude FUNCTION llm_claude_func IAM_ROLE '
<IAM role arn>
' MODEL_TYPE BEDROCK SETTINGS ( MODEL_ID 'anthropic.claude-v2:1', PROMPT 'Summarize the following text:');
Il CREATE EXTERNAL MODEL
comando ha un'interfaccia unificata e coerente con Amazon Bedrock per tutti i Foundation Models (FM) che supportano i messaggi. Questa è l'opzione predefinita quando si utilizza il CREATE EXTERNAL MODEL
comando o quando si specifica esplicitamente il tipo di richiesta da utilizzare. UNIFIED
Per ulteriori informazioni, consulta la documentazione di Converse nella API documentazione di Amazon Bedrock API.
Se un FM non supporta i messaggi, devi impostare l'request_type
impostazione su. RAW
Quando lo request_type
impostiRAW
, devi creare la richiesta inviata ad Amazon Bedrock quando usi la funzione di inferenza basata sulla FM selezionata.
Il PROMPT
parametro per il CREATE EXTERNAL MODEL
comando è un prompt statico. Se è necessario un prompt dinamico per l'applicazione, è necessario specificarlo quando si utilizza la funzione di inferenza. Per ulteriori dettagli, vedere Progettazione rapida per l'integrazione di Amazon Redshift ML con Amazon Bedrock quanto segue.
Per ulteriori informazioni sull'CREATE EXTERNAL MODEL
istruzione e sui relativi parametri e impostazioni, vedereCREATE EXTERNAL MODEL.
Utilizzo di un modello esterno per l'integrazione di Amazon Redshift ML con Amazon Bedrock
Questa sezione mostra come richiamare un modello esterno per generare testo in risposta ai prompt forniti. Per richiamare un modello esterno, utilizzate la funzione di inferenza con cui create. CREATE EXTERNAL MODEL
Argomenti
Inferenza con modelli di tipo di richiesta UNIFIED
La funzione di inferenza per i modelli con tipo di richiesta UNIFIED
ha i seguenti tre parametri che vengono passati alla funzione nell'ordine:
Testo di input (obbligatorio): questo parametro specifica il testo di input che Amazon Redshift passa ad Amazon Bedrock.
Configurazione di inferenza e campi di richiesta del modello aggiuntivo (facoltativi): Amazon Redshift passa questi parametri ai parametri corrispondenti per il modello Converse. API
Il seguente esempio di codice mostra come utilizzare una funzione di inferenza dei UNIFIED
tipi:
SELECT llm_claude_func(input_text, object('temperature', 0.7, 'maxtokens', 500)) FROM some_data;
Inferenza con modelli di tipo RAW
di richiesta
La funzione di inferenza per i modelli con tipo di richiesta RAW
ha un solo parametro del tipo di dati. SUPER
La sintassi di questo parametro dipende dal modello Amazon Bedrock utilizzato.
Il seguente esempio di codice mostra come utilizzare una funzione di inferenza dei RAW
tipi:
SELECT llm_titan_func( object( "inputText", "Summarize the following text: " | input_text, "textGenerationConfig", object("temperature", 0.5, "maxTokenCount", 500) ) ) FROM some_data;
Le funzioni di inferenza sono solo funzioni leader
Le funzioni di inferenza per i modelli Amazon Bedrock possono essere eseguite come funzioni leader solo per nodi quando la query che le utilizza non fa riferimento a nessuna tabella. Questo può essere utile se desideri porre rapidamente una domanda. LLM
Il seguente esempio di codice mostra come utilizzare una funzione di inferenza basata solo sui leader:
SELECT general_titan_llm_func('Summarize the benefits of LLM on data analytics in 100 words');
Note sull'utilizzo della funzione di inferenza
Tieni presente quanto segue quando utilizzi funzioni di inferenza con l'integrazione di Amazon Redshift ML con Amazon Bedrock:
I nomi dei parametri per tutti i modelli Amazon Bedrock fanno distinzione tra maiuscole e minuscole. Se i tuoi parametri non corrispondono a quelli richiesti dal modello, Amazon Bedrock potrebbe ignorarli silenziosamente.
La velocità effettiva delle query di inferenza è limitata dalle quote di runtime dei diversi modelli offerti da Amazon Bedrock in diverse regioni. Per ulteriori informazioni, consulta Quotas for Amazon Bedrock nella Amazon Bedrock User Guide.
Se hai bisogno di un throughput garantito e costante, prendi in considerazione la possibilità di richiedere un throughput assegnato per il modello di cui hai bisogno da Amazon Bedrock. Per ulteriori informazioni, consulta Aumentare la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock nella Amazon Bedrock User Guide.
Le query di inferenza con grandi quantità di dati potrebbero avere eccezioni di limitazione. Ciò è dovuto alle quote di runtime limitate per Amazon Bedrock. Amazon Redshift ritenta le richieste più volte, ma le query possono comunque essere limitate perché il throughput per i modelli senza provisioning potrebbe essere variabile.
Progettazione rapida per l'integrazione di Amazon Redshift ML con Amazon Bedrock
Questa sezione mostra come utilizzare i prompt statici con un modello esterno.
Per utilizzare i prefissi e i suffissi statici per il modello esterno, forniscili utilizzando i parametri e dell'PROMPT
istruzione. SUFFIX
CREATE EXTERNAL MODEL
Questi prompt vengono aggiunti a ogni query che utilizza il modello esterno.
L'esempio seguente mostra come aggiungere richieste di prefissi e suffissi a un modello esterno:
CREATE EXTERNAL MODEL llm_claude FUNCTION llm_claude_func IAM_ROLE '
<IAM role arn>
' MODEL_TYPE BEDROCK SETTINGS ( MODEL_ID 'anthropic.claude-v2:1',PROMPT 'Summarize the following text:', SUFFIX 'Respond in an analytic tone')
;
Per utilizzare i prompt dinamici, è possibile fornirli quando si utilizza la funzione di inferenza concatenandoli nell'input della funzione. L'esempio seguente mostra come utilizzare i prompt dinamici con una funzione di inferenza:
SELECT llm_claude_func('Summarize the following review:' | input_text | 'The review should have formal tone.') FROM some_data