Configura il fornitore del modello - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configura il fornitore del modello

Nota

In questa sezione, partiamo dal presupposto che il linguaggio e i modelli di incorporamento che intendi utilizzare siano già distribuiti. Per i modelli forniti da AWS, dovresti già disporre del tuo SageMaker endpoint o ARN dell'accesso ad Amazon Bedrock. Per gli altri fornitori di modelli, è necessario utilizzare la API chiave per autenticare e autorizzare le richieste al modello.

Jupyter AI supporta un'ampia gamma di fornitori di modelli e modelli linguistici, consulta l'elenco dei modelli supportati per rimanere aggiornato sugli ultimi modelli disponibili. Per informazioni su come implementare un modello fornito da JumpStart, consulta Deploy a Model nella documentazione. JumpStart Devi richiedere l'accesso ad Amazon Bedrock per utilizzarlo come fornitore di modelli.

La configurazione di Jupyter AI varia a seconda che si utilizzi l'interfaccia utente della chat o i comandi magici.

Configura il provider del modello nell'interfaccia utente della chat

Nota

È possibile configurare diversi modelli LLMs e incorporarli seguendo le stesse istruzioni. Tuttavia, è necessario configurare almeno un modello linguistico.

Per configurare l'interfaccia utente della chat
  1. In JupyterLab, accedi all'interfaccia della chat selezionando l'icona della chat ( Icon of a rectangular shape with a curved arrow pointing to the upper right corner. ) nel pannello di navigazione a sinistra.

  2. Scegli l'icona di configurazione ( Gear or cog icon representing settings or configuration options. ) nell'angolo in alto a destra del riquadro sinistro. Si apre il pannello di configurazione AI di Jupyter.

  3. Compila i campi relativi al tuo fornitore di servizi.

L'istantanea seguente è un'illustrazione del pannello di configurazione dell'interfaccia utente della chat impostato per richiamare un modello FLAN-T5-Small fornito e distribuito in. JumpStart SageMaker

Pannello di configurazione dell'interfaccia utente della chat impostato per richiamare un modello FLAN-T5-small fornito da. JumpStart

Passa parametri aggiuntivi del modello e parametri personalizzati alla tua richiesta

Il tuo modello potrebbe aver bisogno di parametri aggiuntivi, come un attributo personalizzato per l'approvazione del contratto con l'utente o modifiche ad altri parametri del modello come la temperatura o la lunghezza di risposta. Ti consigliamo di configurare queste impostazioni come opzione di avvio dell' JupyterLabapplicazione utilizzando una configurazione del ciclo di vita. Per informazioni su come creare una configurazione del ciclo di vita e collegarla al dominio o a un profilo utente dalla SageMaker console, consulta Creare e associare una configurazione del ciclo di vita. Puoi scegliere LCC lo script quando crei uno spazio per la tua applicazione. JupyterLab

Utilizzate lo JSON schema seguente per configurare i parametri aggiuntivi:

{ "AiExtension": { "model_parameters": { "<provider_id>:<model_id>": { Dictionary of model parameters which is unpacked and passed as-is to the provider.} } } } }

Lo script seguente è un esempio di file di JSON configurazione che puoi utilizzare durante la creazione di un' JupyterLab applicazione LCC per impostare la lunghezza massima di un modello AI21 Labs Jurassic-2 distribuito su Amazon Bedrock. L'aumento della lunghezza della risposta generata dal modello può impedire il troncamento sistematico della risposta del modello.

#!/bin/bash set -eux mkdir -p /home/sagemaker-user/.jupyter json='{"AiExtension": {"model_parameters": {"bedrock:ai21.j2-mid-v1": {"model_kwargs": {"maxTokens": 200}}}}}' # equivalent to %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":200}} # File path file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json" #jupyter --paths # Write JSON to file echo "$json" > "$file_path" # Confirmation message echo "JSON written to $file_path" restart-jupyter-server # Waiting for 30 seconds to make sure the Jupyter Server is up and running sleep 30

Lo script seguente è un esempio di file di JSON configurazione per la creazione di un' JupyterLab applicazione LCC utilizzata per impostare parametri di modello aggiuntivi per un modello Anthropic Claude distribuito su Amazon Bedrock.

#!/bin/bash set -eux mkdir -p /home/sagemaker-user/.jupyter json='{"AiExtension": {"model_parameters": {"bedrock:anthropic.claude-v2":{"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":25 0,"max_tokens_to_sample":2}}}}}' # equivalent to %%ai bedrock:anthropic.claude-v2 -m {"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":250,"max_tokens_to_sample":2000}} # File path file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json" #jupyter --paths # Write JSON to file echo "$json" > "$file_path" # Confirmation message echo "JSON written to $file_path" restart-jupyter-server # Waiting for 30 seconds to make sure the Jupyter Server is up and running sleep 30

Dopo aver LCC collegato il tuo dominio o profilo utente, aggiungilo LCC al tuo spazio quando avvii l'applicazione. JupyterLab Per garantire che il file di configurazione venga aggiornato daLCC, eseguilo more ~/.jupyter/jupyter_jupyter_ai_config.json in un terminale. Il contenuto del file deve corrispondere al contenuto del JSON file passato aLCC.

Configura il fornitore del modello in un notebook

Per richiamare un modello tramite Jupyter AI all'interno dei notebook Studio Classic JupyterLab o utilizzando i comandi e magic %%ai%ai
  1. Installa le librerie client specifiche del tuo fornitore di modelli nell'ambiente notebook. Ad esempio, quando si utilizzano modelli OpenAI, è necessario installare la libreria openai client. Puoi trovare l'elenco delle librerie client richieste per provider nella colonna Pacchetti Python dell'elenco dei fornitori di modelli AI di Jupyter.

    Nota

    Per i modelli ospitati da AWS, boto3 è già installato nell'immagine SageMaker Distribution utilizzata da JupyterLab o in qualsiasi immagine Data Science utilizzata con Studio Classic.

    • Per i modelli ospitati da AWS

      Assicurati che il tuo ruolo di esecuzione sia autorizzato a richiamare il tuo SageMaker endpoint per i modelli forniti da Amazon Bedrock JumpStart o che tu abbia accesso ad Amazon Bedrock.

    • Per i modelli ospitati da fornitori di terze parti

      Esporta la API chiave del tuo provider nell'ambiente del tuo notebook utilizzando variabili di ambiente. È possibile utilizzare il seguente comando magico. Sostituisci il provider_API_key comando con la variabile di ambiente che si trova nella colonna Variabile di ambiente dell'elenco dei fornitori di modelli Jupyter AI per il tuo provider.

      %env provider_API_key=your_API_key