Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configurez votre fournisseur de modèles

La configuration de Jupyter AI varie selon que vous utilisez l'interface utilisateur du chat ou les commandes magiques.

Configurez votre fournisseur de modèles dans l'interface utilisateur du chat

L'instantané suivant est une illustration du panneau de configuration de l'interface utilisateur de chat configuré pour invoquer un modèle FLAN-T5-small fourni et déployé dans. JumpStart SageMaker

Transmettez des paramètres de modèle supplémentaires et des paramètres personnalisés à votre demande

Votre modèle peut avoir besoin de paramètres supplémentaires, tels qu'un attribut personnalisé pour l'approbation du contrat utilisateur ou des ajustements d'autres paramètres du modèle tels que la température ou la longueur de réponse. Nous vous recommandons de configurer ces paramètres comme option de démarrage de votre JupyterLab application à l'aide d'une configuration du cycle de vie. Pour plus d'informations sur la façon de créer une configuration de cycle de vie et de l'associer à votre domaine ou à un profil utilisateur depuis la SageMaker console, voir Créer et associer une configuration de cycle de vie. Vous pouvez choisir votre LCC script lorsque vous créez un espace pour votre JupyterLab application.

Utilisez le JSON schéma suivant pour configurer vos paramètres supplémentaires :

{
  "AiExtension": {
    "model_parameters": {
      "<provider_id>:<model_id>": { Dictionary of model parameters which is unpacked and passed as-is to the provider.}
      }
    }
  }
}

Le script suivant est un exemple de fichier de JSON configuration que vous pouvez utiliser lors de la création d'une JupyterLab application LCC pour définir la longueur maximale d'un modèle AI21 Labs Jurassic-2 déployé sur Amazon Bedrock. L'augmentation de la longueur de la réponse générée par le modèle peut empêcher la troncature systématique de la réponse de votre modèle.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:ai21.j2-mid-v1": {"model_kwargs": {"maxTokens": 200}}}}}'
# equivalent to %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":200}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Le script suivant est un exemple de fichier de JSON configuration permettant de créer une JupyterLab application LCC utilisée pour définir des paramètres de modèle supplémentaires pour un modèle Anthropic Claude déployé sur Amazon Bedrock.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:anthropic.claude-v2":{"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":25
0,"max_tokens_to_sample":2}}}}}'
# equivalent to %%ai bedrock:anthropic.claude-v2 -m {"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":250,"max_tokens_to_sample":2000}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Une fois que vous avez rattaché votre nom LCC à votre domaine ou à votre profil utilisateur, ajoutez-le LCC à votre espace lors du lancement de votre JupyterLab application. Pour vous assurer que votre fichier de configuration est mis à jour par leLCC, exécutez-le more ~/.jupyter/jupyter_jupyter_ai_config.json dans un terminal. Le contenu du fichier doit correspondre au contenu du JSON fichier transmis auLCC.

Configurez votre fournisseur de modèles dans un bloc-notes