Configure seu fornecedor de modelo

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

A configuração do Jupyter AI varia dependendo se você está usando a interface de usuário de chat ou comandos mágicos.

Configure seu fornecedor de modelo na interface de usuário de chat

O instantâneo a seguir é uma ilustração do painel de configuração da interface do usuário do chat definido para invocar um modelo FLAN-T5-small fornecido e implantado na IA. JumpStart SageMaker

Passe parâmetros extras do modelo e parâmetros personalizados para sua solicitação

Seu modelo pode precisar de parâmetros extras, como um atributo personalizado para aprovação do contrato do usuário ou ajustes em outros parâmetros do modelo, como temperatura ou duração da resposta. Recomendamos definir essas configurações como uma opção de inicialização do seu JupyterLab aplicativo usando uma configuração de ciclo de vida. Para obter informações sobre como criar uma configuração de ciclo de vida e anexá-la ao seu domínio ou a um perfil de usuário do console de SageMaker IA, consulte Criar e associar uma configuração de ciclo de vida. Você pode escolher seu script de LCC ao criar um espaço para seu JupyterLab aplicativo.

Use o seguinte esquema JSON para configurar seus parâmetros extras:

{
  "AiExtension": {
    "model_parameters": {
      "<provider_id>:<model_id>": { Dictionary of model parameters which is unpacked and passed as-is to the provider.}
      }
    }
  }
}

O script a seguir é um exemplo de um arquivo de configuração JSON que você pode usar ao criar uma LCC de JupyterLab aplicativo para definir o tamanho máximo de um modelo do AI21 Labs Jurassic-2 implantado no Amazon Bedrock. Aumentar o comprimento da resposta gerada pelo modelo pode evitar o truncamento sistemático da resposta do seu modelo.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:ai21.j2-mid-v1": {"model_kwargs": {"maxTokens": 200}}}}}'
# equivalent to %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":200}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

O script a seguir é um exemplo de um arquivo de configuração JSON para criar um JupyterLab aplicativo LCC usado para definir parâmetros de modelo adicionais para um modelo Anthropic Claude implantado no Amazon Bedrock.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:anthropic.claude-v2":{"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":25
0,"max_tokens_to_sample":2}}}}}'
# equivalent to %%ai bedrock:anthropic.claude-v2 -m {"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":250,"max_tokens_to_sample":2000}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Depois de anexar sua LCC ao seu domínio ou perfil de usuário, adicione-a ao seu espaço ao iniciar seu JupyterLab aplicativo. Para garantir que seu arquivo de configuração seja atualizado pela LCC, execute more ~/.jupyter/jupyter_jupyter_ai_config.json em um terminal. O conteúdo do arquivo deve corresponder ao conteúdo do arquivo JSON passado para a LCC.

Configure seu fornecedor de modelos em um caderno