기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

모델 공급자 구성

Jupyter AI의 구성은 채팅 UI 또는 매직 명령을 사용하는지 여부에 따라 달라집니다.

채팅 UI에서 모델 공급자 구성

다음 스냅샷은 에서 제공하고 에 배포된 Flan-t5-small 모델을 호출하도록 설정된 채팅 UI 구성 패널의 그림 JumpStart 입니다 SageMaker.

추가 모델 파라미터 및 사용자 지정 파라미터를 요청에 전달

모델에 사용자 계약 승인을 위한 사용자 지정 속성과 같은 추가 파라미터가 필요하거나 온도 또는 응답 길이와 같은 다른 모델 파라미터에 대한 조정이 필요할 수 있습니다. 수명 주기 구성을 사용하여 애플리케이션의 시작 옵션으로 JupyterLab 이러한 설정을 구성하는 것이 좋습니다. 수명 주기 구성을 생성하고 이를 도메인 또는 SageMaker 콘솔 의 사용자 프로필에 연결하는 방법에 대한 자세한 내용은 수명 주기 구성 생성 및 연결을 참조하세요. JupyterLab 애플리케이션의 공간을 생성할 때 LCC 스크립트를 선택할 수 있습니다.

다음 JSON 스키마를 사용하여 추가 파라미터 를 구성합니다.

{
  "AiExtension": {
    "model_parameters": {
      "<provider_id>:<model_id>": { Dictionary of model parameters which is unpacked and passed as-is to the provider.}
      }
    }
  }
}

다음 스크립트는 JupyterLab 애플리케이션을 생성할 때 Amazon Bedrock에 배포된 AI21 Labs Jurassic-2 모델의 최대 길이를 설정하는 LCC 데 사용할 수 있는 JSON 구성 파일의 예입니다. 모델이 생성한 응답의 길이를 늘리면 모델 응답이 체계적으로 잘리지 않을 수 있습니다.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:ai21.j2-mid-v1": {"model_kwargs": {"maxTokens": 200}}}}}'
# equivalent to %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":200}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

다음 스크립트는 Amazon Bedrock에 배포된 Anthropic Claude 모델에 대한 추가 모델 파라미터를 설정하는 데 LCC 사용되는 JupyterLab 애플리케이션을 생성하는 JSON 구성 파일의 예입니다.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:anthropic.claude-v2":{"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":25
0,"max_tokens_to_sample":2}}}}}'
# equivalent to %%ai bedrock:anthropic.claude-v2 -m {"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":250,"max_tokens_to_sample":2000}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

도메인 또는 사용자 프로필LCC에 를 연결한 후 JupyterLab 애플리케이션을 시작할 때 LCC를 공간에 추가합니다. 에서 구성 파일을 업데이트하려면 터미널more ~/.jupyter/jupyter_jupyter_ai_config.json에서 를 LCC실행합니다. 파일의 콘텐츠는 에 전달된 JSON 파일의 콘텐츠와 일치해야 합니다LCC.

노트북에서 모델 공급자 구성