Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan penyedia model Anda

Konfigurasi Jupyter AI bervariasi tergantung pada apakah Anda menggunakan UI obrolan atau perintah ajaib.

Konfigurasikan penyedia model Anda di UI obrolan

Snapshot berikut adalah ilustrasi panel konfigurasi UI obrolan yang disetel untuk memanggil model FLAN-T5-Small yang disediakan oleh dan diterapkan di. JumpStart SageMaker

Berikan parameter model tambahan dan parameter khusus ke permintaan Anda

Model Anda mungkin memerlukan parameter tambahan, seperti atribut yang disesuaikan untuk persetujuan perjanjian pengguna atau penyesuaian parameter model lain seperti suhu atau panjang respons. Sebaiknya konfigurasi pengaturan ini sebagai opsi start up JupyterLab aplikasi Anda menggunakan Konfigurasi Siklus Hidup. Untuk informasi tentang cara membuat Konfigurasi Siklus Hidup dan melampirkannya ke domain Anda, atau ke profil pengguna dari SageMaker konsol, lihat Membuat dan mengaitkan konfigurasi siklus hidup. Anda dapat memilih LCC skrip Anda saat membuat ruang untuk JupyterLab aplikasi Anda.

Gunakan JSON skema berikut untuk mengonfigurasi parameter tambahan Anda:

{
  "AiExtension": {
    "model_parameters": {
      "<provider_id>:<model_id>": { Dictionary of model parameters which is unpacked and passed as-is to the provider.}
      }
    }
  }
}

Skrip berikut adalah contoh file JSON konfigurasi yang dapat Anda gunakan saat membuat JupyterLab aplikasi LCC untuk mengatur panjang maksimum model AI21 Labs Jurassic-2 yang digunakan di Amazon Bedrock. Meningkatkan panjang respons yang dihasilkan model dapat mencegah pemotongan sistematis respons model Anda.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:ai21.j2-mid-v1": {"model_kwargs": {"maxTokens": 200}}}}}'
# equivalent to %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":200}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Skrip berikut adalah contoh file JSON konfigurasi untuk membuat JupyterLab aplikasi yang LCC digunakan untuk mengatur parameter model tambahan untuk model Anthropic Claude yang digunakan di Amazon Bedrock.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:anthropic.claude-v2":{"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":25
0,"max_tokens_to_sample":2}}}}}'
# equivalent to %%ai bedrock:anthropic.claude-v2 -m {"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":250,"max_tokens_to_sample":2000}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Setelah Anda melampirkan LCC ke domain, atau profil pengguna Anda, tambahkan ruang Anda LCC ke ruang Anda saat meluncurkan JupyterLab aplikasi Anda. Untuk memastikan bahwa file konfigurasi Anda diperbarui olehLCC, jalankan more ~/.jupyter/jupyter_jupyter_ai_config.json di terminal. Isi file harus sesuai dengan konten file yang diteruskan ke JSON fileLCC.

Konfigurasikan penyedia model Anda di buku catatan