Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfigurieren Sie Ihren Modellanbieter

Die Konfiguration von Jupyter AI hängt davon ab, ob Sie die Chat-Benutzeroberfläche oder magische Befehle verwenden.

Konfigurieren Sie Ihren Modellanbieter in der Chat-Benutzeroberfläche

Der folgende Schnappschuss ist eine Veranschaulichung des Konfigurationsfensters für die Chat-Benutzeroberfläche, das so konfiguriert ist, dass es ein Flan-T5-Small-Modell aufruft, das von bereitgestellt und in diesem bereitgestellt wird. JumpStart SageMaker

Übergeben Sie zusätzliche Modellparameter und benutzerdefinierte Parameter an Ihre Anfrage

Ihr Modell benötigt möglicherweise zusätzliche Parameter, z. B. ein benutzerdefiniertes Attribut für die Genehmigung der Benutzervereinbarung oder Anpassungen an anderen Modellparametern wie Temperatur oder Antwortlänge. Wir empfehlen, diese Einstellungen als Startoption Ihrer JupyterLab Anwendung mithilfe einer Lebenszykluskonfiguration zu konfigurieren. Informationen dazu, wie Sie eine Lebenszykluskonfiguration erstellen und sie über die SageMaker Konsole an Ihre Domain oder an ein Benutzerprofil anhängen, finden Sie unter Lebenszykluskonfiguration erstellen und zuordnen. Sie können Ihr LCC Skript auswählen, wenn Sie einen Bereich für Ihre JupyterLab Anwendung erstellen.

Verwenden Sie das folgende JSON Schema, um Ihre zusätzlichen Parameter zu konfigurieren:

{
  "AiExtension": {
    "model_parameters": {
      "<provider_id>:<model_id>": { Dictionary of model parameters which is unpacked and passed as-is to the provider.}
      }
    }
  }
}

Das folgende Skript ist ein Beispiel für eine JSON Konfigurationsdatei, die Sie beim Erstellen einer JupyterLab Anwendung verwenden können, LCC um die maximale Länge eines AI21Labs Jurassic-2-Modells festzulegen, das auf Amazon Bedrock bereitgestellt wird. Wenn Sie die Länge der vom Modell generierten Antwort erhöhen, können Sie verhindern, dass die Antwort Ihres Modells systematisch gekürzt wird.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:ai21.j2-mid-v1": {"model_kwargs": {"maxTokens": 200}}}}}'
# equivalent to %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":200}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Das folgende Skript ist ein Beispiel für eine JSON Konfigurationsdatei zur Erstellung einer JupyterLab LCC Anwendung, mit der zusätzliche Modellparameter für ein auf Amazon Bedrock bereitgestelltes Anthropic-Claude-Modell festgelegt werden.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:anthropic.claude-v2":{"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":25
0,"max_tokens_to_sample":2}}}}}'
# equivalent to %%ai bedrock:anthropic.claude-v2 -m {"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":250,"max_tokens_to_sample":2000}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Sobald Sie Ihr LCC Domain- oder Benutzerprofil angehängt haben, fügen Sie es Ihrem LCC Bereich hinzu, wenn Sie Ihre Anwendung starten. JupyterLab Um sicherzustellen, dass Ihre Konfigurationsdatei von der aktualisiert wirdLCC, führen Sie sie more ~/.jupyter/jupyter_jupyter_ai_config.json in einem Terminal aus. Der Inhalt der Datei sollte dem Inhalt der JSON Datei entsprechen, die an die übergeben wurdeLCC.

Konfigurieren Sie Ihren Modellanbieter in einem Notizbuch