在 JupyterLab 或 Studio Classic 中使用 Jupyter AI - Amazon SageMaker AI
從聊天 UI 使用語言模型從筆記本使用語言模型

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

在 JupyterLab 或 Studio Classic 中使用 Jupyter AI

您可以在 JupyterLab 或 Studio Classic 中使用 Jupyter AI，方法是從聊天 UI 或筆記本儲存格叫用語言模型。下列各節提供完成此作業所需的步驟資訊。

從聊天 UI 使用語言模型

在聊天 UI 文字方塊中編寫您的訊息，以開始與您的模型互動。若要清除訊息歷史記錄，請使用 /clear命令。

注意

清除訊息歷史記錄不會清除模型提供者的聊天內容。

從筆記本儲存格使用語言模型

使用 %%ai和 %ai命令來叫用語言模型之前，請在 JupyterLab 或 Studio Classic 筆記本儲存格中執行下列命令來載入 IPython 延伸模組。

%load_ext jupyter_ai_magics

  • 對於 託管的模型 AWS：

    • 若要叫用 SageMaker AI 中部署的模型，請使用下列必要參數將字串傳遞sagemaker-endpoint:endpoint-name至%%ai魔術命令，然後在下列幾行中新增您的提示。

      下表列出調用由 SageMaker AI 或 Amazon Bedrock 託管的模型時的必要和選用參數。

      參數名稱 Parameter (參數) 簡短版本 Description
      請求結構描述 --request-schema -q 必要：端點預期的 JSON 物件，提示會替換為符合字串常值 的任何值<prompt>。
      區域名稱 --region-name -n 必要：部署模型 AWS 區域 的 。
      回應路徑 --response-path -p 必要：用於從端點的 JSON 回應擷取語言模型輸出的 JSONPath 字串。
      額外模型參數 --model-parameters -m 選用：指定要傳遞給模型之其他參數的 JSON 值。接受的值會剖析為字典、解壓縮，並直接傳遞給提供者類別。當端點或模型需要自訂參數時，這很有用。例如，在 Llama 2 模型中，當需要接受最終使用者授權合約 (EULA) 時，您可以使用 將 EULA 接受傳遞至端點-m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}}。或者，您可以使用 -m 參數傳遞額外的模型參數，例如為模型產生的回應設定字符數量上限。例如，使用 AI21 Labs Jurassic 模型時：-m {"model_kwargs":{"maxTokens":256}}。
      輸出格式 --format -f 選用：用來轉譯輸出的 IPython 顯示。可以是下列任何值 [code|html|image|json|markdown|math|md|text]，前提是調用模型支援指定的格式。

      下列命令會叫用由 SageMaker AI 託管的 Llama2-7b 模型。

      %%ai sagemaker-endpoint:jumpstart-dft-meta-textgeneration-llama-2-7b -q {"inputs":"<prompt>","parameters":{"max_new_tokens":64,"top_p":0.9,"temperature":0.6,"return_full_text":false}} -n us-east-2 -p [0].generation -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} -f text
Translate English to French:
sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>

      下列範例會叫用由 SageMaker AI 託管的 Flan-t5-small模型。

      %%ai sagemaker-endpoint:hf-text2text-flan-t5-small --request-schema={"inputs":"<prompt>","parameters":{"num_return_sequences":4}} --region-name=us-west-2 --response-path=[0]["generated_text"] -f text
What is the atomic number of Hydrogen?

    • 若要叫用 Amazon Bedrock 部署的模型，請將字串傳遞bedrock:model-name至 %%ai Magic 命令，其中包含 JumpStart 或 Amazon Bedrock 託管模型的參數清單中定義的任何選用參數，然後在下列幾行中新增您的提示。

      下列範例會叫用 Amazon Bedrock 託管的 AI21 實驗室 Jurassic-2 模型。

      %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":256}} -f code
Write a function in python implementing a bubbble sort.

  • 對於第三方供應商託管的模型

    若要叫用由第三方供應商託管的模型，請使用選用的 將字串傳遞provider-id:model-name至%%ai魔術命令Output format，然後在以下幾行中新增您的提示。您可以在模型提供者的 Jupyter AI 清單中找到每個提供者的詳細資訊，包括其 ID。

    下列命令會要求 Anthropic Claude 模型輸出 HTML 檔案，其中包含具有黑色邊界的白色方塊影像。

    %%ai anthropic:claude-v1.2 -f html
Create a square using SVG with a black border and white fill.