在 JupyterLab 或經典工作室中使用 Jupyter AI - Amazon SageMaker
使用聊天 UI 中的語言模型使用筆記本中的語言模型

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

在 JupyterLab 或經典工作室中使用 Jupyter AI

使用聊天 UI 中的語言模型

在聊天 UI 文本框中編寫您的消息以開始與您的模型進行交互。若要清除訊息歷程記錄，請使用/clear指令。

注意

清除訊息歷程記錄並不會清除與模型提供者的聊天內容。

使用筆記本儲存格的語言模型

使用%%ai和命%ai令叫用語言模型之前，請在 JupyterLab 或 Studio Classic 筆記本儲存格中執行下列命令來載入IPython擴充功能。

%load_ext jupyter_ai_magics

  • 對於以下物件 AWS託管的模型

    • 要調用部署在中的模型 SageMaker，請使用下面所需的參數將字符串sagemaker-endpoint:endpoint-name傳遞給 %%ai magic 命令，然後在以下幾行中添加提示符。

      下表列出了調用由 SageMaker 或 Amazon 基岩託管的模型時的必要和可選參數。

      參數名稱 Parameter (參數) 短版 Description
      請求模式 --request-schema -q 必要：端點預期的JSON物件，並將提示取代為符合字串常<prompt>值的任何值。
      地區名稱 --region-name -n 必要：模型 AWS 區域 的部署位置。
      回應路徑 --response-path -p 必要：用於從端點JSON回應中擷取語言模型輸出的JSONPath字串。
      額外的模型參數 --model-parameters -m 選用性：指JSON定要傳遞至模型的其他參數的值。接受的值被解析為字典，解壓縮，並直接傳遞給提供程序類。當端點或模型需要自訂參數時，這很有用。例如，在 Llama 2 模型中，當接受最終用戶許可協議（EULA）是必要的，您可以使用-m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}}將接EULA受傳遞給端點。或者，您可以使用-m參數傳遞額外的模型參數，例如為模型生成的響應設置最大令牌數量。例如，使用AI21實驗室侏羅紀模型時：-m {"model_kwargs":{"maxTokens":256}}。
      輸出格式 --format -f 可選：用於彩現輸出的IPython顯示。它可以是以下任何值[code|html|image|json|markdown|math|md|text]，前提是調用的模型支持指定的格式。

      下列指令會叫用由主控的駱馬 2-7 B 模型。 SageMaker

      %%ai sagemaker-endpoint:jumpstart-dft-meta-textgeneration-llama-2-7b -q {"inputs":"<prompt>","parameters":{"max_new_tokens":64,"top_p":0.9,"temperature":0.6,"return_full_text":false}} -n us-east-2 -p [0].generation -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} -f text
Translate English to French:
sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>

      下列範例會呼叫由主控的 FLan-T5-小型模型。 SageMaker

      %%ai sagemaker-endpoint:hf-text2text-flan-t5-small --request-schema={"inputs":"<prompt>","parameters":{"num_return_sequences":4}} --region-name=us-west-2 --response-path=[0]["generated_text"] -f text
What is the atomic number of Hydrogen?

    • 若要叫用 Amazon Bdrock 中部署的模型，請使用參數清單中定義的任何選用參數將字串傳遞bedrock:model-name至 %%ai magic 命令，以叫用由 JumpStart Amazon Bedrock 託管的模型，然後在以下幾行中新增您的提示。

      下面的示例調用由 Amazon 基岩託管的AI21實驗室 Jurassic-2 模型。

      %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":256}} -f code
Write a function in python implementing a bubbble sort.

  • 對於第三方供應商託管的模型

    要調用由第三方提供程序託管的模型，請使用可選的將字符串provider-id:model-name傳遞給 %%ai magic 命令 Output format，然後在以下幾行中添加您的提示。您可以在 Jupyter AI 模型提供者清單中找到每個提供者的詳細資訊，包括其 ID。

    下面的命令要求人性克勞德模型輸出包含黑色邊框的白色正方形圖像的HTML文件。

    %%ai anthropic:claude-v1.2 -f html
Create a square using SVG with a black border and white fill.