在 Studio Classic 中 JupyterLab 使用木星人工智能 - Amazon SageMaker
使用聊天界面中的语言模型使用笔记本中的语言模型

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在 Studio Classic 中 JupyterLab 使用木星人工智能

你可以在 Studio Classic JupyterLab 或 Studio Classic 中使用 Jupyter AI，方法是从聊天用户界面或笔记本单元格中调用语言模型。以下各节提供了有关完成此操作所需的步骤的信息。

使用聊天界面中的语言模型

在聊天界面文本框中撰写您的消息，开始与您的模型互动。要清除消息历史记录，请使用/clear命令。

注意

清除消息历史记录不会删除与模型提供者的聊天上下文。

使用笔记本单元格中的语言模型

在使用%%ai和%ai命令调用语言模型之前，请在 JupyterLab 或 Studio Classic 笔记本单元格中运行以下命令来加载IPython扩展程序。

%load_ext jupyter_ai_magics

  • 对于由 AWS以下机构托管的模型：

    • 要调用中部署的模型 SageMaker，请sagemaker-endpoint:endpoint-name将字符串传递给带有以下所需参数的%%ai魔法命令，然后在以下几行中添加您的提示符。

      下表列出了调用由 SageMaker Amazon Bedrock 托管的模型时的必需参数和可选参数。

      参数名称 参数 简短版 描述
      请求架构 --request-schema -q 必需：端点期望的JSON对象，将提示替换为任何与字符串文字<prompt>匹配的值。
      地区名称 --region-name -n 必填项：模型的部署 AWS 区域 位置。
      响应路径 --response-path -p 必需：用于从端点的JSON响应中提取语言模型输出的JSONPath字符串。
      额外的模型参数 --model-parameters -m 可选：一个JSON值，用于指定要传递给模型的其他参数。接受的值被解析为字典，解压后直接传递给提供者类。当端点或模型需要自定义参数时，这很有用。例如，在 Llama 2 模型中，当必须接受最终用户许可协议 (EULA) 时，您可以使用将EULA接受传递给端点。-m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}}或者，您可以使用-m参数传递额外的模型参数，例如为模型生成的响应设置最大标记数。例如，使用《侏罗纪AI21实验室》模型时：。-m {"model_kwargs":{"maxTokens":256}}
      输出格式 --format -f 可选：用于渲染输出的IPython显示屏。它可以是以下任何值[code|html|image|json|markdown|math|md|text]，前提是调用的模型支持指定的格式。

      以下命令调用托管的 llama 2-7b 模型。 SageMaker

      %%ai sagemaker-endpoint:jumpstart-dft-meta-textgeneration-llama-2-7b -q {"inputs":"<prompt>","parameters":{"max_new_tokens":64,"top_p":0.9,"temperature":0.6,"return_full_text":false}} -n us-east-2 -p [0].generation -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} -f text
Translate English to French:
sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>

      以下示例调用托管的 Flan-t5-Small 模型。 SageMaker

      %%ai sagemaker-endpoint:hf-text2text-flan-t5-small --request-schema={"inputs":"<prompt>","parameters":{"num_return_sequences":4}} --region-name=us-west-2 --response-path=[0]["generated_text"] -f text
What is the atomic number of Hydrogen?

    • 要调用 Amazon Bedrock 中部署的模型，bedrock:model-name请将字符串传递给%%ai魔法命令，其中包含调用由 JumpStart Amazon Bedrock 托管的模型的参数列表中定义的任何可选参数，然后在以下几行中添加您的提示。

      以下示例调用了由 Amazon Bedrock 托管的 AI21 Labs Jurassic-2 模型。

      %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":256}} -f code
Write a function in python implementing a bubbble sort.

  • 适用于由第三方提供商托管的模型

    要调用第三方提供商托管的模型，provider-id:model-name请将字符串传递给带有可选内容的%%ai魔法命令 Output format，然后在以下几行中添加提示符。你可以在 Jupyter AI 的模型提供者列表中找到每个提供者的详细信息，包括他们的 ID。

    以下命令要求 Anthropic Claude 模型输出一个包含带有黑色边框的白色方块图像的HTML文件。

    %%ai anthropic:claude-v1.2 -f html
Create a square using SVG with a black border and white fill.