SageMaker 筆記本環境中的生成式 AI

焦點模式

SageMaker 筆記本環境中的生成式 AI - Amazon SageMaker AI

Jupyter AI 是 JupyterLab 的開放原始碼延伸，將生成式 AI 功能整合到 Jupyter 筆記本中。透過 Jupyter AI 聊天介面和魔術命令，使用者可嘗試自然語言說明產生的程式碼、解釋現有程式碼、詢問本機檔案的問題、產生整個筆記本等。延伸模組會將 Jupyter 筆記本與大型語言模型 (LLMs) 連線，使用者可以用來產生文字、程式碼或影像，以及詢問有關其自身資料的問題。Jupyter AI 支援生成模型提供者，例如 AI21、Anthropic、 AWS (JumpStart 和 Amazon Bedrock)、Cohere 和 OpenAI。

您也可以使用 Amazon Q Developer 做為立即可用的解決方案。您不需要手動設定與模型的連線，您可以以最少的組態開始使用 Amazon Q 開發人員。當您啟用 Amazon Q Developer 時，它會成為 Jupyter AI 中的預設解決方案提供者。如需使用 Amazon Q Developer 的詳細資訊，請參閱 SageMaker JupyterLab。

擴充功能的套件包含在 Amazon SageMaker Distribution 1.2 版及更新版本中。Amazon SageMaker Distribution 是用於資料科學和科學運算的 Docker 環境，用作 JupyterLab 筆記本執行個體的預設映像。不同 IPython 環境的使用者可以手動安裝 Jupyter AI。

在本節中，我們提供 Jupyter AI 功能的概觀，並示範如何從 JupyterLab 或 Studio Classic 筆記本設定 JumpStart 或 Amazon Bedrock 提供的模型。如需 Jupyter AI 專案的更深入資訊，請參閱其文件。或者，您可以參閱 Jupyter 中的部落格文章生成式 AI，以取得 Jupyter AI 功能的重要概觀和範例。

在使用 Jupyter AI 並與 LLMs互動之前，請確定您滿足下列先決條件：

對於託管的模型 AWS，您應該擁有 SageMaker AI 端點的 ARN 或可存取 Amazon Bedrock。對於其他模型提供者，您應該具有 API 金鑰，用於驗證和授權對模型的請求。Jupyter AI 支援各種模型提供者和語言模型，請參閱其支援的模型清單，以隨時掌握最新可用模型。如需有關如何在 JumpStart 中部署模型的資訊，請參閱 JumpStart 文件中的部署模型。您需要請求存取 Amazon Bedrock，以將其用作模型提供者。
確保 Jupyter AI 程式庫存在於您的環境中。如果沒有，請依照中的指示安裝所需的套件Jupyter AI 安裝。
熟悉中 Jupyter AI 的功能存取 Jupyter AI 功能。
遵循中的指示，設定您想要使用的目標模型設定模型提供者。