本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
透過 Amazon SageMaker 合作夥伴 AI 應用程式，使用者可以存取由業界領導應用程式提供者建置、發佈和分發的生成式 AI 和機器學習 (ML) 開發應用程式。合作夥伴 AI 應用程式已通過認證，可在 SageMaker AI 上執行。透過合作夥伴 AI 應用程式，使用者可以加速並改善他們如何根據基礎模型 (FM) 和傳統 ML 模型建置解決方案，而不會影響敏感資料的安全性。資料會完全保持在其信任的安全組態內，且絕不會與第三方共用。
運作方式
合作夥伴 AI 應用程式是完整的應用程式堆疊，其中包含 Amazon Elastic Kubernetes Service 叢集和一系列隨附的服務，其中可能包括 Application Load Balancer、Amazon Relational Database Service、Amazon Simple Storage Service 儲存貯體、Amazon Simple Queue Service 佇列和Redis快取。
這些服務應用程式可以與 SageMaker AI 網域中的所有使用者共用，並由管理員佈建。透過 購買訂閱來佈建應用程式後 AWS Marketplace，管理員可以授予 SageMaker AI 網域中的使用者許可，以直接從 Amazon SageMaker Studio、Amazon SageMaker Unified Studio （預覽版） 或使用預先簽章的 URL 存取 Partner AI 應用程式。如需從 Studio 啟動應用程式的資訊，請參閱啟動 Amazon SageMaker Studio。
合作夥伴 AI 應用程式為管理員和使用者提供下列好處。
-
管理員使用 SageMaker AI 主控台來瀏覽、探索、選取和佈建合作夥伴 AI 應用程式，以供其資料科學和 ML 團隊使用。部署合作夥伴 AI 應用程式後，SageMaker AI 會在服務受管時執行它們 AWS 帳戶。這可大幅降低與建置和操作這些應用程式相關的營運開銷，並有助於保護客戶資料的安全性和隱私權。
-
資料科學家和 ML 開發人員可以從 Amazon SageMaker Studio 或 Amazon SageMaker Unified Studio 中的 ML 開發環境中存取合作夥伴 AI 應用程式 （預覽）。他們可以使用合作夥伴 AI 應用程式來分析其在 SageMaker AI 上建立的資料、實驗和模型。這可將內容切換降至最低，並有助於加速建置基礎模型，並將新的生成式 AI 功能推向市場。
與 整合 AWS 服務
合作夥伴 AI 應用程式使用現有的 AWS Identity and Access Management (IAM) 組態進行授權和身分驗證。因此，使用者不需要提供單獨的登入資料，即可從 Amazon SageMaker Studio 存取每個合作夥伴 AI 應用程式。如需使用合作夥伴 AI 應用程式進行授權和身分驗證的詳細資訊，請參閱 設定合作夥伴 AI 應用程式。
合作夥伴 AI 應用程式也與 整合 Amazon CloudWatch ，以提供操作監控和管理。客戶也可以瀏覽合作夥伴 AI 應用程式，並從 取得其詳細資訊，例如功能、客戶體驗和定價 AWS Management Console。如需 的詳細資訊 Amazon CloudWatch，請參閱 如何 Amazon CloudWatch 運作。
支援的 類型
合作夥伴 AI 應用程式支援下列類型：
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
當管理員啟動合作夥伴 AI 應用程式時，他們必須選取啟動合作夥伴 AI 應用程式的執行個體叢集組態。此組態稱為合作夥伴 AI 應用程式的層。合作夥伴 AI 應用程式的層可以是下列其中一個值：
-
small -
medium -
large
下列各節提供每個合作夥伴 AI 應用程式類型的相關資訊，以及合作夥伴 AI 應用程式層值的詳細資訊。
Comet 為 AI 開發人員提供end-to-end模型評估平台，其中包含 LLM 評估、實驗追蹤和生產監控。
我們建議根據工作負載使用下列合作夥伴 AI 應用程式層：
-
small– 建議最多 5 個使用者和 20 個執行中的任務。 -
medium– 建議最多 50 個使用者和 100 個執行中的任務。 -
large– 建議最多 500 個使用者和超過 100 個執行中的任務使用。
注意
SageMaker AI 不支援在 Jupyter 筆記本的輸出中檢視 Comet UI。
AI 應用程式開發人員和利益相關者可以使用 Deepchecks 來持續驗證 LLM 型應用程式，包括從預先部署和內部實驗到生產的整個生命週期的特性、效能指標和潛在缺陷。
我們建議根據工作負載所需的速度，使用下列合作夥伴 AI 應用程式層：
-
small– 每秒處理 200 個字符。 -
medium– 每秒處理 500 個字符。 -
large– 每秒處理 1300 個字符。
Fiddler AI 可觀測性平台有助於驗證、監控和分析生產環境中的 ML 模型，包括表格式、深度學習、電腦視覺和自然語言處理模型。
我們建議根據工作負載所需的速度，使用下列合作夥伴 AI 應用程式層：
-
small– 在 5 個模型、100 個功能和 20 個反覆運算中處理 10MM 事件大約需要 53 分鐘。 -
medium– 在 5 個模型、100 個功能和 20 個反覆運算中處理 10MM 事件，大約需要 23 分鐘。 -
large– 在 5 個模型、100 個功能和 100 個反覆運算中處理 10MM 事件，大約需要 27 分鐘。
Lakera Guard 是一種低延遲 AI 應用程式防火牆，可保護生成式 AI 應用程式免受世代 AI 特定威脅。
我們建議根據工作負載使用下列合作夥伴 AI 應用程式層：
-
small– 建議用於最多 20 個 機器人程序自動化 RPAs)。 -
medium– 建議最多 100 RPAs。 -
large– 建議最多 200 RPAs。
