View a markdown version of this page

使用 Amazon Bedrock AgentCore 執行時期託管代理程式或工具 - Amazon Bedrock AgentCore

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 Amazon Bedrock AgentCore 執行時期託管代理程式或工具

Amazon Bedrock AgentCore 執行期提供安全、無伺服器和專門建置的託管環境,用於部署和執行 AI 代理器或工具。它提供下列優點:

與架構無關

AgentCore 執行期可讓您使用幾行程式碼,將任何本機代理程式程式碼轉換為雲端原生部署,無論基礎架構為何。可與熱門架構無縫搭配運作,例如 LangGraph、Strands 和 CrewAI。您也可以將其用於不使用特定架構的自訂代理程式。

模型彈性

AgentCore 執行期適用於任何大型語言模型,例如 Amazon Bedrock、Anthropic Claude、Google Gemini 和 OpenAI 提供的模型。

通訊協定支援

AgentCore 執行期可讓客服人員透過模型內容通訊協定 (MCP) 或客服人員與客服人員 (A2A) 與其他客服人員和工具通訊。

工作階段隔離

在 AgentCore 執行期中,每個使用者工作階段都會在具有隔離 CPU、記憶體和檔案系統資源的專用 microVM 中執行。這有助於在使用者工作階段之間建立完全分離,保護具狀態代理程式推理程序,並有助於防止跨工作階段資料污染。工作階段完成後,整個 microVM 會終止並清除記憶體,即使在使用非確定性 AI 程序時也能提供確定性的安全性。

運算類型選擇

AgentCore 執行期提供兩種運算類型。為完全受管、無伺服器工作階段選擇microVMs,這些工作階段會立即開始並隨需擴展,您只需為使用量付費。選擇執行個體,在您自己帳戶中的 AWS 受管 Amazon EC2 基礎設施上執行代理程式。執行個體支援持續多日工作階段、GPU 加速工作負載,以及共用執行個體上的多個協同合作代理程式。如需詳細資訊,請參閱使用容量提供者在執行個體上執行代理程式。

延長執行時間

AgentCore 執行期支援即時互動和長時間執行的工作負載,可實現複雜的代理程式推理和非同步工作負載,這些工作負載可能涉及多代理程式協同合作或延伸的問題解決工作階段。工作階段在 microVMs 上最多執行 8 小時,在執行個體上最多執行 14 天。如需詳細資訊,請參閱設定 Amazon Bedrock AgentCore 生命週期設定。

持久性檔案系統

執行期支援跨工作階段停止/繼續週期的持續檔案系統狀態。代理程式的檔案、已安裝的套件和建置成品可以在工作階段停止時存活,無需外部儲存。

以使用量為基礎的定價模式

執行期實作以耗用為基礎的定價,只會針對實際使用的資源收費。與需要預先選取資源的配置型模型不同,執行期動態佈建所需的項目,而不需要適當調整大小。此服務會將 CPU 計費與實際的作用中處理保持一致 - 通常在代理程式主要等待 LLM 回應時的輸入/輸出等待期間消除費用 - 同時持續維持工作階段狀態。

內建身分驗證

AgentCore 執行期由 AgentCore Identity 提供支援,可將不同的身分指派給 AI 代理器,並與您的公司身分提供者無縫整合,例如 Okta、Microsoft Entra ID 或 Amazon Cognito,讓您的最終使用者僅對有權存取的代理程式進行身分驗證。此外,執行期可讓傳出身分驗證流程安全地存取第三方服務,例如 Slack、Zoom 和 GitHub,無論是代表使用者操作還是自主操作 (使用 OAuth 或 API 金鑰)。

代理程式特定的可觀測性

AgentCore 執行期提供專門的內建追蹤,可擷取客服人員推理步驟、工具調用和模型互動,提供客服人員決策程序的清晰可見性,這是偵錯和稽核 AI 客服人員行為的關鍵功能。

增強型承載處理

AgentCore 執行期可以處理 100MB 承載,以使用豐富的媒體內容或大型資料集無縫處理多個模態 (文字、影像、音訊、影片)。

雙向串流

AgentCore Runtime 支援 HTTP API 呼叫和持久性 WebSocket 連線以進行即時雙向串流,讓互動式應用程式能夠立即回應意見回饋和維護對話內容。

統一的代理程式特定功能集

AgentCore 執行期是透過單一、完整的 SDK 交付,可提供完整的 AgentCore 功能簡化存取,包括記憶體、工具和閘道。這種整合方法消除了從不同元件建置對等代理程式基礎設施時通常需要的整合工作。

注意

較新的平台版本 V2 已推出。它從快照啟動您的代理程式,無論並行或影像大小如何,保持冷啟動速度和一致性,並降低永遠開啟或高載代理程式的成本。如需詳細資訊,請參閱平台版本。