使用 Amazon Bedrock AgentCore 執行期的主機代理程式或工具
Amazon Bedrock AgentCore 執行期提供安全、無伺服器和專門建置的託管環境,用於部署和執行 AI 代理器或工具。它提供下列優點:
- 與架構無關
-
AgentCore 執行期可讓您使用幾行程式碼,將任何本機代理程式程式碼轉換為雲端原生部署,無論基礎架構為何。可與熱門架構無縫搭配運作,例如 LangGraph、Strands 和 CrewAI。您也可以將其用於不使用特定架構的自訂代理程式。
- 模型彈性
-
AgentCore Runtime 適用於任何大型語言模型,例如 Amazon Bedrock、Anthropic Claude、Google Gemini 和 OpenAI 提供的模型。
- 通訊協定支援
-
AgentCore 執行期可讓客服人員透過模型內容通訊協定 (MCP) 或客服人員與客服人員 (A2A) 與其他客服人員和工具通訊。
- 工作階段隔離
-
在 AgentCore 執行期中,每個使用者工作階段都會在具有隔離 CPU、記憶體和檔案系統資源的專用 microVM 中執行。這有助於在使用者工作階段之間建立完全分離,保護具狀態代理程式推理程序,並有助於防止跨工作階段資料污染。工作階段完成後,整個 microVM 會終止並清除記憶體,即使在使用非確定性 AI 程序時也能提供確定性的安全性。
- 延長執行時間
-
AgentCore 執行期支援長達 8 小時的即時互動和長時間執行的工作負載,可實現複雜的代理程式推理和非同步工作負載,這些工作負載可能涉及多代理程式協同合作或延伸的問題解決工作階段。
- 持久性檔案系統
-
執行時間支援跨工作階段停止/繼續週期的持續檔案系統狀態。代理程式的檔案、已安裝的套件和建置成品可以在工作階段停止時存活,無需外部儲存。
- 以使用量為基礎的定價模型
-
執行期實作以耗用量為基礎的定價,只會針對實際使用的資源收取費用。與需要預先選取資源的配置型模型不同,執行期動態佈建所需的項目,而不需要適當調整大小。當客服人員主要等待 LLM 回應時,此服務會將 CPU 計費與實際的作用中處理 - 通常消除在 I/O 等待期間的費用 - 同時持續維持工作階段狀態。
- 內建身分驗證
-
AgentCore 執行期由 AgentCore Identity 提供支援,可將不同的身分指派給 AI 代理器,並與您的公司身分提供者無縫整合,例如 Okta、Microsoft Entra ID 或 Amazon Cognito,讓您的最終使用者只能對有權存取的代理程式進行身分驗證。此外,執行期可讓傳出身分驗證流程安全地存取第三方服務,例如 Slack、Zoom 和 GitHub,無論是代表使用者操作還是自主操作 (使用 OAuth 或 API 金鑰)。
- 代理程式特定的可觀測性
-
AgentCore Runtime 提供專門的內建追蹤功能,可擷取客服人員推理步驟、工具調用和模型互動,提供客服人員決策程序的清晰可見性,這是偵錯和稽核 AI 客服人員行為的關鍵功能。
- 增強型承載處理
-
AgentCore 執行期可以處理 100MB 承載,以使用豐富的媒體內容或大型資料集無縫處理多個模態 (文字、影像、音訊、影片)。
- 雙向串流
-
AgentCore Runtime 支援 HTTP API 呼叫和持久性 WebSocket 連線以進行即時雙向串流,讓互動式應用程式能夠立即回應意見回饋並維護對話內容。
- 統一的代理程式特定功能集
-
AgentCore 執行期是透過單一、完整的 SDK 交付,可提供完整的 AgentCore 功能簡化存取,包括記憶體、工具和閘道。這種整合方法消除了從不同元件建置對等代理程式基礎設施時通常需要的整合工作。