使用 SageMaker Edge Manager 在邊緣部署模型

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon SageMaker Edge Manager 提供 Edge 裝置上的模型管理，以便在智慧型相機、機器人、個人電腦和行動裝置等 Edge 裝置機群上最佳化、保護、監控和維護機器學習模型。

為何要使用 Edge Manager？

許多機器學習 (ML) 使用案例都需要在 Edge 裝置機群上執行 ML 模型，這可讓您即時取得預測結果、保留終端使用者的隱私權，並降低網路連線成本。隨著專為機器學習 (ML) 設計的低功耗邊緣硬體的可用性日益增加，現在可以在 Edge 裝置上執行多個複雜的神經網路模型。

不過，在邊緣裝置上操作機器學習 (ML) 模型具有挑戰性，因為與雲端執行個體不同，裝置的運算、記憶體和連線能力都有限制性。部署模型之後，您需要持續監控模型，因為模型漂移可能會導致模型的品質衰減超時。監控裝置機群中的模型非常困難，因為您需要撰寫自訂程式碼來從裝置收集資料範例，並辨識預測中的偏態。此外，模型通常會硬式編碼到應用程式中。若要更新模型，您必須重建並更新整個應用程式或裝置韌體，這可能會中斷您的作業。

使用 SageMaker Edge Manager，您可以最佳化、執行、監控和更新邊緣裝置機群的機器學習模型。

其運作方式？

在高階，SageMaker Edge Manager 工作流程中有五個主要元件：使用 SageMaker Neo 編譯模型、封裝 Neo 編譯模型、將模型部署到您的裝置、在 SageMaker AI 推論引擎 (Edge Manager 代理程式） 上執行模型，以及在裝置上維護模型。

SageMaker Edge Manager 使用 SageMaker Neo，只要按一下即可針對目標硬體最佳化模型，然後在部署之前對模型進行密碼編譯簽署。使用 SageMaker Edge Manager，您可以從邊緣裝置取樣模型輸入和輸出資料，並將其傳送至雲端進行監控和分析，並檢視儀表板，以追蹤和視覺化方式報告 SageMaker AI 主控台中已部署模型的操作。

SageMaker Edge Manager 將先前只能在雲端中使用的功能擴展到邊緣，因此開發人員可以使用 Amazon SageMaker Model Monitor 進行偏離偵測，然後使用 SageMaker AI Ground Truth 重新標記資料，並在 SageMaker AI 中重新訓練模型，以持續改善模型品質。

如何使用 SageMaker Edge Manager？

如果您是第一次使用 SageMaker Edge Manager，建議您完成以下事項：