本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使 SageMaker 用邊緣管理員在邊緣部署模型
警告
SageMaker 邊緣管理員將於 2024 年 4 月 26 日停止使用。如需有關繼續將模型部署到 Edge 裝置的詳細資訊,請參閱SageMaker 邊緣管理員生命週期結束。
Amazon SageMaker Edge Manager 提供邊緣裝置的模型管理功能,讓您可以在智慧相機、機器人、個人電腦和行動裝置等邊緣裝置叢集上最佳化、保護、監控和維護機器學習模型。
為何要使用 Edge Manager?
許多機器學習 (ML) 使用案例都需要在 Edge 裝置機群上執行 ML 模型,這可讓您即時取得預測結果、保留終端使用者的隱私權,並降低網路連線成本。隨著專為機器學習 (ML) 設計的低功耗邊緣硬體的可用性日益增加,現在可以在 Edge 裝置上執行多個複雜的神經網路模型。
不過,在邊緣裝置上操作機器學習 (ML) 模型具有挑戰性,因為與雲端執行個體不同,裝置的運算、記憶體和連線能力都有限制性。部署模型之後,您需要持續監控模型,因為模型漂移可能會導致模型的品質衰減超時。監控裝置機群中的模型非常困難,因為您需要撰寫自訂程式碼來從裝置收集資料範例,並辨識預測中的偏態。此外,模型通常會硬式編碼到應用程式中。若要更新模型,您必須重建並更新整個應用程式或裝置韌體,這可能會中斷您的作業。
使用 SageMaker Edge Manager,您可以在邊緣的裝置叢集最佳化、執行、監控和更新機器學習模型。
其運作方式?
在高階層, SageMaker Edge Manager 工作流程中有五個主要元件:使用 Ne SageMaker o 編譯模型、封裝新編譯的模型、將模型部署到您的裝置、在 SageMaker 推論引擎 (Edge Manager 代理程式) 上執行模型,以及在裝置上維護模型。
![](images/smith/smith_overview.png)
SageMaker Edge Manager 使用 SageMaker Neo 一鍵優化目標硬件的模型,然後在部署之前對模型進行加密簽名。使用 SageMaker Edge Manager,您可以從邊緣裝置取樣輸入和輸出資料的模型,並將其傳送到雲端以進行監視和分析,並檢視儀表板,以追蹤 SageMaker 主控台中已部署模型的作業並以視覺化方式報告。
SageMaker Edge Manager 將先前僅在雲端提供的功能擴展到邊緣,因此開發人員可以使用 Amazon 模型監視器進行漂移偵測,持續改善 SageMaker 模型品質,然後使用 SageMaker Ground Truth 重新標記資料並重新訓練中的模型。 SageMaker
如何使用 SageMaker 邊緣管理員?
如果您是 SageMaker 邊緣管理員的第一次使用者,建議您執行下列動作:
閱讀入門章節 - 本節將逐步引導您設定第一個 Edge 封裝任務,並建立您的第一個機群。
-
探索邊緣管理員 Jupyter 筆記本範例-範例筆記本儲存在儲存amazon-sagemaker-examples
GitHub 庫中的 sag emaker_edge_manager 資料夾中。