如何使用 AWS Management Console設定最佳化的機器學習推論

安裝 Raspbian 的更新。

sudo apt-get update
sudo apt-get dist-upgrade

安裝攝影機模組的 picamera 界面和本單元其他所需的 Python 程式庫。

sudo apt-get install -y python3-dev python3-setuptools python3-pip python3-picamera

驗證安裝：

重新啟動 Raspberry Pi。

sudo reboot

請開啟 Raspberry Pi 組態工具。

sudo raspi-config

請使用箭頭鍵開啟 Interfacing Options (連接選項) 並啟用攝影機界面。如果出現提示，請允許重新啟動裝置。

請使用以下命令測試攝影機建立。

raspistill -v -o test.jpg

這會在 Raspberry Pi 上開啟預覽視窗、將名為 test.jpg 的圖片儲存至現行目錄，並在 Raspberry Pi 終端機中顯示相機的相關資訊。

遠端登入到 Raspberry Pi。

ssh pi@your-device-ip-address

開啟 DLR 文件、開啟安裝 DLR，然後找到 Raspberry Pi 裝置的 wheel URL。然後，依照指示在裝置上安裝 DLR。例如，你可以使用 pip：

pip3 install rasp3b-wheel-url

安裝 DLR 之後，請驗證下列組態：

在您的電腦上，從 機器學習範例 下載 Raspberry Pi 的 DLR 範例。

解壓縮所下載的 dlr-py3-armv7l.tar.gz 檔案。

cd path-to-downloaded-sample
tar -xvzf dlr-py3-armv7l.tar.gz

解壓縮的範例套件中的 examples 目錄內包含函數程式碼和相依性。

將 examples 目錄的內容壓縮成名為 optimizedImageClassification.zip 的檔案。這是您的部署套件。

cd path-to-downloaded-sample/dlr-py3-armv7l/examples
zip -r optimizedImageClassification.zip .

部署套件包含函數程式碼和相依性。這包括會叫用 Neo 深度學習執行階段 Python API，以利用 Neo 深度學習編譯器模型執行推論的程式碼。

現在，將 Lambda 函數新增至您的 Greengrass 群組。

在 Lambda 主控台頁面中，選擇函數並選擇建立函數。

選擇Author from scratch (從頭開始撰寫)並使用下列值來建立您的函數：

適用於許可，請保留預設設定。這會建立授與基本 Lambda 權限的執行角色。此角色不為所用AWS IoT Greengrass。

選擇 Create function (建立函數)。

在「」程式碼索引標籤下原始碼，選擇上傳來源。從下拉式選單中選擇.zip 檔案。

選擇您的optimizedImageClassification.zip部署套件，然後選擇Save。

在「」程式碼功能的標籤，在執行時間設定，選擇Edit (編輯)，然後輸入下列值。

選擇 Save (儲存)。

請從操作功能表中選擇發行新版本。

針對 Version description (版本描述)，輸入 First version，然後選擇 Publish (發佈)。

在「」optimizedImageClassification：1組態頁面，從動作功能表中，選擇建立別名。

在建立警示頁面上使用下列值：

選擇 Create (建立)。

現在，將 Lambda 函數新增至您的 Greengrass 群組。

在 中AWS IoT主控台導覽窗格, 下Manage (管理)，展開Greengrass 裝置，然後選擇群組 (V1)。

在群組組組組組組組組組組組組組組態頁面Lambda 函數」標籤，然後選擇Add。

選擇Lambda 函數並 SELECToptimizedImageClassification。

在「」Lambda 函數版本」中，選擇您所發佈版本的別名。

在 中Lambda 函數組態」章節，進行下列更新。

1. 若要在不使用容器化的情況下執行：

   • 適用於系統使用者和群組，選擇Another user ID/group ID。適用於系統使用者 ID輸入0。適用於系統群組 ID輸入0。

     這允許您的 Lambda 函數以 root 身份執行。如需以 root 身份執行的詳細資訊，請參閱設定群組中 Lambda 函數的預設存取身分。

     提示

     您還必須更新config.json檔案，以授予存取您的 Lambda 函數的 Roambda 函數。相關程序請參閱以根身份運行 Lambda 函數。

   • 適用於Lambda 函數容器化，選擇沒有容器。

     如需不含容器化執行的詳細資訊，請參閱選擇 Lambda 函數容器化時的考量事項。

   • 針對 Timeout (逾時)，輸入 10 seconds。

   • 適用於Pinned，選擇True。

     如需詳細資訊，請參閱 Greengrass Lambda 函數的生命週期組態。

   • INDECT其他參數，為Read access to /sys directory (對 /sys 目錄的讀取存取)，選擇已啟用。

2. 要在容器化模式下運行：

   注意

   除非您的商業案例需要，否則建議您在容器化模式下執行。

   • 適用於系統使用者和群組，選擇使用群組預設。

   • 適用於Lambda 函數容器化，選擇使用群組預設。

   • 針對 Memory limit (記憶體限制)，輸入 1024 MB。

   • 針對 Timeout (逾時)，輸入 10 seconds。

   • 適用於Pinned，選擇True。

     如需詳細資訊，請參閱 Greengrass Lambda 函數的生命週期組態。

   • INDECT其他參數，為Read access to /sys directory (對 /sys 目錄的讀取存取)，選擇已啟用。

選擇新增 Lambda 函數。

在您的電腦上，瀏覽至您在 步驟 3：建立推論 Lambda 函數 中解壓縮的範例套件內的 resnet50 目錄。

cd path-to-downloaded-sample/dlr-py3-armv7l/models/resnet50

此目錄中包含預先編譯的模型成品，其適用於利用 Resnet-50 訓練的映像分類模型。

將 resnet50 目錄內的檔案壓縮成名為 resnet50.zip 的檔案。

zip -r resnet50.zip .

在群組組組組組組組組組組組組態頁面AWS IoT Greengrass群組，選擇資源標籤。導覽至 Machine Learning (機器學習)區段，然後選擇 Add machine learning resource (新增機器學習資源)。在 Create a machine learning resource (建立機器學習資源) 頁面上，於 Resource name (資源名稱) 輸入 resnet50_model。

適用於模型來源，選擇使用存放在 S3 中的模型，例如透過深度學習編譯器最佳化的模型。

INDECTS3 類型，選擇瀏覽 S3。

選擇 Upload a model (上傳模型)。

在 Amazon S3 主控台標籤上，將您的 zip 檔案上傳至 Amazon S3 儲存貯體。如需相關資訊，請參閱「」。如何將檔案與資料夾上傳至 S3 儲存貯體？中的Amazon Simple Storage Service 使用者指南。

在 中AWS IoT Greengrass主控台標籤，找到您的 Amazon S3 儲存貯體。尋找您已上傳的 resnet50.zip 檔案，然後選擇 Select (選取)。您可能需要重新整理頁面來更新可用儲存貯體和檔案的清單。

In目的地路徑輸入/ml_model。

這是 Lambda 執行階段命名空間的本機模型目的地。當您部署群組、 AWS IoT Greengrass 擷取來源模型封包，然後再擷取其內容到指定的目錄中。

如果在容器化模式下運行：

1. INDECT系統群組擁有者和檔案存取權限，選擇指定系統群組和權限。

2. 選擇唯讀存取，然後選擇新增資源。

在群組組組組組組組組組組組組組組組組態頁面資源標籤。

在「」本機資源標籤上選擇新增本機資源。

在「」新增本機資源頁面上，使用下列值：

請在頁面底部，選擇新增資源。

來自資源」標籤上，透過選擇建立另一個本機資源Add並使用下列數值：

選擇 Add resource (新增資源)。

在群組組組組組組組組組組組組組組態頁面訂閱」索引標籤，然後選擇新增訂閱。

在「」建立訂閱頁面上，設定以下的來源和目標：

1. In來源類型，選擇Lambda 函數，然後選擇optimizedImageClassification。

2. InTarget type (目標類型)，選擇服務，然後選擇IoT Cloud (IoT 雲端)。

3. 在 中主題篩選條件輸入/resnet-50/predictions，然後選擇建立訂閱。

新增第二個訂閱。選擇訂閱標籤上選擇新增訂閱，並設定以下的來源和目標：

1. In來源類型，選擇服務，然後選擇IoT Cloud (IoT 雲端)。

2. InTarget type (目標類型)，選擇Lambda 函數，然後選擇optimizedImageClassification。

3. 在 中主題篩選條件輸入/resnet-50/test，然後選擇建立訂閱。

請確定該AWS IoT Greengrass核心正在執行。如果需要，請在您的 Raspberry Pi 終端機執行以下命令。

1. 檢查精靈是否有在運作：

   ps aux | grep -E 'greengrass.*daemon'

   若輸出的 root 含有 /greengrass/ggc/packages/latest-core-version/bin/daemon 項目，則精靈有在運作。

2. 啟動協助程式：

   cd /greengrass/ggc/core/
   sudo ./greengrassd start

在群組組組組組組組組組組組組態頁面部署。

在「」Lambda 函數」頁籤上，選取IP 偵測器並選擇Edit (編輯)。

來自編輯 IP 偵測器設定對話方塊中，選取自動偵測並覆寫 MQTT 代理程式端點並選擇Save。

這可讓裝置自動取得核心的連接資訊，例如 IP 位址、DNS、連接埠編號。建議使用自動偵測，但是 AWS IoT Greengrass 也支援手動指定端點。只會在第一次部署群組時收到復原方法的提示。

此部署頁面會顯示部署時間戳記、版本 ID 和狀態。部署完成時，針對部署顯示的狀態應為已完成。

如需部署的詳細資訊，請參閱將 AWS IoT Greengrass 群組部署至 AWS IoT Greengrass 核心。如需故障診斷協助，請參閱AWS IoT Greengrass 疑難排解。

在「」AWS IoT主控台首頁，下一步測試，選擇MQTT 測試用戶端。

適用於訂閱，選擇訂閱主題。使用下列數值。將剩餘選項保留為其預設值。

選擇 Subscribe (訂閱)。

選擇發布到主題輸入/resnet-50/test作為主題名稱，然後選擇發布。

如果測試成功，已發佈的訊息會導致 Raspberry Pi 相機擷取映像。來自 Lambda 函數的訊息會出現在頁面底部。此訊息包含映像的預測結果，其使用的格式為：預測的類別名稱、機率，以及尖峰記憶體使用量。

下載 Lambda 函數的靜態 PNG 或 JPG 映像，以用於影像分類。此範例最適合與小型映像檔案一同運作。

儲存含有 inference.py 檔案 (或於該目錄的子目錄中)目錄中的映像檔案。這是您在上傳的 Lambda 函數部署套件步驟 3：建立推論 Lambda 函數。

編輯 Lambda 函數的組態。請遵循 步驟 4：Lambda 函數至 Greengrass 群組 中的程序。

1. 若要在不使用容器化的情況下執行：

   • 適用於系統使用者和群組，選擇Another user ID/group ID。適用於系統使用者 ID輸入0。適用於系統群組 ID輸入0。

     這允許您的 Lambda 函數以 root 身份執行。如需以 root 身份執行的詳細資訊，請參閱設定群組中 Lambda 函數的預設存取身分。

     提示

     您還必須更新config.json檔案，以授予存取您的 Lambda 函數的 Roambda 函數。相關程序請參閱以根身份運行 Lambda 函數。

   • 適用於Lambda 函數容器化，選擇沒有容器。

     如需不含容器化執行的詳細資訊，請參閱選擇 Lambda 函數容器化時的考量事項。

   • 將 Timeout (逾時) 值增加到 2 分鐘。這可確保請求不會太旱逾時。設定完成後，執行推論需要幾分鐘的時間。

   • 適用於Pinned，選擇True。

   • INDECT其他參數，為Read access to /sys directory (對 /sys 目錄的讀取存取)，選擇已啟用。

2. 要在容器化模式下運行：

   注意

   除非您的商業案例需要，否則建議您在容器化模式下執行。

   • 將 Memory limit (記憶體限制) 值增加到 3000 MB。

   • 將 Timeout (逾時) 值增加到 2 分鐘。這可確保請求不會太旱逾時。設定完成後，執行推論需要幾分鐘的時間。

   • 適用於Pinned，選擇True。

   • INDECT其他參數，為Read access to /sys directory (對 /sys 目錄的讀取存取)，選擇已啟用。

將 Neo 最佳化模型資源新增至群組。上傳您在 步驟 3：建立推論 Lambda 函數 中解壓縮的範例套件 resnet50 目錄中的模型資源。此目錄中包含預先編譯的模型成品，其適用於利用 Resnet-50 訓練的映像分類模型。遵循步驟 5：新增 SageMaker Greengrass 群組的 Neo 最佳化模型資源中的程序，但有下列更新。

如果在容器化模式下運行」中，新增必要的本機裝置資源，以授予裝置 GPU 存取權。

1. 在群組組組組組組組組組組組組組組態頁面資源標籤。

2. 在 中本機資源區段中，選擇新增本機資源。

3. 定義資源：

   • 針對 Resource name (資源名稱)，輸入 renderD128。

   • 於資源類型選擇裝置。

   • 適用於本機裝置路徑輸入/dev/dri/renderD128。

   • 適用於系統群組擁有者和檔案存取權限，選擇為擁有資源的系統群組自動新增檔案系統許可。

確保您的 Jetson 設備已設定好，以便您可以安裝 AWS IoT Greengrass 核心軟件並使用 GPU 進行推論。如需如何設定裝置的詳細資訊，請參閱設定其他裝置。若要使用 GPU 在 NVIDIA Jetson TX2 上進行推論，則在使用 Jetpack 4.3 裝載您的映像時，您必須在裝置上安裝 CUDA 10.0 和 cuDNN 7.0。

下載 Lambda 函數的靜態 PNG 或 JPG 映像，以用於影像分類。此範例最適合與小型映像檔案一同運作。

在含有 inference.py 檔案的目錄中儲存您的映像檔案。您也可以將它們儲存在此目錄的子目錄中。此目錄是您在傳傳傳傳傳傳傳傳傳的 Lambda 函數上傳的 Lambda 函數。步驟 3：建立推論 Lambda 函數。

編輯 Lambda 函數的組態。請遵循 步驟 4：Lambda 函數至 Greengrass 群組 中的程序。

1. 若要在不使用容器化的情況下執行：

   • 適用於Run as (執行身分)，選擇Another user ID/group ID。適用於UID輸入0。適用於GUID輸入0。

     這允許您的 Lambda 函數以 root 身份執行。如需以 root 身份執行的詳細資訊，請參閱設定群組中 Lambda 函數的預設存取身分。

     提示

     您還必須更新config.json檔案，以授予存取您的 Lambda 函數的 Roambda 函數。相關程序請參閱以根身份運行 Lambda 函數。

   • 適用於Lambda 函數容器化，選擇沒有容器。

     如需不含容器化執行的詳細資訊，請參閱選擇 Lambda 函數容器化時的考量事項。

   • 將 Timeout (逾時) 值增加到 5 分鐘。這可確保請求不會太旱逾時。設定完成後，執行推論需要幾分鐘的時間。

   • 適用於Pinned，選擇True。

   • INDECT其他參數，為Read access to /sys directory (對 /sys 目錄的讀取存取)，選擇已啟用。

2. 要在容器化模式下運行：

   注意

   除非您的商業案例需要，否則建議您在容器化模式下執行。

   • 增加 Memory limit (記憶體限制) 值。若要在 GPU 模式下使用提供的模型，請至少使用 2000 MB。

   • 將 Timeout (逾時) 值增加到 5 分鐘。這可確保請求不會太旱逾時。設定完成後，執行推論需要幾分鐘的時間。

   • 適用於Pinned，選擇True。

   • INDECT其他參數，為Read access to /sys directory (對 /sys 目錄的讀取存取)，選擇已啟用。

將 Neo 最佳化模型資源新增至群組。上傳您在 步驟 3：建立推論 Lambda 函數 中解壓縮的範例套件 resnet18 目錄中的模型資源。此目錄中包含預先編譯的模型成品，其適用於利用 Resnet-18 訓練的映像分類模型。遵循步驟 5：新增 SageMaker Greengrass 群組的 Neo 最佳化模型資源中的程序，但有下列更新。

如果在容器化模式下運行」中，新增必要的本機裝置資源，以授予裝置 GPU 存取權。

1. 在群組組組組組組組組組組組組組組態頁面資源標籤。

2. 在 中本機資源區段中，選擇新增本機資源。

3. 定義每個資源：

   • 針對 Resource name (資源名稱) 和 Device path (裝置路徑)，請使用下表中的值。為表格中的每一列建立一個裝置資源。

   • 於資源類型選擇裝置。

   • 適用於系統群組擁有者和檔案存取權限，選擇為擁有資源的系統群組自動新增檔案系統許可。

      

     名稱	裝置路徑
     nvhost-ctrl	/dev/nvhost-ctrl
     nvhost-gpu	/dev/nvhost-gpu
     nvhost-ctrl-gpu	/dev/dev/dev/devnvhost-ctrl-gpu
     nvhost-dbg-gpu	/dev/dev/dev/devnvhost-dbg-gpu
     nvhost-prof-gpu	/dev/dev/dev/devnvhost-prof-gpu
     nvmap	/dev/nvmap
     nvhost-vic	/dev/nvhost-vic
     tegra_dc_ctrl	/dev/tegra_dc_ctrl

如果在容器化模式下運行，新增下列本機磁碟區資源以授予裝置攝影機的存取權。請遵循 步驟 5：新增 SageMaker Greengrass 群組的 Neo 最佳化模型資源 中的程序。

更新您的群組訂閱以使用正確的目錄。遵循步驟 7：將訂閱新增到 Greengrass 群組中的程序，但有下列更新。

更新您的測試訂閱以使用正確的目錄。遵循測試推論範例中的程序，但有下列更新。

切換到根使用者和導覽至 log 目錄。存取 AWS IoT Greengrass 日誌需要根許可。

sudo su
cd /greengrass/ggc/var/log

Checkruntime.log任何錯誤。

cat system/runtime.log | grep 'ERROR'

您也可以查看使用者定義 Lambda 函數日誌是否有任何錯誤：

cat user/your-region/your-account-id/lambda-function-name.log | grep 'ERROR'

如需詳細資訊，請參閱 日誌故障診斷。

列出已部署的 Lambda 的內容/lambda目錄。先執行命令，再取代預留位置值。

cd /greengrass/ggc/deployment/lambda/arn:aws:lambda:region:account:function:function-name:function-version
ls -la

確認目錄包含與optimizedImageClassification.zip您上傳的部署套件步驟 3：建立推論 Lambda 函數。

確保 .py 檔案和相依性皆位於目錄的根中。

尋找 Lambda 執行時間過程的處理識別碼 (PID)：

ps aux | grep lambda-function-name

PID 會在輸出顯示於 Lambda 執行時間過程的第二個欄位中。

進入 Lambda 執行時間命名空間。執行命令前，務必先取代預留位置 pid 值。

sudo nsenter -t pid -m /bin/bash

列出您為機器學習資源所指定的本機目錄內容。

cd /ml_model
ls -ls

您會看到以下檔案：

    56 -rw-r--r-- 1 ggc_user ggc_group     56703 Oct 29 20:07 model.json
196152 -rw-r--r-- 1 ggc_user ggc_group 200855043 Oct 29 20:08 model.params
   256 -rw-r--r-- 1 ggc_user ggc_group    261848 Oct 29 20:07 model.so
    32 -rw-r--r-- 1 ggc_user ggc_group     30564 Oct 29 20:08 synset.txt