最適化された機械学習推論を AWS Management Console を使用して設定する方法

Raspbian に更新プログラムをインストールします。

sudo apt-get update
sudo apt-get dist-upgrade

カメラモジュールの picamera インターフェイス、およびこのチュートリアルに必要なその他の Python ライブラリをインストールします。

sudo apt-get install -y python3-dev python3-setuptools python3-pip python3-picamera

インストールを検証します。

Raspberry Pi を再起動します。

sudo reboot

Raspberry Pi 設定ツールを開きます。

sudo raspi-config

矢印キーを使用して [Interfacing Options] (インターフェイスオプション) を開き、カメラインターフェイスを有効にします。プロンプトが表示されたら、デバイスを再起動します。

以下のコマンドを使用して、カメラの設定をテストします。

raspistill -v -o test.jpg

これにより、Raspberry Pi のプレビューウィンドウが開き、test.jpg という写真が現在のディレクトリに保存されて、カメラに関する情報が Raspberry Pi のターミナルに表示されます。

リモートで Raspberry Pi にサインインします。

ssh pi@your-device-ip-address

DLR のドキュメントを開き、DLR のインストールを開き、Raspberry Pi デバイスのホイール URL を見つけます。次に、指示に従って、デバイスに DLR をインストールします。例えば、pip を使用できます。

pip3 install rasp3b-wheel-url

DLR をインストールした後、次の設定を検証します。

コンピュータで、機械学習のサンプル から Raspberry Pi の DLR サンプルをダウンロードします。

ダウンロードした dlr-py3-armv7l.tar.gz ファイルを解凍します。

cd path-to-downloaded-sample
tar -xvzf dlr-py3-armv7l.tar.gz

抽出されたサンプルパッケージの examples ディレクトリには、関数コードと依存関係が含まれています。

examples ディレクトリの内容を optimizedImageClassification.zip という名前のファイルに圧縮します。このファイルがデプロイパッケージです。

cd path-to-downloaded-sample/dlr-py3-armv7l/examples
zip -r optimizedImageClassification.zip .

デプロイメントパッケージには、関数コードと依存関係が含まれています。これには、Neo 深層学習ランタイム Python API を呼び出して、Neo 深層学習コンパイラモデルで推論を実行するコードが含まれます。

ここで、Greengrass グループに Lambda 関数を追加します。

[Lambda console](Lambda コンソール) ページから、[Functions] (関数)、[Create function] (関数の作成) の順に選択します。

[Author from scratch] (一から作成) を選択し、以下の値を使用して関数を作成します。

[Permissions] (アクセス許可) はデフォルト設定のままにしておきます。これで Lambda への基本的なアクセス許可を付与する実行ロールが作成されます。このロールは、AWS IoT Greengrass によっては使用されません。

[Create function] (関数の作成) を選択します。

[Code] (コード) タブの [Code source] (コードソース) で、[Upload from] (アップロード元) を選択します。ドロップダウンから [.zip file] (.zip ファイル) を選択します。

optimizedImageClassification.zip デプロイパッケージを選択し、[Save] (保存) を選択します。

関数の [Code] (コード) タブにある [Runtime settings] (ランタイム設定) で [Edit] (編集) を選択し、次の値を入力します。

[Save] を選択します。

[Actions] メニューから、[Publish new version] を選択します。

[バージョンの説明] に「First version」と入力し、[発行] を選択します。

[optimizedImageClassification: 1] 設定ページで、[Actions (アクション)] メニューの [エイリアスの作成] を選択します。

[Create a new alias] ページで、次の値を使用します。

[Create] を選択します。

ここで、Greengrass グループに Lambda 関数を追加します。

AWS IoT コンソールのナビゲーションペインの [Manage] (管理) で、[Greengrass devices] (Greengrass デバイス) を展開して、[Groups (V1)](グループ (V1)) を選択します。

グループ設定ページで、[Lambda functions] (Lambda 関数) タブ、[Add] (追加) の順に選択します。

[Lambda function] (Lambda 関数) と[optimizedImageClassification]を選択します。

[Lambda function version] (Lambda 関数のバージョン) で、公開したバージョンのエイリアスを選択します。

[Lambda function configuration] (Lambda 関数の設定) セクションで次のように更新します。

1. コンテナ化を使用せずに実行するには:

   • [System user and group] (システムユーザーとグループ) で、Another user ID/group IDを選択します。[System user ID] (システムユーザ ID) には、「0」と入力します。[System group ID] (システムグループ ID) には、「0」と入力します。

     これにより、Lambda 関数を root として実行できます。root として実行の詳細については、「グループ内の Lambda 関数に対するデフォルトのアクセス ID の設定」を参照してください。

     ヒント

     また、ルートアクセスを Lambda 関数に付与するように config.json ファイルを更新する必要があります。手順については、「root としての Lambda 関数の実行」を参照してください。

   • [Lambda function containerization] (Lambda 関数のコンテナ化) で、[No container] (コンテナなし) を選択します。

     コンテナ化を使用しない実行の詳細については、「Lambda 関数のコンテナ化を選択する場合の考慮事項」を参照してください。

   • [Timeout (タイムアウト)] に「10 seconds」と入力します。

   • [Pinned] (固定)で、[True] を選択します。

     詳細については、「Greengrass Lambda 関数のライフサイクル設定」を参照してください。

   • [Additional Parameter] (追加のパラメータ) の、[Read access to /sys directory] (/sys ディレクトリへの読み取りアクセス) で、[Enabled] (有効) を選択します。

2. 代わりにコンテナ化モードで実行するには:

   注記

   ビジネスケースで要求されない限り、コンテナ化モードでの実行はお勧めしていません。

   • [System user and group] (システムユーザーとグループ) で、[Use group default] (グループのデフォルトを使用) を選択します。

   • [Lambda function containerization] (Lambda 関数のコンテナ化) で、[Use group default] (グループのデフォルトを使用) を選択します。

   • [メモリ制限] に「1024 MB」と入力します。

   • [Timeout (タイムアウト)] に「10 seconds」と入力します。

   • [Pinned] (固定)で、[True] を選択します。

     詳細については、「Greengrass Lambda 関数のライフサイクル設定」を参照してください。

   • [Additional Parameter] (追加のパラメータ) の、[Read access to /sys directory] (/sys ディレクトリへの読み取りアクセス) で、[Enabled] (有効) を選択します。

[Add Lambda function] (Lambda 関数の追加) を選択します。

コンピュータで、ステップ 3: 推論 Lambda 関数を作成する で解凍したサンプルパッケージ内の resnet50 ディレクトリに移動します。

cd path-to-downloaded-sample/dlr-py3-armv7l/models/resnet50

このディレクトリには、Resnet-50 でトレーニングされたイメージ分類モデルのプリコンパイルされたモデルアーティファクトが含まれています。

resnet50 ディレクトリ内のファイルを resnet50.zip という名前のファイルに圧縮します。

zip -r resnet50.zip .

AWS IoT Greengrass グループのグループ設定ページで、[Resources] (リソース) タブを選択します。[Machine Learning (機械学習)] セクションに移動し、[機械学習リソースの追加] を選択します。[Create a machine learning resource (機械学習リソースの作成)] ページで、[Resource name (リソース名)] にresnet50_model と入力します。

[Model source] (モデルソース) で、[Use a model stored in S3, such as a model optimized through Deep Learning Compiler] (深層学習コンパイラで最適化されたモデルなど、S3 に保存されているモデルを使用する) を選択します。

[S3 URI]から、選択 [Browse S3] (S3 の閲覧) を選択します。

[モデルをアップロードする] を選択します。

Amazon S3 コンソールタブで、zip ファイルを Amazon S3 バケットにアップロードします。詳細については、「Amazon Simple Storage Service ユーザーガイド」の「S3 バケットにファイルとフォルダをアップロードする方法」を参照してください。

AWS IoT Greengrass コンソールタブで、Amazon S3 バケットを見つけて選択します。アップロードした resnet50.zip ファイルを見つけ、[Select (選択)] を選択します。必要に応じてページを更新し、使用可能なバケットとファイルのリストを更新します。

[Destination path] (送信先) に「/ml_model」と入力します。

これは、Lambda ランタイム名前空間内のローカルモデルのターゲットです。グループをデプロイすると、AWS IoT Greengrass によってソースモデルパッケージが取得され、指定したディレクトリにその内容が抽出されます。

コンテナ化モードで実行している場合:

1. [System group owner and file access permissions] (システムグループ所有者のファイルアクセス許可) から、[Specify system group and permissions] (システムグループと権限を指定する) を選択します。

2. [Read-only access] (読み取り専用アクセス)、[Add resources] (リソースの追加) の順に選択します。

グループ設定ページで、[Resources] (リソース) タブを選択します。

[Local resources] (ローカルリソース) タブで、[Add local resource] (ローカルリソースの追加) を選択します。

[Add a local resource] (ローカルリソースの追加) ページで、次の値を使用します。

ページの下部で、[Add resource] (リソースの追加) を選択します。

[Resources] (リソース) タブから、[Add] (追加) を選択して、別のローカルリソースを作成し、次の値を使用します。

[Add resource] (リソースを追加) を選択します。

グループ設定ページで、[Subscriptions] (サブスクリプション) タブ、[Add subscription] (サブスクリプションの追加) の順に選択します。

[Create a subscription] (サブスクリプションの作成) ページで、ソースおよびターゲットを次のように設定します。

1. [Source type] (ソースタイプ) で、[Lambda function] (Lambda 関数)、[optimizedImageClassification] の順に選択します。

2. [Target type] (ターゲットタイプ)で、[Service] (サービス)、[IoT Cloud] (IoT クラウド) の順に選択します。

3. [Topic filter] (トピックのフィルター) で、「/resnet-50/predictions」と入力し、[Create subscription] (サブスクリプションの作成) を選択します。

2 つ目のサブスクリプションを追加します。[Subscriptions] (サブスクリプション) タブ、[Add subscription] (サブスクリプションの追加) の順に選択し、ソースとターゲットを次のように設定します。

1. [Source type] (ソースタイプ) で、[Service] (サービス)、[IoT Cloud] (IoT クラウド) の順に選択します。

2. [Target type] (ターゲットタイプ) で、[Lambda function] (Lambda 関数)、[optimizedImageClassification] の順に選択します。

3. [Topic filter] (トピックのフィルター) で、「/resnet-50/test」と入力し、[Create subscription] (サブスクリプションの作成) を選択します。

AWS IoT Greengrass Core が実行されていることを確認します。必要に応じて、Raspberry Pi のターミナルで以下のコマンドを実行します。

1. デーモンが実行中であるかどうかを確認するには

   ps aux | grep -E 'greengrass.*daemon'

   出力に root の /greengrass/ggc/packages/latest-core-version/bin/daemon エントリが含まれる場合、デーモンは実行されています。

2. 次のようにしてデーモンを開始します。

   cd /greengrass/ggc/core/
   sudo ./greengrassd start

グループ設定ページで、[Deploy] (デプロイ) を選択します。

[Lambda functions] (Lambda 関数) タブで、[IP detector] (IP ディテクター)と [Edit] (編集) を選択します。

[Edit IP detector settings] (IP ディテクター設定の編集) のダイアログボックスで、[Automatically detect and override MQTT broker endpoints] (MQTT ブローカーのエンドポイントを自動的に検出して上書きする) と、Save (保存) を選択します。

これにより、デバイスは、IP アドレス、DNS、ポート番号など、コアの接続情報を自動的に取得できます。自動検出が推奨されますが、AWS IoT Greengrass は手動で指定されたエンドポイントもサポートしています。グループが初めてデプロイされたときにのみ、検出方法の確認が求められます。

[Deployments] ページでは、デプロイのタイムスタンプ、バージョン ID、ステータスが表示されます。完了すると、デプロイのステータスが [Completed] (完了) と表示されます。

デプロイの詳細については、「AWS IoT Greengrass グループを AWS IoT Greengrass Core にデプロイする」を参照してください。トラブルシューティングヘルプについては、AWS IoT Greengrass のトラブルシューティング を参照してください。

AWS IoT コンソールのホームページの [Test] (テスト) で、[MQTT test client] (MQTT テストクライアント) を選択します。

[Subscriptions] (サブスクリプション) で、[Subscribe to a Topic] (トピックへのサブスクライブ) を選択します。以下の値を使用します。残りのオプションはデフォルトのままにします。

[Subscribe] (サブスクライブ) を選択します。

[Publish to a topic] (トピックに公開) を選択して、[Topic name] (トピック名) として「/resnet-50/test」を入力し、[Publish] (発行) を選択します。

テストが成功すると、発行されたメッセージによって Raspberry Pi カメラがイメージをキャプチャします。Lambda 関数からのメッセージがページの下部に表示されます。このメッセージには、予測クラス名、確率、最大メモリ使用量の形式で、イメージの予測結果が含まれています。

Lambda 関数用に静的な PNG あるいは JPG 画像をダウンロードして、イメージ分類に使用します。この例は小さいイメージファイルで最適に動作します。

inference.py ファイルがあるディレクトリ (あるいは、このディレクトリのサブディレクトリ) に画像ファイルを保存します。これは、ステップ 3: 推論 Lambda 関数を作成する でアップロードした Lambda 関数デプロイパッケージにあります。

Lambda 関数の設定を編集します。「ステップ 4: Lambda 関数を Greengrass グループに追加する」の手順に従います。

1. コンテナ化を使用せずに実行するには:

   • [System user and group] (システムユーザーとグループ) で、Another user ID/group IDを選択します。[System user ID] (システムユーザ ID) には、「0」と入力します。[System group ID] (システムグループ ID) には、「0」と入力します。

     これにより、Lambda 関数を root として実行できます。root として実行の詳細については、「グループ内の Lambda 関数に対するデフォルトのアクセス ID の設定」を参照してください。

     ヒント

     また、ルートアクセスを Lambda 関数に付与するように config.json ファイルを更新する必要があります。手順については、「root としての Lambda 関数の実行」を参照してください。

   • [Lambda function containerization] (Lambda 関数のコンテナ化) で、[No container] (コンテナなし) を選択します。

     コンテナ化を使用しない実行の詳細については、「Lambda 関数のコンテナ化を選択する場合の考慮事項」を参照してください。

   • [タイムアウト] の値を 2 分に増やします。これにより、リクエストの早過ぎるタイムアウトがなくなります。セットアップ後、推論の実行には数分かかります。

   • [Pinned] (固定)で、[True] を選択します。

   • [Additional Parameter] (追加のパラメータ) の、[Read access to /sys directory] (/sys ディレクトリへの読み取りアクセス) で、[Enabled] (有効) を選択します。

2. 代わりにコンテナ化モードで実行するには:

   注記

   ビジネスケースで要求されない限り、コンテナ化モードでの実行はお勧めしていません。

   • [メモリ制限] の値を 3000 MB に増やします。

   • [タイムアウト] の値を 2 分に増やします。これにより、リクエストの早過ぎるタイムアウトがなくなります。セットアップ後、推論の実行には数分かかります。

   • [Pinned] (固定)で、[True] を選択します。

   • [Additional Parameter] (追加のパラメータ) の、[Read access to /sys directory] (/sys ディレクトリへの読み取りアクセス) で、[Enabled] (有効) を選択します。

Neo 最適化モデルリソースをグループに追加します。ステップ 3: 推論 Lambda 関数を作成する で解凍したサンプルパッケージの resnet50 ディレクトリにモデルリソースをアップロードします。このディレクトリには、Resnet-50 でトレーニングされたイメージ分類モデルのプリコンパイルされたモデルアーティファクトが含まれています。次の更新で、ステップ 5: SageMaker Neo 最適化モデルリソースを Greengrass グループに追加する の手順に従います。

コンテナ化モードで実行している場合、必要なローカルデバイスリソースを追加して、デバイス GPU へのアクセスを付与します。

1. グループ設定ページで、[Resources] (リソース) タブを選択します。

2. [Local resources] (ローカルリソース) タブで、[Add local resource] (ローカルリソースの追加) を選択します。

3. リソースを定義します。

   • [リソース名] に renderD128 と入力します。

   • [リソースタイプ] で、[デバイス] を選択します。

   • [Local device path] (ローカルデバイスパス) には、「/dev/dri/renderD128」と入力します。

   • [System group owner and file access permissions] (システムグループ所有者のファイルアクセス許可)で、[Automatically add file system permissions of the system group that owns the resource] (リソースを所有するシステムグループのファイルシステム権限を自動的に追加する) を選択します。

AWS IoT Greengrass Core ソフトウェアをインストールし、GPU を推論に使用できるように、Jetson デバイスが設定されていることを確認します。デバイスの設定の詳細については、「他のデバイスの設定」を参照してください。NVIDIA Jetson TX2 で推論に GPU を使用するには、Jetpack 4.3 でボードのイメージを作成するときに、デバイスに CUDA 10.0 と cuDNN 7.0 をインストールする必要があります。

Lambda 関数用に静的な PNG あるいは JPG 画像をダウンロードして、イメージ分類に使用します。この例は小さいイメージファイルで最適に動作します。

inference.py ファイルを含むディレクトリにイメージファイルを保存します。このディレクトリのサブディレクトリに保存することもできます。このディレクトリは、ステップ 3: 推論 Lambda 関数を作成する でアップロードした Lambda 関数デプロイパッケージにあります。

Lambda 関数の設定を編集します。「ステップ 4: Lambda 関数を Greengrass グループに追加する」の手順に従います。

1. コンテナ化を使用せずに実行するには:

   • [Run as] (として実行) に、「Another user ID/group ID」を選択します。[UID] に、「0」と入力します。[GUID] に、「0」と入力します。

     これにより、Lambda 関数を root として実行できます。root として実行の詳細については、「グループ内の Lambda 関数に対するデフォルトのアクセス ID の設定」を参照してください。

     ヒント

     また、ルートアクセスを Lambda 関数に付与するように config.json ファイルを更新する必要があります。手順については、「root としての Lambda 関数の実行」を参照してください。

   • [Lambda function containerization] (Lambda 関数のコンテナ化) で、[No container] (コンテナなし) を選択します。

     コンテナ化を使用しない実行の詳細については、「Lambda 関数のコンテナ化を選択する場合の考慮事項」を参照してください。

   • [タイムアウト] の値を 5 分に増やします。これにより、リクエストの早過ぎるタイムアウトがなくなります。セットアップ後、推論の実行には数分かかります。

   • [Pinned] (固定)で、[True] を選択します。

   • [Additional Parameter] (追加のパラメータ) の、[Read access to /sys directory] (/sys ディレクトリへの読み取りアクセス) で、[Enabled] (有効) を選択します。

2. 代わりにコンテナ化モードで実行するには:

   注記

   ビジネスケースで要求されない限り、コンテナ化モードでの実行はお勧めしていません。

   • [メモリ制限] の値を増やします。指定されたモデルを GPU モードで使用するには、少なくとも 2000 MB を使用します。

   • [タイムアウト] の値を 5 分に増やします。これにより、リクエストの早過ぎるタイムアウトがなくなります。セットアップ後、推論の実行には数分かかります。

   • [Pinned] (固定)で、[True] を選択します。

   • [Additional Parameter] (追加のパラメータ) の、[Read access to /sys directory] (/sys ディレクトリへの読み取りアクセス) で、[Enabled] (有効) を選択します。

Neo 最適化モデルリソースをグループに追加します。ステップ 3: 推論 Lambda 関数を作成する で解凍したサンプルパッケージの resnet18 ディレクトリにモデルリソースをアップロードします。このディレクトリには、Resnet-18 でトレーニングされたイメージ分類モデルのプリコンパイル済みのモデルアーティファクトが含まれています。次の更新で、ステップ 5: SageMaker Neo 最適化モデルリソースを Greengrass グループに追加する の手順に従います。

コンテナ化モードで実行している場合、必要なローカルデバイスリソースを追加して、デバイス GPU へのアクセスを付与します。

1. グループ設定ページで、[Resources] (リソース) タブを選択します。

2. [Local resources] (ローカルリソース) タブで、[Add local resource] (ローカルリソースの追加) を選択します。

3. 各リソースを定義します。

   • [リソース名] と [デバイスパス] には、次の表の値を使用します。テーブルの行ごとに 1 つのデバイスリソースを作成します。

   • [リソースタイプ] で、[デバイス] を選択します。

   • [System group owner and file access permissions] (システムグループ所有者のファイルアクセス許可)で、[Automatically add file system permissions of the system group that owns the resource] (リソースを所有するシステムグループのファイルシステム権限を自動的に追加する) を選択します。

      

     名前	デバイスパス
     nvhost-ctrl	/dev/nvhost-ctrl
     nvhost-gpu	/dev/nvhost-gpu
     nvhost-ctrl-gpu	/dev/nvhost-ctrl-gpu
     nvhost-dbg-gpu	/dev/nvhost-dbg-gpu
     nvhost-prof-gpu	/dev/nvhost-prof-gpu
     nvmap	/dev/nvmap
     nvhost-vic	/dev/nvhost-vic
     tegra_dc_ctrl	/dev/tegra_dc_ctrl

コンテナ化モードで実行している場合で、次のローカルボリュームリソースを追加して、デバイスカメラへのアクセスを許可します。「ステップ 5: SageMaker Neo 最適化モデルリソースを Greengrass グループに追加する」の手順に従います。

正しいディレクトリを使用するようにグループサブスクリプションを更新します。次の更新で、ステップ 7: サブスクリプションを Greengrass グループに追加する の手順に従います。

正しいディレクトリを使用するようにテストサブスクリプションを更新します。次の更新で、推論例をテストする の手順に従います。

root ユーザーに切り替え、log ディレクトリに移動します。AWS IoT Greengrass ログへのアクセスには root アクセス許可が必要です。

sudo su
cd /greengrass/ggc/var/log

runtime.log でエラーがないかどうかを確認します。

cat system/runtime.log | grep 'ERROR'

ユーザー定義の Lambda 関数ログでもエラーがないかどうかを確認できます。

cat user/your-region/your-account-id/lambda-function-name.log | grep 'ERROR'

詳細については、「ログでのトラブルシューティング」を参照してください。

/lambda ディレクトリ内のデプロイされた Lambda の内容を一覧表示します。コマンドを実行する前に、プレースホルダーの値を置き換えます。

cd /greengrass/ggc/deployment/lambda/arn:aws:lambda:region:account:function:function-name:function-version
ls -la

ディレクトリに、ステップ 3: 推論 Lambda 関数を作成する でアップロードした optimizedImageClassification.zip デプロイパッケージと同じ内容が含まれることを確認します。

.py ファイルと依存関係がディレクトリのルートにあることを確認します。

Lambda ランタイムプロセスのプロセス識別番号 (PID) を見つけます。

ps aux | grep lambda-function-name

出力では、Lambda ランタイムプロセスの行の 2 列目に PID が表示されます。

Lambda ランタイム名前空間を入力します。コマンドを実行する前に、pid プレースホルダーの値を置き換えてください。

sudo nsenter -t pid -m /bin/bash

ML リソース用に指定したローカルディレクトリの内容を一覧表示します。

cd /ml_model
ls -ls

以下のファイルが表示されます。

    56 -rw-r--r-- 1 ggc_user ggc_group     56703 Oct 29 20:07 model.json
196152 -rw-r--r-- 1 ggc_user ggc_group 200855043 Oct 29 20:08 model.params
   256 -rw-r--r-- 1 ggc_user ggc_group    261848 Oct 29 20:07 model.so
    32 -rw-r--r-- 1 ggc_user ggc_group     30564 Oct 29 20:08 synset.txt