翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

モデルをデプロイ

リソースに制約のあるエッジデバイスにコンピューティングモジュールをデプロイするには、コンパイル済みモデルを Amazon S3 からデバイスにダウンロードして DLR を使うか、AWS IoT Greengrass を使います。

続行する前に、エッジデバイスが SageMaker Neo でサポートされている必要があります。「サポートされているフレームワーク、デバイス、システム、アーキテクチャ」を参照して、サポートされているエッジデバイスを確認してください。コンパイルジョブの送信時にターゲットエッジデバイスを指定していることを確認するには、「Neo を使ってモデルをコンパイル」を参照してください。

コンパイル済みモデルをデプロイする (DLR)

DLR は、深層学習モデルと決定木モデルのためのコンパクトで汎用的なランタイムです。DLR は、TVM ランタイム、Treelite ランタイム、NVIDIA TensorRT™ を使用し、他のハードウェア固有のランタイムを含めることができます。DLR は、さまざまなデバイスでコンパイル済みのモデルをロード、実行するための統合された Python/C++ API を提供します。

次の pip コマンドを使うと、DLR パッケージの最新リリースをインストールできます。

pip install dlr

GPU ターゲットまたは x86 以外のエッジデバイスへの DLR のインストールについては、構築済みバイナリのリリースを参照してください。ソースから DLR を構築する場合は「DLR をインストールする」を参照してください。例えば、Raspberry Pi 3 の DLR をインストールするには、以下を使えます。

pip install https://neo-ai-dlr-release.s3-us-west-2.amazonaws.com/v1.3.0/pi-armv7l-raspbian4.14.71-glibc2_24-libstdcpp3_4/dlr-1.3.0-py3-none-any.whl

モデルをデプロイする (AWS IoT Greengrass)

AWS IoT Greengrass はクラウド機能をローカルデバイスに拡張します。これにより、デバイスは情報源に近いデータを収集および分析して、ローカルイベントに自律的に反応し、ローカルネットワークで互いに安全に通信することができます。 AWS IoT Greengrass を使用すると、クラウドトレーニング済みモデルを使用して、ローカルに生成されたデータに対して機械学習推論をエッジで実行できます。現在、ARM Cortex-A、Intel Atom、Nvidia Jetson シリーズプロセッサに基づいて、すべての AWS IoT Greengrass デバイスにモデルをデプロイできます。 AWS IoT Greengrass で機械学習推論を実行する Lambda 推論アプリケーションのデプロイの詳細については、「 AWS マネジメントコンソールを使用して最適化された機械学習推論を設定する方法」を参照してください。