SageMaker Edge Manager を使用したエッジでのモデルのデプロイ

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon SageMaker Edge Manager にはエッジデバイスのモデル管理機能が用意されています。そのため、スマートカメラ、ロボット、パーソナルコンピュータ、モバイルデバイスなどのエッジデバイスのフリートで機械学習モデルを最適化、保護、モニタリング、および保守できます。

Edge Manager を使用する理由

多くの機械学習ユースケースでは、エッジデバイスのフリートで機械学習モデルを実行する必要があります。これにより、リアルタイムでの予測の取得、エンドユーザーのプライバシーの保護、ネットワーク接続コストの削減が実現できます。機械学習向けの、低消費電力のエッジハードウェアの可用性が高まるにつれて、エッジデバイス上で複数の複雑なニューラルネットワークモデルを実行できるようになりました。

しかし、エッジデバイスで機械学習モデルを稼働させることは困難です。クラウドインスタンスとは異なり、コンピューティング性能、メモリ、および接続性が制限されるためです。モデルのデプロイ後は、モデルのドリフトによってモデルの品質が経時的に低下する可能性があるため、モデルを継続的にモニタリングする必要があります。デバイスからデータサンプルを収集し、予測内のスキューを認識するカスタムコードを記述する必要があるため、デバイスフリート全体でモデルをモニタリングすることは困難です。さらに、多くのモデルはアプリケーションにハードコーディングされています。モデルを更新するには、アプリケーションまたはデバイスのファームウェア全体を再構築して更新する必要があります。これにより、稼働が中断される可能性があります。

SageMaker Edge Manager を使用すると、エッジデバイスのフリート全体で機械学習モデルを最適化、実行、モニタリング、更新できます。

動作の仕組み

大まかに言うと、SageMaker Edge Manager ワークフローには 5 つの主要なコンポーネントがあります。SageMaker Neo を使用したモデルのコンパイル、Neo コンパイル済みモデルのパッケージ化、デバイスにモデルをデプロイする、SageMaker AI 推論エンジン (Edge Manager エージェント) でモデルを実行する、デバイス上でモデルを維持するです。

SageMaker Edge Manager は SageMaker Neo を使用して、ワンクリックでモデルをターゲットハードウェア用に最適化し、デプロイする前にモデルに暗号的に署名します。SageMaker Edge Manager を使用すると、エッジデバイスからモデルの入出力データをサンプリングしてクラウドに送信し、モニタリングと分析を行うことができます。また、SageMaker AI コンソール内のデプロイされたモデルのオペレーションを追跡して視覚的にレポートするダッシュボードを表示できます。

SageMaker Edge Manager は、以前はクラウドでのみ使用されていた機能をエッジに拡張するため、デベロッパーはドリフト検出に Amazon SageMaker Model Monitor を使用してモデル品質を継続的に改善し、SageMaker AI Ground Truth でデータにラベルを付け直し、SageMaker AI でモデルを再トレーニングできます。

SageMaker Edge Manager の使い方

SageMaker Edge Manager を初めて使用する方には、次のことをお勧めします。