GPU を使用する - AWS Panorama

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

GPU を使用する

AWS Panorama アプライアンス のグラフィックプロセッサ (GPU) にアクセスして GPU アクセラレーションライブラリを使用したり、アプリケーションコードで機械学習モデルを実行したりできます。GPU アクセスを有効にするには、アプリケーションコードコンテナを構築した後に、パッケージ設定に GPU アクセスを要件として追加します。

重要

GPU アクセスを有効にすると、アプライアンス上のどのアプリケーションでもモデルノードを実行できなくなります。セキュリティ上の理由から、アプライアンスが SageMaker Neo でコンパイルされたモデルを実行する場合、GPU アクセスは制限されます。GPU アクセスでは、モデルをアプリケーションコードノードで実行し、デバイス上のすべてのアプリケーションが GPU へのアクセスを共有する必要があります。

アプリケーションの GPU アクセスを有効にするには、AWS Panorama Application CLI でパッケージを構築した後に パッケージ設定 を更新します。次の例は、GPU アクセスをアプリケーションコードノードに追加する requirements ブロックを示しています。

例 要件ブロックを含む package.json
{
    "nodePackage": {
        "envelopeVersion": "2021-01-01",
        "name": "SAMPLE_CODE",
        "version": "1.0",
        "description": "Computer vision application code.",
        "assets": [
            {
                "name": "code_asset",
                "implementations": [
                    {
                        "type": "container",
                        "assetUri": "eba3xmpl71aa387e8f89be9a8c396416cdb80a717bb32103c957a8bf41440b12.tar.gz",
                        "descriptorUri": "4abdxmpl5a6f047d2b3047adde44704759d13f0126c00ed9b4309726f6bb43400ba9.json",
                        "requirements": [
                            {
                                "type": "hardware_access",
                                "inferenceAccelerators": [
                                    {
                                        "deviceType": "nvhost_gpu",
                                        "sharedResourcePolicy": {
                                            "policy" : "allow_all"
                                        }
                                    }
                                ]
                            }
                        ]
                    }
                ]
            }
        ],
        "interfaces": [
        ...

開発ワークフローのビルドステップとパッケージングステップの間にパッケージ設定を更新します。

GPU アクセスでアプリケーションをデプロイするには

  1. アプリケーションコンテナを構築するには、 build-container コマンドを使用します。

    $ panorama-cli build-container --container-asset-name code_asset --package-path packages/123456789012-SAMPLE_CODE-1.0

  2. requirements ブロックをパッケージ設定に追加します。

  3. コンテナアセットとパッケージ設定をアップロードするには、package-application コマンドを使用します。

    $ panorama-cli package-application

  4. アプリケーションをデプロイします。

GPU アクセスを使用するサンプルアプリケーションについては、aws-panorama-samples GitHub リポジトリをご覧ください。