使用顯示卡 - AWS Panorama

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用顯示卡

您可以存取 AWS 全景設備上的圖形處理器 (GPU) 以使用 GPU 加速程式庫，或在應用程式程式碼中執行機器學習模型。若要開啟 GPU 存取，請在建立應用程式程式碼容器之後，將 GPU 存取新增為套件組態的必要條件。

重要

如果啟用 GPU 存取，則無法在設備上的任何應用程式中執行模型節點。基於安全考量，當設備執行以 SageMaker Neo 編譯的模型時，GPU 存取會受到限制。透過 GPU 存取，您必須在應用程式程式碼節點中執行模型，而裝置上的所有應用程式都會共用 GPU 的存取權。

若要為應用程式開啟 GPU 存取功能，請在使用 AWS 全景應用程式 CLI 建立套件之後更新套件組態。下列範例顯示將 GPU 存取新增至應用程式程式碼節點的requirements區塊。

範例 包含要求區塊的封裝
{
    "nodePackage": {
        "envelopeVersion": "2021-01-01",
        "name": "SAMPLE_CODE",
        "version": "1.0",
        "description": "Computer vision application code.",
        "assets": [
            {
                "name": "code_asset",
                "implementations": [
                    {
                        "type": "container",
                        "assetUri": "eba3xmpl71aa387e8f89be9a8c396416cdb80a717bb32103c957a8bf41440b12.tar.gz",
                        "descriptorUri": "4abdxmpl5a6f047d2b3047adde44704759d13f0126c00ed9b4309726f6bb43400ba9.json",
                        "requirements": [
                            {
                                "type": "hardware_access",
                                "inferenceAccelerators": [
                                    {
                                        "deviceType": "nvhost_gpu",
                                        "sharedResourcePolicy": {
                                            "policy" : "allow_all"
                                        }
                                    }
                                ]
                            }
                        ]
                    }
                ]
            }
        ],
        "interfaces": [
        ...

更新開發工作流程中建置和封裝步驟之間的套件組態。

部署具有 GPU 存取權的應用程式

  1. 若要建置應用程式容器，請使用build-container指令。

    $ panorama-cli build-container --container-asset-name code_asset --package-path packages/123456789012-SAMPLE_CODE-1.0

  2. 將requirements區塊新增至套件組態。

  3. 若要上傳容器資產和套件組態，請使用package-application指令。

    $ panorama-cli package-application

  4. 部署應用程式。

如需使用 GPU 存取的範例應用程式，請造訪aws-panorama-samplesGitHub存放庫。