使用 GPU - AWS Panorama

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 GPU

您可以访问 AWS Panorama Appliance 上的图形处理器 (GPU)，以使用 GPU 加速库，或在应用程序代码中运行机器学习模型。要启用 GPU 访问权限，请在构建应用程序代码容器后将 GPU 访问权限作为一项需求添加至程序包配置中。

重要

如果您启用 GPU 访问权限，则无法在设备上的任何应用程序中运行模型节点。出于安全考虑，当设备运行用 SageMaker Neo 编译的模型时，GPU 访问会受限。有了 GPU 访问权限，您必须在应用程序代码节点中运行模型，且设备上的所有应用程序都共享 GPU 的访问权限。

要为您的应用程序启用 GPU 访问权限，请在使用 AWS Panorama 应用程序 CLI 构建程序包后更新程序包配置。以下示例显示了向应用程序代码节点添加 GPU 访问权限的 requirements 数据块。

例 含要求数据块的 package.json
{
    "nodePackage": {
        "envelopeVersion": "2021-01-01",
        "name": "SAMPLE_CODE",
        "version": "1.0",
        "description": "Computer vision application code.",
        "assets": [
            {
                "name": "code_asset",
                "implementations": [
                    {
                        "type": "container",
                        "assetUri": "eba3xmpl71aa387e8f89be9a8c396416cdb80a717bb32103c957a8bf41440b12.tar.gz",
                        "descriptorUri": "4abdxmpl5a6f047d2b3047adde44704759d13f0126c00ed9b4309726f6bb43400ba9.json",
                        "requirements": [
                            {
                                "type": "hardware_access",
                                "inferenceAccelerators": [
                                    {
                                        "deviceType": "nvhost_gpu",
                                        "sharedResourcePolicy": {
                                            "policy" : "allow_all"
                                        }
                                    }
                                ]
                            }
                        ]
                    }
                ]
            }
        ],
        "interfaces": [
        ...

在开发工作流程的构建和打包步骤之间更新程序包配置。

部署有 GPU 访问权限的应用程序

  1. 若要生成应用程序容器，请使用 build-container 命令。

    $ panorama-cli build-container --container-asset-name code_asset --package-path packages/123456789012-SAMPLE_CODE-1.0

  2. 将该 requirements 数据块添加到程序包配置中。

  3. 要上传容器资产和程序包配置，请使用 package-application 命令。

    $ panorama-cli package-application

  4. 部署应用程序。

有关使用 GPU 访问权限的示例应用程序，请访问 aws-panorama-samples GitHub 存储库。