Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Bagikan GPU di Amazon ECS

Banyak beban kerja GPU, seperti inferensi dan penyajian model kecil, hanya menggunakan sebagian kecil dari komputasi dan memori GPU. Tanpa berbagi, sisa kapasitas itu tidak digunakan. Dengan Amazon ECS, Anda dapat berbagi satu fisik NVIDIA GPU di beberapa wadah sehingga Anda dapat mengemas lebih banyak beban kerja ke perangkat keras yang sama dan mengurangi limbah GPU.

Dengan Amazon ECS, Anda dapat menggunakan NVIDIA Multi-Process Layanan (MPS) untuk berbagi GPU. MPS adalah NVIDIA CUDA fitur yang menjalankan beberapa proses secara bersamaan pada GPU yang sama, yang meningkatkan pemanfaatan GPU dan mengurangi overhead pengalihan konteks. MPS menyediakan partisi memori dan komputasi, sehingga setiap wadah mendapat batas memori yang dapat dikonfigurasi dan plafon komputasi opsional.

Amazon ECS mengelola MPS untuk Anda. Ini memulai MPS daemon pada instans GPU, menempatkan wadah ke GPU berdasarkan memori yang tersedia, dan memberlakukan batas per kontainer.

MPS menyediakan berbagi tingkat perangkat lunak daripada partisi tingkat perangkat keras. Untuk informasi lebih lanjut tentang MPS, lihat Multi-Process Pelayanan di NVIDIA dokumentasi.

Amazon ECS mendukung berbagi GPU dengan MPS pada Instans Terkelola Amazon ECS dan Amazon ECS di Amazon EC2.

Kapan menggunakan berbagi GPU

Berbagi GPU dengan MPS sangat cocok untuk:

Berbagi GPU tidak disarankan untuk:

Cara kerja berbagi GPU

Anda mengonfigurasi berbagi GPU dalam definisi wadah dari definisi tugas. Dalam setiap wadah resourceRequirements, Anda memberikan sharingStrategy dengan nilai memori GPU alih-alih menentukan bilangan bulat di value untuk GPU khusus.

Ketika Amazon ECS menempatkan tugas yang menggunakan berbagi GPU, ia menambahkan memori GPU yang diminta oleh semua wadah GPU dalam tugas dan mencari GPU dengan memori bebas yang cukup. Semua wadah GPU dalam satu tugas ditempatkan pada GPU fisik yang sama. Jika tugas meminta 4.000 MiB di dua wadah, Amazon ECS menemukan satu GPU dengan setidaknya 4.000 MiB memori yang tersisa dan menempatkan kedua wadah di sana.

Beberapa tugas juga dapat berbagi GPU fisik yang sama. Selama GPU memiliki memori yang cukup tersisa, Amazon ECS dapat menempatkan tugas tambahan di atasnya, bahkan jika tugas-tugas tersebut berasal dari layanan yang berbeda. Tugas yang berbagi GPU dan tugas yang menggunakan GPU khusus dapat berjalan pada instance yang sama, pada GPU yang berbeda.

Pada Instans Terkelola Amazon ECS, Amazon ECS memantau kesehatan GPU dan MPS daemon pada setiap instance. Jika Amazon ECS mendeteksi kegagalan perangkat keras GPU atau MPS kegagalan daemon, itu menguras instance dan menggantikannya. Untuk informasi selengkapnya tentang perbaikan otomatis GPU, lihat Perbaikan otomatis GPU untuk instans terkelola Amazon ECS.

Konfigurasikan berbagi GPU

Untuk berbagi GPU, tambahkan sharingStrategy objek untuk resourceRequirements dari setiap wadah GPU dalam definisi tugas Anda. sharingStrategy Objek berisi nvidiaMps objek dengan bidang berikut. Untuk informasi selengkapnya tentang resourceRequirements, lihat Persyaratan sumber daya.

Amazon ECS menempatkan tugas berdasarkan memori GPU saja, sehingga tidak memperhitungkan komputasi saat membuat keputusan penempatan.

Anda dapat mengatur strategi berbagi di editor definisi tugas konsol Amazon ECS, atau dengan JSON, AWS CLI, atau API.

Amazon ECS menetapkan variabel lingkungan cadangan berikut di setiap wadah yang berbagi GPU. Jangan mengatur variabel-variabel ini dalam definisi wadah Anda.

Contoh definisi tugas berikut menjalankan dua wadah inferensi yang berbagi satu GPU dengan MPS, bersama dengan satu wadah sidecar non-GPU. Setiap wadah GPU meminta jumlah memori GPU dan komputasi yang berbeda.

Dalam contoh berikut, ganti account-id dengan milikmu AWS ID akun.

{
  "family": "mps-inference",
  "networkMode": "awsvpc",
  "executionRoleArn": "arn:aws:iam::account-id:role/ecsTaskExecutionRole",
  "containerDefinitions": [
    {
      "name": "model-a",
      "image": "nvidia/cuda:12.0.0-base-ubuntu22.04",
      "essential": true,
      "resourceRequirements": [
        {
          "type": "GPU",
          "sharingStrategy": {
            "nvidiaMps": {
              "memory": 12288,
              "maxComputePercent": 50
            }
          }
        }
      ]
    },
    {
      "name": "model-b",
      "image": "nvidia/cuda:12.0.0-base-ubuntu22.04",
      "essential": true,
      "resourceRequirements": [
        {
          "type": "GPU",
          "sharingStrategy": {
            "nvidiaMps": {
              "memory": 8192,
              "maxComputePercent": 25
            }
          }
        }
      ]
    },
    {
      "name": "log-router",
      "image": "public.ecr.aws/aws-observability/aws-for-fluent-bit:stable",
      "essential": false
    }
  ],
  "requiresCompatibilities": [
    "MANAGED_INSTANCES"
  ],
  "cpu": "4096",
  "memory": "8192"
}

Aturan validasi

Amazon ECS menerapkan aturan berikut untuk konfigurasi berbagi GPU:

Siapkan berbagi GPU berdasarkan jenis peluncuran

Dengan Instans Terkelola Amazon ECS, Amazon ECS memilih dan mengelola instans GPU untuk Anda. Anda tidak memerlukan pengaturan apa pun di luar definisi tugas.

Dengan Amazon ECS di Amazon EC2, luncurkan yang didukung NVIDIA Instans GPU dengan Amazon ECS AL2023 GPU-optimized TEMAN. Berbagi GPU dengan MPS di Amazon ECS di Amazon EC2 memerlukan versi agen kontainer Amazon ECS 1.107.0 atau kemudian dan Amazon ECS AL2023 GPU-optimized Versi AMI 20261019 atau nanti. Setelah instans mendaftar dengan cluster Anda, konfigurasi definisi tugas sama dengan Instans Terkelola Amazon ECS.

Pertimbangan-pertimbangan

Memantau berbagi GPU

Anda dapat mengonfirmasi bahwa GPU dibagikan dan melacak penggunaan GPU dengan Amazon ECS API dan Amazon CloudWatch metrik.

Konfirmasikan GPU dibagikan

Untuk mengonfirmasi bahwa GPU dibagikan, panggil DescribeContainerInstances API. Jawabannya meliputi gpuDevices bidang dengan mode berbagi, jumlah kontainer, dan memori yang tersisa untuk setiap GPU. Berikut ini adalah contoh respons.

{
  "containerInstances": [
    {
      "ec2InstanceId": "i-0c74b75400ab4228d",
      "runningTasksCount": 1,
      "gpuDevices": [
        {
          "gpuId": "GPU-70d3bdaf-8635-81e0-8e44-446248a92c83",
          "sharingMode": "NVIDIA_MPS",
          "totalMemoryInMiB": 22587,
          "remainingMemoryInMiB": 16587,
          "containerCount": 2
        }
      ]
    }
  ]
}

Lihat konfigurasi per tugas

Untuk melihat konfigurasi berbagi untuk setiap tugas, panggil DescribeTasks API. Setiap kontainer gpuSharingStrategy menunjukkan memori dan batas komputasi, dan wadah yang berbagi daftar GPU dengan nilai yang sama di gpuIds. Berikut ini adalah contoh respons.

{
  "tasks": [
    {
      "lastStatus": "RUNNING",
      "launchType": "MANAGED_INSTANCES",
      "containers": [
        {
          "name": "mps-a",
          "gpuIds": ["GPU-70d3bdaf-8635-81e0-8e44-446248a92c83"],
          "gpuSharingStrategy": { "nvidiaMps": { "memory": 4000, "maxComputePercent": 50 } }
        },
        {
          "name": "mps-b",
          "gpuIds": ["GPU-70d3bdaf-8635-81e0-8e44-446248a92c83"],
          "gpuSharingStrategy": { "nvidiaMps": { "memory": 2000, "maxComputePercent": 50 } }
        }
      ]
    }
  ]
}

Lacak penggunaan GPU