기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
AWS Neuron을 사용하여 DLAMI 인스턴스 시작
최신 버전DLAMI은 AWS Inferentia와 함께 사용할 수 있으며 AWS Neuron API 패키지와 함께 제공됩니다. DLAMI 인스턴스를 시작하려면 시작 및 구성을 참조하세요DLAMI. 가 있는 경우 여기의 단계를 DLAMI사용하여 AWS Inferentia 칩 및 AWS Neuron 리소스가 활성 상태인지 확인합니다.
인스턴스 확인
인스턴스를 사용하기 전에 인스턴스가 제대로 설정되고 Neuron으로 구성되어 있는지 확인합니다.
AWS 추론 디바이스 식별
인스턴스의 Inferentia 디바이스 수를 식별하려면 다음 명령을 사용합니다.
neuron-ls
인스턴스에 Inferentia 디바이스가 연결되어 있는 경우 다음과 유사하게 출력됩니다.
+--------+--------+--------+-----------+--------------+ | NEURON | NEURON | NEURON | CONNECTED | PCI | | DEVICE | CORES | MEMORY | DEVICES | BDF | +--------+--------+--------+-----------+--------------+ | 0 | 4 | 8 GB | 1 | 0000:00:1c.0 | | 1 | 4 | 8 GB | 2, 0 | 0000:00:1d.0 | | 2 | 4 | 8 GB | 3, 1 | 0000:00:1e.0 | | 3 | 4 | 8 GB | 2 | 0000:00:1f.0 | +--------+--------+--------+-----------+--------------+
제공된 출력은 INF1.6xlarge 인스턴스에서 가져온 것이며 다음 열을 포함합니다.
-
NEURON DEVICE: 에 할당된 논리적 ID입니다 NeuronDevice. 이 ID는 다른 를 사용하도록 여러 런타임을 구성할 때 사용됩니다 NeuronDevices.
-
NEURON CORES: 에 NeuronCores 있는 의 수입니다 NeuronDevice.
-
NEURON MEMORY: 의 DRAM 메모리 양입니다 NeuronDevice.
-
CONNECTED DEVICES: 에 NeuronDevices 연결된 기타 NeuronDevice.
-
PCI BDF: 의 PCI 버스 디바이스 함수(BDF) ID입니다 NeuronDevice.
리소스 사용량 보기
neuron-top 명령을 사용하여 NeuronCore 및 vCPU 사용률, 메모리 사용량, 로드된 모델 및 Neuron 애플리케이션에 대한 유용한 정보를 봅니다. 인수 neuron-top 없이 시작하면 를 사용하는 모든 기계 학습 애플리케이션에 대한 데이터가 표시됩니다 NeuronCores.
neuron-top
애플리케이션이 4개를 사용하는 경우 NeuronCores출력은 다음 이미지와 비슷해야 합니다.
Neuron 기반 추론 애플리케이션을 모니터링하고 최적화하기 위한 리소스에 대한 자세한 내용은 Neuron 도구
Neuron Monitor 사용(neuron-monitor)
Neuron Monitor는 시스템에서 실행되는 Neuron 런타임에서 지표를 수집하고 수집된 데이터를 JSON 형식으로 stdout으로 스트리밍합니다. 이러한 지표는구성 파일을 제공하여 구성하는 지표 그룹으로 구성됩니다. Neuron Monitor에 대한 자세한 내용은 Neuron Monitor사용 설명서
Neuron 소프트웨어 업그레이드
내에서 Neuron SDK 소프트웨어를 업데이트하는 방법에 대한 자세한 내용은 AWS Neuron 설정 안내서
다음 단계
