Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Lanzar una instancia de DLAMI con AWS Neuron
La versión más reciente de DLAMI está lista para usarse con AWS Inferentia e incluye el paquete de API Neuron. AWS Para iniciar una instancia de la DLAMI, consulte Lanzamiento y configuración de una DLAMI. Cuando tengas un DLAMI, sigue estos pasos para asegurarte de que tus recursos de chips y neuronas de AWS Inferentia estén activos. AWS
Contenido
Comprobación de la instancia
Antes de usar la instancia, compruebe que esté correctamente instalada y configurada con Neuron.
Identificando AWS Dispositivos de inferencia
Para identificar el número de dispositivos de Inferencia de la instancia, utilice el siguiente comando:
neuron-ls
Si su instancia tiene dispositivos de Inferentia asociados a ella, la salida tendrá un aspecto similar al siguiente:
+--------+--------+--------+-----------+--------------+ | NEURON | NEURON | NEURON | CONNECTED | PCI | | DEVICE | CORES | MEMORY | DEVICES | BDF | +--------+--------+--------+-----------+--------------+ | 0 | 4 | 8 GB | 1 | 0000:00:1c.0 | | 1 | 4 | 8 GB | 2, 0 | 0000:00:1d.0 | | 2 | 4 | 8 GB | 3, 1 | 0000:00:1e.0 | | 3 | 4 | 8 GB | 2 | 0000:00:1f.0 | +--------+--------+--------+-----------+--------------+
La salida proporcionada proviene de una Inf1.6xlarge instancia e incluye las siguientes columnas:
-
DISPOSITIVO NEURONAL: el identificador lógico asignado al NeuronDevice. Este ID se usa al configurar varios tiempos de ejecución para usarlos de manera diferente. NeuronDevices
-
NÚCLEOS NEURONALES: El número de núcleos NeuronCores presentes en el. NeuronDevice
-
MEMORIA NEURONAL: La cantidad de memoria DRAM en el. NeuronDevice
-
DISPOSITIVOS CONECTADOS: Otros NeuronDevices conectados al. NeuronDevice
-
PCI BDF: el ID de la función de dispositivo de bus PCI (BDF) del. NeuronDevice
Visualización del uso de recursos
Consulte información útil sobre NeuronCore el uso de la vCPU, el uso de la memoria, los modelos cargados y las aplicaciones Neuron con el comando. neuron-top Si se neuron-top ejecuta sin argumentos, se mostrarán los datos de todas las aplicaciones de aprendizaje automático que las utilicen. NeuronCores
neuron-top
Cuando una aplicación utiliza cuatro NeuronCores, el resultado debe tener un aspecto similar al de la siguiente imagen:
Para obtener más información sobre los recursos para supervisar y optimizar las aplicaciones de Neuron-based inferencia, consulte Neuron Tools.
Uso de Neuron Monitor (monitor de neuronas)
Neuron Monitor recopila las métricas de los tiempos de ejecución de Neuron que se ejecutan en el sistema y transmite los datos recopilados a la salida estándar en formato JSON. Estas métricas se organizan en grupos de métricas que se configuran proporcionando un archivo de configuración. Para obtener más información sobre Neuron Monitor, consulte la User Guide for Neuron Monitor
Actualización del software Neuron
Para obtener información sobre cómo actualizar el software Neuron SDK en DLAMI, consulte la guía de configuración de Neuron. AWS https://awsdocs-neuron.readthedocs-hosted.com/en/latest/neuron-intro/neuron-install-guide.html
Paso siguiente
