As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Lançamento de uma instância DLAMI com Neuron AWS
O DLAMI mais recente está pronto para uso AWS com Inferentia e vem com AWS o pacote Neuron API. Para iniciar uma instância da DLAMI, consulte Iniciar e configurar uma DLAMI. Depois de ter um DLAMI, use as etapas aqui para garantir que AWS seu chip de inferência AWS e os recursos do Neuron estejam ativos.
Conteúdo
Verifique a instância
Antes de usar a instância, verifique se ela está corretamente definida e configurada com o Neuron.
Identificação de AWS dispositivos de inferência
Para identificar o número de dispositivos do Inferentia na sua instância, use o seguinte comando:
neuron-ls
Se a instância tiver dispositivos do Inferentia conectados a ela, a saída será semelhante à seguinte:
+--------+--------+--------+-----------+--------------+ | NEURON | NEURON | NEURON | CONNECTED | PCI | | DEVICE | CORES | MEMORY | DEVICES | BDF | +--------+--------+--------+-----------+--------------+ | 0 | 4 | 8 GB | 1 | 0000:00:1c.0 | | 1 | 4 | 8 GB | 2, 0 | 0000:00:1d.0 | | 2 | 4 | 8 GB | 3, 1 | 0000:00:1e.0 | | 3 | 4 | 8 GB | 2 | 0000:00:1f.0 | +--------+--------+--------+-----------+--------------+
O resultado fornecido é obtido de uma instância Inf1.6xlarge e inclui as seguintes colunas:
-
DISPOSITIVO NEURONAL: O ID lógico atribuído ao NeuronDevice. Esse ID é usado ao configurar vários tempos de execução para usar diferentes. NeuronDevices
-
NÚCLEOS DE NEURÔNIOS: O número de NeuronCores presentes no NeuronDevice.
-
MEMÓRIA NEURONAL: A quantidade de memória DRAM no. NeuronDevice
-
DISPOSITIVOS CONECTADOS: Outros NeuronDevices conectados ao NeuronDevice.
-
PCI BDF: O ID da função de dispositivo de barramento PCI (BDF) do. NeuronDevice
Exibir o uso de recursos
Visualize informações úteis sobre a NeuronCore utilização da vCPU, o uso da memória, os modelos carregados e os aplicativos Neuron com o comando. neuron-top O lançamento neuron-top sem argumentos mostrará os dados de todos os aplicativos de aprendizado de máquina que utilizam NeuronCores.
neuron-top
Quando um aplicativo está usando quatro NeuronCores, a saída deve ser semelhante à imagem a seguir:
Para obter mais informações sobre recursos para monitorar e otimizar aplicações de inferência que usam como base o Neuron, consulte Ferramentas do Neuron
Como usar o Monitor do Neuron
O Monitor do Neuron coleta métricas dos runtimes do Neuron em execução no sistema e transmite os dados coletados para stdout no formato JSON. Elas são organizadas em grupos de métricas que você configura fornecendo um arquivo de configuração. Para obter mais informações sobre o Monitor do Neuron, consulte o Guia do usuário do monitor do Neuron
Atualização do software Neuron
Próxima etapa
