As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Iniciando uma DLAMI instância com o AWS Neuron
O mais recente DLAMI está pronto para uso com AWS Inferentia e vem com o pacote AWS Neuron. API Para iniciar uma DLAMI instância, consulte Como iniciar e configurar uma DLAMI. Depois de ter umDLAMI, use as etapas aqui para garantir que seu chip de AWS inferência e os recursos do AWS Neuron estejam ativos.
Conteúdo
Verifique a instância
Antes de usar a instância, verifique se ela está corretamente definida e configurada com o Neuron.
Identificação de AWS dispositivos de inferência
Para identificar o número de dispositivos do Inferentia na sua instância, use o seguinte comando:
neuron-ls
Se a instância tiver dispositivos do Inferentia conectados a ela, a saída será semelhante à seguinte:
+--------+--------+--------+-----------+--------------+ | NEURON | NEURON | NEURON | CONNECTED | PCI | | DEVICE | CORES | MEMORY | DEVICES | BDF | +--------+--------+--------+-----------+--------------+ | 0 | 4 | 8 GB | 1 | 0000:00:1c.0 | | 1 | 4 | 8 GB | 2, 0 | 0000:00:1d.0 | | 2 | 4 | 8 GB | 3, 1 | 0000:00:1e.0 | | 3 | 4 | 8 GB | 2 | 0000:00:1f.0 | +--------+--------+--------+-----------+--------------+
O resultado fornecido é obtido de uma instância Inf1.6xlarge e inclui as seguintes colunas:
-
NEURONDEVICE: a ID lógica atribuída ao NeuronDevice. Esse ID é usado ao configurar vários tempos de execução para usar diferentes. NeuronDevices
-
NEURONCORES: O número de NeuronCores presentes no NeuronDevice.
-
NEURONMEMORY: A quantidade de DRAM memória no NeuronDevice.
-
CONNECTEDDEVICES: Outro NeuronDevices conectado ao NeuronDevice.
-
PCIBDF: A função do dispositivo de PCI barramento (BDF) ID do NeuronDevice.
Exibir o uso de recursos
Visualize informações úteis sobre a CPU utilização de NeuronCore and v, uso de memória, modelos carregados e aplicativos Neuron com o neuron-top comando. O lançamento neuron-top sem argumentos mostrará os dados de todos os aplicativos de aprendizado de máquina que utilizam NeuronCores.
neuron-top
Quando um aplicativo está usando quatro NeuronCores, a saída deve ser semelhante à imagem a seguir:
Para obter mais informações sobre recursos para monitorar e otimizar aplicações de inferência que usam como base o Neuron, consulte Ferramentas do Neuron
Como usar o Monitor do Neuron
O Neuron Monitor coleta métricas dos tempos de execução do Neuron em execução no sistema e transmite os dados coletados para o formato stdout. JSON Elas são organizadas em grupos de métricas que você configura fornecendo um arquivo de configuração. Para obter mais informações sobre o Monitor do Neuron, consulte o Guia do usuário do monitor do Neuron
Atualização do software Neuron
Para obter informações sobre como atualizar o SDK software NeuronDLAMI, consulte o Guia de configuração
Próxima etapa
