Opcional: configurar o dispositivo para qualificação de ML

SSH para o seu dispositivo.

Execute o script a seguir para verificar se as dependências estão instaladas corretamente.

sudo python3.7 -c "import mxnet; print(mxnet.__version__)"

sudo python3.7 -c "import numpy; print(numpy.__version__)"

A saída imprime o número da versão e o script deve sair sem erro.

Certifique-se de que device.json esteja configurado para qualificação de ML. Para obter mais informações, consulte Configurar device.json para qualificação de ML.

Execute o teste de dependências para a estrutura.

devicetester_[linux | mac | win_x86-64] run-suite --group-id mldependencies --test-id mxnet_dependency_check

O resumo do teste exibe um resultado PASSED para mldependencies.

SSH para o seu dispositivo.

Execute o script a seguir para verificar se a dependência está instalada corretamente.

sudo python3.7 -c "import tensorflow; print(tensorflow.__version__)"

A saída imprime o número da versão e o script deve sair sem erro.

Certifique-se de que device.json esteja configurado para qualificação de ML. Para obter mais informações, consulte Configurar device.json para qualificação de ML.

Execute o teste de dependências para a estrutura.

devicetester_[linux | mac | win_x86-64] run-suite --group-id mldependencies --test-id tensorflow_dependency_check

O resumo do teste exibe um resultado PASSED para mldependencies.

SSH para o seu dispositivo.

Execute o script a seguir para verificar se as dependências estão instaladas corretamente.

sudo python3.7 -c "import dlr; print(dlr.__version__)"

sudo python3.7 -c "import numpy; print(numpy.__version__)"

A saída imprime o número da versão e o script deve sair sem erro.

Certifique-se de que device.json esteja configurado para qualificação de ML. Para obter mais informações, consulte Configurar device.json para qualificação de ML.

Execute o teste de dependências para a estrutura.

devicetester_[linux | mac | win_x86-64] run-suite --group-id mldependencies --test-id dlr_dependency_check

O resumo do teste exibe um resultado PASSED para mldependencies.

Verifique se o dispositivo é compatível com o SageMaker. Para obter mais informações, consulte as opções do dispositivo de destino na Referência de API do Amazon SageMaker. Se, no momento, o seu tipo de dispositivo não for compatível com o SageMaker, siga as etapas em Opção 2: usar o TVM para compilar o modelo de DLR.

Faça download do arquivo tarball que contém o modelo MXNet pré-treinado e não compilado para DLR:

Descompacte o tarball. Esse comando gera a seguinte estrutura de diretório.

Mova o arquivo synset.txt do diretório resnet18 para outro local. Anote o novo local. Posteriormente, copie este arquivo para o diretório do modelo compilado.

Compacte o conteúdo do diretório resnet18.

tar cvfz model.tar.gz resnet18v1-symbol.json resnet18v1-0000.params

Faça upload do arquivo compactado para um bucket do Amazon S3 em sua Conta da AWS e siga as etapas em Compile um modelo (console) para criar um trabalho de compilação.

1. Em Configuração de entrada, use os seguintes valores:

   • Em Configuração de dados de entrada, digite {"data": [1, 3, 224, 224]}.

   • Em Estrutura de machine learning, selecione MXNet.

2. Em Configuração de saída, use os seguintes valores:

   • Em Local de saída do S3, insira o caminho para o bucket do Amazon S3 ou a pasta onde deseja armazenar o modelo compilado.

   • Em Dispositivo de destino, selecione o tipo de dispositivo.

Faça download do modelo compilado do local de saída especificado e descompacte o arquivo.

Copie synset.txt para o diretório do modelo compilado.

Altere o nome do diretório do modelo compilado para resnet18.

O diretório do modelo compilado deve ter a seguinte estrutura de diretório.

Faça download do arquivo tarball que contém o modelo MXNet pré-treinado e não compilado para DLR:

Descompacte o tarball. Esse comando gera a seguinte estrutura de diretório.

Siga as instruções na documentação do TVM para criar e instalar o TVM da origem para a sua plataforma.

Depois de criar o TVM, execute a compilação do TVM para o modelo resnet18. As etapas a seguir são baseadas no Quick Start Tutorial for Compiling Deep Learning Models na documentação do TVM.

1. Abra o arquivo relay_quick_start.py a partir do repositório do TVM clonado.

2. Atualize o código que define uma rede neural em retransmissão. Você pode usar uma das opções a seguir:

   • Opção 1: usar mxnet.gluon.model_zoo.vision.get_model para obter o módulo e os parâmetros de retransmissão:

     from mxnet.gluon.model_zoo.vision import get_model
     block = get_model('resnet18_v1', pretrained=True)
     mod, params = relay.frontend.from_mxnet(block, {"data": data_shape})

   • Opção 2: copiar os seguintes arquivos do modelo não compilado que você baixou na etapa 1 para o mesmo diretório que o arquivo relay_quick_start.py. Esses arquivos contêm o módulo e os parâmetros de retransmissão.

     • resnet18v1-symbol.json

     • resnet18v1-0000.params

3. Atualize o código que salva e carrega o módulo compilado para usar o código a seguir.

   from tvm.contrib import util
   path_lib = "deploy_lib.so"
   #  Export the model library based on your device architecture
   lib.export_library("deploy_lib.so", cc="aarch64-linux-gnu-g++")
   with open("deploy_graph.json", "w") as fo:
       fo.write(graph)
   with open("deploy_param.params", "wb") as fo:
       fo.write(relay.save_param_dict(params))

4. Crie o modelo:

   python3 tutorials/relay_quick_start.py --build-dir ./model

   Este comando gera os seguintes arquivos.

   • deploy_graph.json

   • deploy_lib.so

   • deploy_param.params

Copie os arquivos de modelo gerados em um diretório chamado resnet18. Este é o diretório do modelo compilado.

Copie o diretório do modelo compilado para o computador host. Depois, copie o arquivo synset.txt do modelo não compilado que você baixou na etapa 1 para o diretório do modelo compilado.

O diretório do modelo compilado deve ter a seguinte estrutura de diretório.