Tutorial: Execute inferência de classificação de imagens de amostra usando o Lite TensorFlow - AWS IoT Greengrass
Pré-requisitosEtapa 1: inscrever-se no tópico de notificações padrãoEtapa 2: implantar o componente de classificação de imagem TensorFlow LiteEtapa 3: ver os resultados da inferênciaPróximas etapas

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Tutorial: Execute inferência de classificação de imagens de amostra usando o Lite TensorFlow

Este tutorial mostra como usar o componente de inferência de classificação de imagem TensorFlow Lite para realizar exemplos de inferência de classificação de imagens em um dispositivo principal do Greengrass. Esse componente inclui as seguintes dependências de componentes:

  • TensorFlow Componente de armazenamento de modelos de classificação de imagem Lite

  • TensorFlow Componente Lite Runtime

Quando você implanta esse componente, ele baixa um modelo MobileNet v1 pré-treinado e instala o tempo de execução TensorFlow Lite e suas dependências. Esse componente publica resultados de inferência sobre o ml/tflite/image-classification tópico. Para visualizar esses resultados de inferência, use o cliente AWS IoT MQTT no AWS IoT console para assinar este tópico.

Neste tutorial, você implanta o componente de inferência de amostra para realizar a classificação da imagem na imagem de amostra fornecida pelaAWS IoT Greengrass. Depois de concluir este tutorial, você pode concluirTutorial: Execute inferência de classificação de imagens de amostra em imagens de uma câmera usando o TensorFlow Lite, que mostra como modificar o componente de inferência de amostra para realizar a classificação de imagens em imagens de uma câmera localmente em um dispositivo principal do Greengrass.

Para obter mais informações sobre aprendizado de máquina em dispositivos Greengrass, consulte. Executar a inferência de machine learning

Pré-requisitos

Para concluir este tutorial, você precisará do seguinte:

  • Um dispositivo principal do Linux Greengrass. Se você não tiver uma, consulte Tutorial: Conceitos básicos do AWS IoT Greengrass V2. O dispositivo principal deve atender aos seguintes requisitos:

    • Nos principais dispositivos do Greengrass que executam o Amazon Linux 2 ou o Ubuntu 18.04, a GNU C Library (glibc) versão 2.27 ou posterior está instalada no dispositivo.

    • Em dispositivos ARMv7L, como o Raspberry Pi, dependências do OpenCV-Python instaladas no dispositivo. Execute o comando a seguir para instalar as dependências.

      sudo apt-get install libopenjp2-7 libilmbase23 libopenexr-dev libavcodec-dev libavformat-dev libswscale-dev libv4l-dev libgtk-3-0 libwebp-dev

    • Os dispositivos Raspberry Pi que executam o Raspberry Pi OS Bullseye devem atender aos seguintes requisitos:

      • NumPy 1.22.4 ou posterior instalado no dispositivo. O Raspberry Pi OS Bullseye inclui uma versão anterior do NumPy, então você pode executar o seguinte comando para atualizar NumPy o dispositivo.

        pip3 install --upgrade numpy

      • A pilha de câmeras antiga ativada no dispositivo. O Raspberry Pi OS Bullseye inclui uma nova pilha de câmeras que é ativada por padrão e não é compatível, portanto, você deve habilitar a pilha de câmeras antiga.

        Para habilitar a pilha de câmeras antiga

        1. Execute o comando a seguir para abrir a ferramenta de configuração do Raspberry Pi.

          sudo raspi-config

        2. Selecione Opções de interface.

        3. Selecione Câmera antiga para ativar a pilha de câmeras antigas.

        4. Reinicie o Raspberry Pi.

Etapa 1: inscrever-se no tópico de notificações padrão

Nesta etapa, você configura o cliente AWS IoT MQTT no AWS IoT console para assistir às mensagens MQTT publicadas pelo componente de classificação de imagem TensorFlow Lite. Por padrão, o componente publica resultados de inferência sobre o ml/tflite/image-classification tópico. Inscreva-se neste tópico antes de implantar o componente em seu dispositivo principal do Greengrass para ver os resultados da inferência quando o componente é executado pela primeira vez.

Para se inscrever no tópico de notificações padrão

  1. No menu de navegação do AWS IoTconsole, escolha Testar, cliente de teste MQTT.

  2. Em Inscrever-se em um tópico, na caixa Nome do tópico, digiteml/tflite/image-classification.

  3. Escolha Assinar.

Etapa 2: implantar o componente de classificação de imagem TensorFlow Lite

Nesta etapa, você implanta o componente de classificação de imagem TensorFlow Lite em seu dispositivo principal:

  1. No menu de navegação AWS IoT Greengrassdo console, escolha Componentes.

  2. Na página Componentes, na guia Componentes públicos, escolha aws.greengrass.TensorFlowLiteImageClassification.

  3. Na página aws.greengrass.TensorFlowLiteImageClassification, escolha Implantar.

  4. Em Adicionar à implantação, escolha uma das seguintes opções:

    1. Para mesclar esse componente a uma implantação existente em seu dispositivo de destino, escolha Adicionar à implantação existente e selecione a implantação que você deseja revisar.

    2. Para criar uma nova implantação em seu dispositivo de destino, escolha Criar nova implantação. Se você tiver uma implantação existente em seu dispositivo, escolher essa etapa substituirá a implantação existente.

  5. Na página Especificar destino, faça o seguinte:

    1. Em Informações de implantação, insira ou modifique o nome amigável para sua implantação.

    2. Em Destinos de implantação, selecione um alvo para sua implantação e escolha Avançar. Você não pode alterar o destino de implantação se estiver revisando uma implantação existente.

  6. Na página Selecionar componentes, em Componentes públicos, verifique se o aws.greengrass.TensorFlowLiteImageClassification componente está selecionado e escolha Avançar.

  7. Na página Configurar componentes, mantenha as configurações padrão e escolha Avançar.

  8. Na página Definir configurações avançadas, mantenha as configurações padrão e escolha Avançar.

  9. Na página Revisar, escolha Implantar

  1. Crie um deployment.json arquivo para definir a configuração de implantação do componente de classificação de imagem TensorFlow Lite. Esse arquivo deve ter a seguinte aparência:

    {
  "targetArn":"targetArn",
  "components": {
    "aws.greengrass.TensorFlowLiteImageClassification": {
      "componentVersion": 2.1.0,
      "configurationUpdate": {
      }
    }
  }
}

    • No targetArn campo, targetArnsubstitua pelo nome de recurso da Amazon (ARN) da coisa ou grupo de itens a ser destinado para a implantação, no seguinte formato:

      • Coisa: arn:aws:iot:region:account-id:thing/thingName

      • Grupo de coisas: arn:aws:iot:region:account-id:thinggroup/thingGroupName

    • Este tutorial usa a versão 2.1.0 do componente. No objeto aws.greengrass.TensorFlowLiteObjectDetection componente, substitua 2.1.0 para usar uma versão diferente do componente de detecção de objetos TensorFlow Lite.

  2. Execute o comando a seguir para implantar o componente de classificação de imagem TensorFlow Lite no dispositivo:

    aws greengrassv2 create-deployment \
    --cli-input-json file://path/to/deployment.json

A implantação pode levar vários minutos para ser concluída. Na próxima etapa, verifique o log do componente para verificar se a implantação foi concluída com êxito e para ver os resultados da inferência.

Etapa 3: ver os resultados da inferência

Depois de implantar o componente, você pode visualizar os resultados da inferência no registro do componente em seu dispositivo principal do Greengrass e no cliente MQTT AWS IoT no console. AWS IoT Para assinar o tópico no qual o componente publica resultados de inferência, consulte. Etapa 1: inscrever-se no tópico de notificações padrão

  • AWS IoTCliente MQTT — Para visualizar os resultados que o componente de inferência publica no tópico de notificações padrão, conclua as seguintes etapas:

    1. No menu de navegação do AWS IoTconsole, escolha Testar, cliente de teste MQTT.

    2. Em Assinaturas, escolha. ml/tflite/image-classification

      Você deve ver mensagens semelhantes ao exemplo a seguir.

      {
  "timestamp": "2021-01-01 00:00:00.000000",
  "inference-type": "image-classification",
  "inference-description": "Top 5 predictions with score 0.3 or above ",
  "inference-results": [
    {
      "Label": "cougar, puma, catamount, mountain lion, painter, panther, Felis concolor",
      "Score": "0.5882352941176471"
    },
    {
      "Label": "Persian cat",
      "Score": "0.5882352941176471"
    },
    {
      "Label": "tiger cat",
      "Score": "0.5882352941176471"
    },
    {
      "Label": "dalmatian, coach dog, carriage dog",
      "Score": "0.5607843137254902"
    },
    {
      "Label": "malamute, malemute, Alaskan malamute",
      "Score": "0.5450980392156862"
    }
  ]
}

  • Registro do componente — Para visualizar os resultados da inferência no registro do componente, execute o comando a seguir em seu dispositivo principal do Greengrass. 

    sudo tail -f /greengrass/v2/logs/aws.greengrass.TensorFlowLiteImageClassification.log

    Você deve ver resultados semelhantes aos do exemplo a seguir.

    2021-01-01 00:00:00.000000 [INFO] (Copier) aws.greengrass.TensorFlowLiteImageClassification: stdout. Publishing results to the IoT core.... {scriptName=services.aws.greengrass.TensorFlowLiteImageClassification.lifecycle.Run.script, serviceName=aws.greengrass.TensorFlowLiteImageClassification, currentState=RUNNING}
        
2021-01-01 00:00:00.000000 [INFO] (Copier) aws.greengrass.TensorFlowLiteImageClassification: stdout. {"timestamp": "2021-01-01 00:00:00.000000", "inference-type": "image-classification", "inference-description": "Top 5 predictions with score 0.3 or above ", "inference-results": [{"Label": "cougar, puma, catamount, mountain lion, painter, panther, Felis concolor", "Score": "0.5882352941176471"}, {"Label": "Persian cat", "Score": "0.5882352941176471"}, {"Label": "tiger cat", "Score": "0.5882352941176471"}, {"Label": "dalmatian, coach dog, carriage dog", "Score": "0.5607843137254902"}, {"Label": "malamute, malemute, Alaskan malamute", "Score": "0.5450980392156862"}]}. {scriptName=services.aws.greengrass.TensorFlowLiteImageClassification.lifecycle.Run.script, serviceName=aws.greengrass.TensorFlowLiteImageClassification, currentState=RUNNING}

Se você não conseguir ver os resultados da inferência no log do componente ou no cliente MQTT, a implantação falhou ou não atingiu o dispositivo principal. Isso pode ocorrer se seu dispositivo principal não estiver conectado à Internet ou não tiver as permissões corretas para executar o componente. Execute o comando a seguir em seu dispositivo principal para visualizar o arquivo de log do software AWS IoT Greengrass principal. Esse arquivo inclui registros do serviço de implantação do dispositivo principal do Greengrass.

sudo tail -f /greengrass/v2/logs/greengrass.log

Para ter mais informações, consulte Solução de problemas de inferência de aprendizado de máquina.

Próximas etapas

Se você tiver um dispositivo principal do Greengrass com uma interface de câmera compatível, você pode concluirTutorial: Execute inferência de classificação de imagens de amostra em imagens de uma câmera usando o TensorFlow Lite, o que mostra como modificar o componente de inferência de amostra para realizar a classificação de imagens em imagens de uma câmera.

Para explorar mais a configuração do componente de inferência de classificação de imagem TensorFlow Lite de amostra, tente o seguinte:

  • Modifique o parâmetro InferenceInterval de configuração para alterar a frequência com que o código de inferência é executado.

  • Modifique os parâmetros ImageName e de ImageDirectory configuração na configuração do componente de inferência para especificar uma imagem personalizada a ser usada para inferência.

Para obter informações sobre como personalizar a configuração de componentes públicos ou criar componentes personalizados de aprendizado de máquina, consultePersonalize seus componentes de aprendizado de máquina.