As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Executar a inferência de machine learning
Com AWS IoT Greengrass, você pode realizar inferência de aprendizado de máquina (ML) em seus dispositivos de ponta em dados gerados localmente usando modelos treinados na nuvem. Você se beneficia da baixa latência e da redução de custos na execução da inferência local, e ainda aproveita a capacidade de computação em nuvem para modelos de treinamento e processamento complexo.
AWS IoT Greengrass torna as etapas necessárias para realizar a inferência mais eficientes. Você pode treinar seus modelos de inferência em qualquer lugar e implantá-los localmente como componentes de machine learning. Por exemplo, você pode criar e treinar modelos de aprendizado profundo no Amazon SageMaker AI
Tópicos
- Como a inferência de AWS IoT Greengrass ML funciona
- O que há de diferente na AWS IoT Greengrass versão 2?
- Requisitos
- Fontes de modelo compatíveis
- Runtimes de machine learning compatíveis
- Componentes de machine learning fornecidos pela AWS
- Use o Amazon SageMaker AI Edge Manager nos dispositivos principais do Greengrass
- Usar o Amazon Lookout for Vision nos dispositivos principais do Greengrass
- Personalizar seus componentes de machine learning
- Solução de problemas de inferência de Machine learning do
Como a inferência de AWS IoT Greengrass ML funciona
AWS fornece componentes de aprendizado de máquina que você pode usar para criar implantações em uma etapa para realizar inferências de aprendizado de máquina em seu dispositivo. Você também pode usar esses componentes como modelos para criar componentes personalizados para atender às suas necessidades específicas.
AWS fornece as seguintes categorias de componentes de aprendizado de máquina:
-
Componente de modelo: contém modelos de machine learning como artefatos do Greengrass.
-
Componente de runtime: contém o script que instala a estrutura de machine learning e suas dependências no dispositivo principal do Greengrass.
-
Componente de inferência: contém o código de inferência e inclui dependências de componentes para instalar a estrutura de machine learning e baixar modelos de machine learning pré-treinados.
Cada implantação que você cria para realizar inferência de machine learning consiste em pelo menos um componente que executa sua aplicação de inferência, instala a estrutura de machine learning e baixa seus modelos de machine learning. Para realizar inferência de amostra com os componentes AWS fornecidos, você implanta um componente de inferência em seu dispositivo principal, que inclui automaticamente o modelo correspondente e os componentes de tempo de execução como dependências. Para personalizar suas implantações, você pode conectar ou trocar os componentes do modelo de amostra por componentes do modelo personalizado ou pode usar as receitas de componentes dos componentes AWS fornecidos como modelos para criar seus próprios componentes personalizados de inferência, modelo e tempo de execução.
Para realizar inferências de machine learning usando componentes personalizados:
-
Criar um componente modelo. Esse componente contém os modelos de aprendizado de máquina que você deseja usar para realizar inferências. AWS fornece exemplos de modelos pré-treinados DLR e TensorFlow Lite. Para usar um modelo personalizado, crie seu próprio componente de modelo.
-
Crie um componente de runtime. Esse componente contém os scripts necessários para instalar o tempo de execução do aprendizado de máquina para seus modelos. AWS fornece exemplos de componentes de tempo de execução para Deep Learning Runtime
(DLR) e TensorFlow Lite . Para usar outros tempos de execução com seus modelos personalizados e código de inferência, crie seus próprios componentes de runtime. -
Crie um componente de inferência. Esse componente contém seu código de inferência e inclui seus componentes de modelo e tempo de execução como dependências. AWS fornece exemplos de componentes de inferência para classificação de imagens e detecção de objetos usando o DLR and TensorFlow Lite. Para realizar outros tipos de inferência ou usar modelos e tempos de execução personalizados, crie seu próprio componente de inferência.
-
Implante o componente de inferência. Quando você implanta esse componente, AWS IoT Greengrass também implanta automaticamente as dependências do modelo e do componente de tempo de execução.
Para começar a usar os componentes AWS fornecidos, consulteTutorial: realize uma inferência de classificação de imagens de amostra usando o TensorFlow Lite.
Para obter informações sobre a criação de componentes personalizados de machine learning, consulte Personalizar seus componentes de machine learning.
O que há de diferente na AWS IoT Greengrass versão 2?
AWS IoT Greengrass consolida unidades funcionais para aprendizado de máquina, como modelos, tempos de execução e código de inferência, em componentes que permitem que você use um processo de uma etapa para instalar o tempo de execução do aprendizado de máquina, baixar seus modelos treinados e realizar inferências em seu dispositivo.
Ao usar os componentes AWS de aprendizado de máquina fornecidos, você tem a flexibilidade de começar a realizar inferências de aprendizado de máquina com exemplos de código de inferência e modelos pré-treinados. Você pode conectar componentes de modelo personalizados para usar seus próprios modelos personalizados com os componentes de inferência e tempo de execução fornecidos. AWS Para uma solução de machine learning totalmente personalizada, você pode usar os componentes públicos como modelos para criar componentes personalizados e usar qualquer runtime, modelo ou tipo de inferência que desejar.
Requisitos
Para criar e usar componentes de machine learning, você deve ter o seguinte:
-
Um dispositivo principal do Greengrass. Se você não tiver uma, consulte Tutorial: Começando com AWS IoT Greengrass V2.
-
Espaço mínimo de armazenamento local de 500 MB para usar AWS— exemplos de componentes de aprendizado de máquina fornecidos.
Fontes de modelo compatíveis
AWS IoT Greengrass suporta o uso de modelos de aprendizado de máquina personalizados que são armazenados no Amazon S3. Você também pode usar trabalhos de empacotamento de borda do Amazon SageMaker AI para criar diretamente componentes de modelo para seus modelos compilados com SageMaker IA Neo. Para obter informações sobre como usar o SageMaker AI Edge Manager com AWS IoT Greengrass, consulteUse o Amazon SageMaker AI Edge Manager nos dispositivos principais do Greengrass. Você também pode usar trabalhos de empacotamento de modelos do Amazon Lookout for Vision para criar componentes de modelo para seus modelos do Lookout for Vision. Para obter mais informações sobre como usar o Lookout for Vision AWS IoT Greengrass com, Usar o Amazon Lookout for Vision nos dispositivos principais do Greengrass consulte.
Os buckets do S3 que contêm seus modelos devem atender aos seguintes requisitos:
-
Eles não devem ser criptografados usando SSE -C. Para buckets que usam criptografia do lado do servidor, a inferência de aprendizado AWS IoT Greengrass de máquina atualmente oferece suporte somente às opções de criptografia SSE -S3 ou -. SSE KMS Para obter mais informações sobre as opções criptografia no lado do servidor, consulte Protegendo dados usando criptografia no lado do servidor no Guia do usuário do Amazon Simple Storage Service.
-
Seus nomes não devem incluir pontos (
.
). Para obter mais informações, consulte a regra sobre o uso de buckets de estilo hospedado virtual SSL em Regras para nomenclatura de buckets no Guia do usuário do Amazon Simple Storage Service. -
Os buckets do S3 que armazenam suas fontes de modelo devem estar nos mesmos componentes de aprendizado de máquina Conta da AWS e que estejam nos mesmos Região da AWS componentes do aprendizado de máquina.
-
AWS IoT Greengrass deve ter
read
permissão para acessar a fonte do modelo. Para permitir o acesso AWS IoT Greengrass aos buckets do S3, a função do dispositivo Greengrass deve permitir a ação.s3:GetObject
Para mais informações sobre a função da aplicação, consulte Autorize os dispositivos principais a interagir com os serviços da AWS.
Runtimes de machine learning compatíveis
AWS IoT Greengrass permite que você crie componentes personalizados para usar qualquer tempo de execução de aprendizado de máquina de sua escolha para realizar inferências de aprendizado de máquina com seus modelos treinados de forma personalizada. Para obter informações sobre a criação de componentes personalizados de machine learning, consulte Personalizar seus componentes de machine learning.
Para tornar o processo de introdução ao aprendizado de máquina mais eficiente, AWS IoT Greengrass fornece exemplos de componentes de inferência, modelo e tempo de execução que usam os seguintes tempos de execução de aprendizado de máquina:
-
Deep Learning Runtime
(DLR) v1.6.0 e v1.3.0 -
TensorFlow Lite
v2.5.0
Componentes de machine learning fornecidos pela AWS
A tabela a seguir lista os componentes AWS fornecidos usados para aprendizado de máquina.
nota
Vários componentes AWS fornecidos dependem de versões secundárias específicas do núcleo do Greengrass. Por causa dessa dependência, é necessário atualizar esses componentes ao atualizar o núcleo do Greengrass para uma nova versão secundária. Para obter informações sobre as versões específicas do núcleo das quais cada componente depende, consulte o tópico do componente correspondente. Para obter mais informações sobre como atualizar o núcleo, consulte Atualizar o software de núcleo do AWS IoT Greengrass (OTA).
Componente | Descrição | Tipo de componente | SO com suporte | Código aberto |
---|---|---|---|---|
Lookout for Vision Edge Agent | Implanta o runtime do Amazon Lookout for Vision no dispositivo principal do Greengrass, para que você possa usar visão computacional para encontrar defeitos em produtos industriais. | Genérico | Linux | Não |
SageMaker Gerenciador AI Edge | Implanta o agente Amazon SageMaker AI Edge Manager no dispositivo principal do Greengrass. | Genérico | Linux, Windows | Não |
Classificação de imagens do DLR | Componente de inferência que usa o armazenamento de modelos de classificação de DLR imagens e o componente DLR de tempo de execução como dependências para instalarDLR, baixar exemplos de modelos de classificação de imagens e realizar inferência de classificação de imagens em dispositivos compatíveis. | Genérico | Linux, Windows | Não |
Detecção de objetos do DLR | Componente de inferência que usa o armazenamento de modelos de detecção de DLR objetos e o componente DLR de tempo de execução como dependências para instalarDLR, baixar exemplos de modelos de detecção de objetos e realizar inferência de detecção de objetos em dispositivos compatíveis. | Genérico | Linux, Windows | Não |
DLRloja de modelos de classificação de imagens | Componente de modelo que contém amostras de ResNet -50 modelos de classificação de imagens como artefatos do Greengrass. | Genérico | Linux, Windows | Não |
DLRloja de modelos de detecção de objetos | Componente de modelo que contém exemplos de modelos de detecção de YOLOv3 objetos como artefatos do Greengrass. | Genérico | Linux, Windows | Não |
Runtime do DLR | Componente de tempo de execução que contém um script de instalação usado para instalar DLR e suas dependências no dispositivo principal do Greengrass. | Genérico | Linux, Windows | Não |
Classificação de imagens do TensorFlow Lite | Componente de inferência que usa o TensorFlow repositório de modelos de classificação de imagem TensorFlow Lite e o componente de tempo de execução Lite como dependências para instalar o TensorFlow Lite, baixar exemplos de modelos de classificação de imagens e realizar inferência de classificação de imagens em dispositivos compatíveis. | Genérico | Linux, Windows | Não |
Detecção de objetos do TensorFlow Lite | Componente de inferência que usa o TensorFlow repositório de modelos de detecção de objetos TensorFlow Lite e o componente de tempo de execução Lite como dependências para instalar o TensorFlow Lite, baixar modelos de detecção de objetos de amostra e realizar inferência de detecção de objetos em dispositivos compatíveis. | Genérico | Linux, Windows | Não |
Armazenamento de modelos de classificação de imagens do TensorFlow Lite | Componente de modelo que contém um modelo MobileNet v1 de amostra como artefato do Greengrass. | Genérico | Linux, Windows | Não |
Armazenamento de modelos de detecção de objetos do TensorFlow Lite | Componente de modelo que contém uma amostra do MobileNet modelo Single Shot Detection (SSD) como um artefato do Greengrass. | Genérico | Linux, Windows | Não |
Runtime do TensorFlow Lite | Componente de tempo de execução que contém um script de instalação usado para instalar o TensorFlow Lite e suas dependências no dispositivo principal do Greengrass. | Genérico | Linux, Windows | Não |