Implantação de modelos na borda com o SageMaker Edge Manager

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

O Amazon SageMaker Edge Manager fornece gerenciamento de modelos para dispositivos de ponta para que você possa otimizar, proteger, monitorar e manter modelos de aprendizado de máquina em frotas de dispositivos de ponta, como câmeras inteligentes, robôs, computadores pessoais e dispositivos móveis.

Por que usar o Edge Manager?

Muitos casos de uso de machine learning (ML) exigem a execução de modelos de ML em uma frota de dispositivos de borda, o que permite obter predições em tempo real, preservar a privacidade dos usuários finais e reduzir o custo da conectividade de rede. Com a crescente disponibilidade de hardware de borda de baixa potência projetado para machine learning, agora é possível executar vários modelos complexos de redes neurais em dispositivos de borda.

No entanto, operar modelos de ML em dispositivos de borda é um desafio, porque os dispositivos, diferentemente das instâncias de nuvem, têm computação, memória e conectividade limitadas. Depois que o modelo for implantado, você precisa monitorar continuamente os modelos, pois o desvio do modelo pode fazer com que a qualidade do modelo diminua com o tempo. Monitorar modelos em toda a sua frota de dispositivos é difícil porque você precisa escrever código personalizado para coletar amostras de dados do seu dispositivo e identificar divergências nas predições. Além disso, os modelos muitas vezes são codificados diretamente na aplicação. Para atualizar o modelo, é necessário reconstruir e atualizar toda a aplicação ou firmware do dispositivo, o que pode causar interrupções nas operações.

Com o SageMaker Edge Manager, você pode otimizar, executar, monitorar e atualizar modelos de aprendizado de máquina em frotas de dispositivos na borda.

Como funciona?

Em um alto nível, há cinco componentes principais no fluxo de trabalho do SageMaker Edge Manager: compilação de modelos com SageMaker o Neo, empacotamento de modelos compilados pelo Neo, implantação de modelos em seus dispositivos, execução de modelos no mecanismo de inferência de SageMaker IA (agente do Edge Manager) e manutenção de modelos nos dispositivos.

SageMaker O Edge Manager usa SageMaker o Neo para otimizar seus modelos para o hardware de destino em um clique e, em seguida, para assinar criptograficamente seus modelos antes da implantação. Usando o SageMaker Edge Manager, você pode obter amostras de dados de entrada e saída do modelo de dispositivos de borda e enviá-los para a nuvem para monitoramento e análise, além de visualizar um painel que rastreia e relata visualmente a operação dos modelos implantados no console de SageMaker IA.

SageMaker O Edge Manager estende recursos que antes só estavam disponíveis na nuvem até a borda, para que os desenvolvedores possam melhorar continuamente a qualidade do modelo usando o Amazon SageMaker Model Monitor para detecção de desvios, depois renomear os dados com o SageMaker AI Ground Truth e retreinar os modelos em IA. SageMaker

Como faço para usar o SageMaker Edge Manager?

Se você for um usuário iniciante do SageMaker Edge Manager, recomendamos que você faça o seguinte: