Como usar o AWS IoT Analytics Acessar AWS IoT Analytics Casos de uso

O que é o AWS IoT Analytics?

AWS IoT Analytics automatiza as etapas necessárias para analisar dados de dispositivos de IoT. AWS IoT Analytics filtra, transforma e enriquece os dados de IoT antes de armazená-los em um armazenamento de dados de séries temporais para análise. É possível configurar o serviço para coletar somente os dados que você precisa nos dispositivos, aplicar transformações matemáticas para processar os dados e enriquecê-los com metadados específicos do dispositivo, tais como tipo e localização do dispositivo, antes de armazenar os dados processados. Em seguida, você pode analisar seus dados executando consultas usando o mecanismo de consulta SQL integrado ou realizar análises mais complexas e inferências de machine learning. AWS IoT Analytics permite a exploração avançada de dados por meio da integração com o caderno Jupyter. AWS IoT Analytics também permite a visualização de dados por meio da integração com o Amazon QuickSight. O Amazon QuickSight está disponível nas seguintes regiões.

As tradicionais ferramentas de análise e inteligência de negócios são projetadas para processar dados estruturados. Os dados brutos da IoT normalmente vêm de dispositivos que registram dados menos estruturados (como temperatura, movimento ou som). Como resultado, os dados desses dispositivos podem ter lacunas significativas, mensagens corrompidas e leituras falsas que devem ser limpas antes que a análise ocorra. Além disso, os dados de IoT geralmente só são significativos no contexto de outros dados de fontes externas. AWS IoT Analytics permite que você resolva esses problemas e colete grandes quantidades de dados do dispositivo, processe mensagens e as armazene. Em seguida, você pode consultar os dados e analisá-los. AWS IoT Analytics inclui modelos pré-criados para casos de uso comuns de IoT para que você possa responder a perguntas, como quais dispositivos estão prestes a falhar ou quais clientes demonstram probabilidade de abandonar seus dispositivos wearables.

Como usar o AWS IoT Analytics

O gráfico a seguir mostra uma visão geral de como você pode usar AWS IoT Analytics.

Recursos principais

Coletar

Integrado com o AWS IoT Core — AWS IoT Analytics está totalmente integrado com AWS IoT Core para que ele receba mensagens de dispositivos conectados à medida que são transmitidas.
Use uma API de lotes para adicionar dados de qualquer origem – AWS IoT Analytics pode receber dados de qualquer origem por meio de HTTP. Isto significa que qualquer dispositivo ou serviço que está conectado à Internet pode enviar dados para AWS IoT Analytics. Para obter mais informações, consulte BatchPutMessage em Referência de API AWS IoT Analytics.
Colete somente os dados que você deseja armazenar e analisar — você pode usar o console AWS IoT Analytics para configurar AWS IoT Analytics o recebimento de mensagens de dispositivos por meio de filtros de tópicos do MQTT em vários formatos e frequências. AWS IoT Analytics valida se os dados estão dentro dos parâmetros específicos que você define e cria canais. Em seguida, o serviço encaminha os canais para pipelines apropriados, para processamento, transformação e enriquecimento de mensagens.

Processar

Limpar e filtrar — AWS IoT Analytics permite definir funções do AWS Lambda que são acionadas quando o AWS IoT Analytics detecta dados ausentes, para que você possa executar códigos para estimar e preencher lacunas. Você também pode definir filtros máximos e mínimos e limites percentuais para remover exceções de seus dados.
Transformar — AWS IoT Analytics pode transformar as mensagens usando lógica matemática ou condicional definidas, para que você possa realizar cálculos comuns como a conversão de Celsius em Fahrenheit.
Enriquecer — AWS IoT Analytics pode enriquecer os dados com fontes de dados externas, como previsão do tempo e, em seguida, rotear os dados para o datastore do AWS IoT Analytics.

Armazene

Datastore de séries temporais — AWS IoT Analytics armazena os dados do dispositivo em um datastore de séries temporais otimizado para uma recuperação e análise mais rápidas. Também é possível gerenciar permissões de acesso, implementar políticas de retenção de dados e exportar seus dados para pontos de acesso externos.
Armazenar dados processados e brutos — AWS IoT Analytics armazena os dados processados e também armazena automaticamente os dados brutos incluídos para que você possa processá-los posteriormente.

Analisar

Executar consultas SQL ad-hoc — AWS IoT Analytics fornece um mecanismo de consulta SQL para que você possa executar consultas ad-hoc e obter resultados rapidamente. O serviço habilita o uso de consultas SQL padrão para extrair dados do datastore para responder a perguntas como qual a distância média percorrida por uma frota de veículos conectados ou quantas portas são trancadas após as 19h em um edifício inteligente. Essas consultas podem ser reutilizadas mesmo se os dispositivos conectados, o tamanho da frota e os requisitos analíticos forem alterados.
Análise de séries temporais — AWS IoT Analytics é compatível com análises de séries temporais para que você possa analisar o desempenho de dispositivos ao longo do tempo e entender como e onde eles estão sendo usados, monitorar continuamente os dados do dispositivo para fazer previsões de problemas de manutenção e monitorar sensores para prever e reagir às condições ambientais.
Notebooks hospedados para análise sofisticada e machine learning — AWS IoT Analytics inclui suporte para notebooks hospedados no caderno Jupyter para análise estatística e machine learning. O serviço inclui um conjunto de modelos de caderno que contêm modelos e AWS visualizações de machine learning criados por eles. Você pode usar os modelos para iniciar os casos de uso de IoT relacionados ao perfil de falha do dispositivo, fazendo previsão de eventos como baixa utilização, que pode sinalizar que o cliente deixará de usar o produto, ou segmentando dispositivos por níveis de uso do cliente (por exemplo, usuários regulares, usuários de finais de semana) ou integridade do dispositivo. Depois de criar um caderno, você pode conteinerizá-lo e executá-lo em uma programação especificada por você. Para obter mais informações, consulte Automação de seu fluxo de trabalho.
Previsão — Você pode fazer uma classificação estatística por meio de um método chamado de regressão logística. Você também pode usar a Long-Short-Term Memory (LSTM – Memória de longo a curto prazo), que é uma poderosa técnica de rede neural para fazer previsões de saída ou do estado de um processo que varia com o tempo. Os modelos de blocos de anotações pré-criados também são compatíveis com o algoritmo de clustering K-means para segmentação de dispositivo, que agrupa seus dispositivos em grupos de dispositivos semelhantes. Esses modelos normalmente são usados para o perfil de integridade e de estado de dispositivos, como unidades de HVAC em uma fábrica de chocolate ou desgaste de lâminas em uma turbina eólica. Novamente, esses modelos de caderno podem ser conteinerizados e executados em uma programação.

Criar e visualizar

Integração do Amazon QuickSight — o AWS IoT Analytics fornece um conector para o Amazon QuickSight para que você possa visualizar seus conjuntos de dados em um painel do QuickSight.
Integração do console — também é possível visualizar os resultados ou a análise ad-hoc no caderno Jupyter incorporado no console do AWS IoT Analytics.

Componentes e conceitos do AWS IoT Analytics

Canal

Um canal coleta dados de um tópico MQTT e arquiva as mensagens brutas não processadas antes de publicar os dados em uma pipeline. Você também pode enviar mensagens diretamente para um canal usando a API BatchPutMessage. As mensagens não processadas são armazenadas em um bucket do Amazon Simple Storage Service (Amazon S3) gerenciado por você ou AWS IoT Analytics.

Pipeline

Um pipeline consome mensagens de um canal e permite que você as processe antes de armazená-las em um datastore. As etapas de processamento, chamadas de atividades (Atividades de pipeline), executam transformações em suas mensagens, como a remoção, a renomeação ou a adição de atributos a mensagens, filtrando-as com base em valores de atributos, invocando funções do Lambda em mensagens para processamento avançado ou executando transformações matemáticas para normalizar dados de dispositivos.

Datastore

Os pipelines armazenam as mensagens processadas em um datastore. Um datastore não é apenas um banco de dados; é um repositório escalável e consultável de suas mensagens. Você pode ter vários armazenamentos de dados para mensagens provenientes de diferentes dispositivos ou locais, ou filtradas por atributos de mensagens de acordo com a configuração e os requisitos do pipeline. Assim como ocorre com mensagens de canal não processadas, as mensagens processadas do datastore são armazenadas em um bucket do Amazon S3 gerenciado por você ou AWS IoT Analytics.

Conjunto de dados

Você recupera dados de um armazenamento de dados criando um conjunto de dados. AWS IoT Analytics permite criar um conjunto de dados SQL ou um conjunto de dados de contêiner.

Quando tiver um conjunto de dados, você poderá explorar e obter informações sobre seus dados usando a integração ao Amazon QuickSight. Ou você pode executar funções de análise mais avançadas por meio da integração ao caderno Jupyter. O caderno Jupyter fornece poderosas ferramentas de ciência de dados que podem realizar machine learning e uma ampla variedade de análises estatísticas. Para obter mais informações, consulte Modelos de caderno.

É possível enviar conteúdo do conjunto de dados para um bucket do Amazon S3, permitindo a integração com os data lakes existentes ou o acesso usando aplicativos internos e ferramentas de visualização. Também é possível enviar o conteúdo do conjunto de dados como uma entrada para o AWS IoT Events, um serviço que permite monitorar dispositivos ou processos para procurar falhas ou alterações na operação e para acionar ações adicionais quando esses eventos ocorrerem.

Conjunto de dados SQL

Um conjunto de dados SQL é semelhante a uma visualização materializada de um banco de dados SQL. Você pode criar um conjunto de dados SQL com a aplicação de uma ação SQL. Os conjuntos de dados SQL podem ser gerados automaticamente em uma programação recorrente por meio da especificação de um trigger.

Conjunto de dados de contêiner

Um conjunto de dados de contêiner habilita que você execute automaticamente suas ferramentas de análise e gere resultados. Para obter mais informações, consulte Automação de seu fluxo de trabalho. Reúne um conjunto de dados SQL como entrada, um contêiner de Docker com suas ferramentas de análise e arquivos de bibliotecas necessárias, variáveis de entrada e saída e um trigger de programação opcional. As variáveis de entrada e saída informam à imagem executável onde obter os dados e armazenar os resultados. O trigger pode executar sua análise quando um conjunto de dados SQL conclui a criação de seu conteúdo ou de acordo com uma expressão de cronograma. Um conjunto de dados de contêiner executa, gera e salva automaticamente os resultados das ferramentas de análise.

Trigger

Você pode criar automaticamente um conjunto de dados especificando um trigger. O gatilho pode ser um intervalo de tempo (por exemplo, criar esse conjunto de dados a cada duas horas) ou quando o conteúdo de outro conjunto de dados foi criado (por exemplo, criar esse conjunto de dados quando a criação do conteúdo de myOtherDataset for concluída). Ou você pode gerar conteúdo do conjunto de dados manualmente usando a API CreateDatasetContent.

Contêiner de docker

É possível criar seu próprio contêiner do Docker para empacotar suas ferramentas de análise ou usar opções que o SageMaker fornece. Para obter mais informações, consulte Contêiner do Docker. É possível criar seu próprio contêiner do Docker para empacotar suas ferramentas de análise ou usar opções fornecidas pelo SageMaker. É possível armazenar um contêiner em um registro do Amazon ECR especificado por você para que ele esteja disponível para instalação na plataforma desejada. Os contêineres do Docker podem executar seu código de análise personalizada preparado com Matlab, Octave, Wise.io, SPSS, R, Fortran, Python, Scala, Java, C++ e assim por diante. Para obter mais informações, consulte Conteinerização de um caderno.

Janelas delta

Janelas delta são uma série de períodos definidos pelo usuário, intervalos não sobrepostos e contíguos. As janelas delta habilitam a criação de conteúdo de conjunto de dados e a execução de análise de dados novos recebidos no datastore desde a última análise. Você cria uma janela delta configurando o deltaTime na parte filters de uma queryAction de um conjunto de dados. Para obter mais informações, consulte a API CreateDataset. Geralmente, o conteúdo do conjunto de dados é criado automaticamente ao configurar também um gatilho de intervalo de tempo (triggers:schedule:expression). Isso permite que você filtre as mensagens que chegaram durante um período específico, para que os dados contidos nas mensagens dos períodos anteriores não sejam contados duas vezes. Para obter mais informações, consulte Exemplo 6: criando um conjunto de dados SQL com uma janela delta (CLI).

Acessar AWS IoT Analytics

Como parte do AWS IoT, AWS IoT Analytics fornece as seguintes interfaces para permitir que seus dispositivos gerem dados e os aplicativos interajam com os dados gerados por eles:

AWS Command Line Interface (AWS CLI): Execute comandos para a AWS IoT Analytics no Windows, OS X e Linux. Esses comandos permitem que você crie e gerencie coisas, certificados, regras e políticas. Para começar a usar, consulte o Guia do usuário do AWS Command Line Interface. Para obter mais informações sobre comandos da AWS IoT, consulte iot no Referência AWS Command Line Interface.

Importante
Use o comando aws iotanalytics para interagir com AWS IoT Analytics. Use o comando aws iot para interagir com outras partes do sistema IoT.
AWS IoT API: Crie seus aplicativos para IoT usando solicitações HTTP ou HTTPS. Essas ações de API permitem que você crie e gerencie coisas, certificados, regras e políticas. Para obter mais informações, consulte Ações do na Referência de API do AWS IoT.
AWS SDKs: Crie seus aplicativos AWS IoT Analytics usando APIs específicas de uma linguagem. Esses SDKs encapsulam a API HTTP e HTTPS e permitem que você programe em qualquer uma das linguagens suportadas. Para obter mais informações, consulte AWS SDKs e ferramentas.
SDKs de dispositivo da AWS IoT: Crie aplicativos para serem executados em seus dispositivos que enviam para o AWS IoT Analytics. Para obter mais informações, consulte AWS IoT SDKs.
Console do AWS IoT Analytics: Você pode criar os componentes para visualizar os resultados no console AWS IoT Analytics.

Casos de uso

Manutenção preditiva: O AWS IoT Analytics fornece modelos para criar modelos de manutenção preditiva e aplicá-los aos dispositivos. Por exemplo, é possível usar o AWS IoT Analytics para prever quando os sistemas de aquecimento e resfriamento provavelmente apresentarão falha nos veículos de carga conectados, para que os veículos possam ser reencaminhados para evitar danos à remessa. Ou um fabricante de automóveis pode detectar quais de seus clientes estão com as pastilhas de freio gastas e alertá-los para fazer manutenção em seus veículos.
Reabastecimento proativo de suprimentos: O AWS IoT Analytics permite criar aplicativos para IoT que podem monitorar inventários em tempo real. Por exemplo, uma empresa do setor de alimentos e bebidas pode analisar os dados de máquinas de vendas de alimentos e reordenar de maneira proativa as mercadorias sempre que os suprimentos estiverem acabando.
Pontuação de eficiência do processo: Com o AWS IoT Analytics, você pode criar aplicativos de IoT que monitoram constantemente a eficiência de diferentes processos e realizam ações para melhorar o processo. Por exemplo, uma empresa do setor de mineração pode aumentar a eficiência de seus caminhões de minério maximizando a carga para cada viagem. Com o AWS IoT Analytics, a empresa pode identificar a carga mais eficiente para um local ou caminhão ao longo do tempo e, em seguida, comparar quaisquer desvios da carga pretendida em tempo real e planejar melhor as diretrizes de carregamento para melhorar a eficiência.
Agricultura inteligente: O AWS IoT Analytics pode enriquecer os dados do dispositivo IoT com metadados contextuais usando dados do registro do AWS IoT ou fontes de dados públicas para que sua análise calcule o tempo, o local, a temperatura, a altitude e outras condições ambientais. Com essa análise, você pode escrever modelos que resultam em ações recomendadas para seus dispositivos seguirem. Por exemplo, para determinar quando molhar as plantas, os sistemas de irrigação podem enriquecer os dados do sensor de umidade com dados de precipitação, permitindo um uso mais eficiente da água.

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Conceitos básicos (console)