Como usar AWS IoT Analytics Acesso AWS IoT Analytics Casos de uso

O que AWS IoT Analyticsé

AWS IoT Analytics automatiza as etapas necessárias para analisar dados de dispositivos de IoT. AWS IoT Analytics filtra, transforma e enriquece os dados de IoT antes de armazená-los em um armazenamento de dados de séries temporais para análise. É possível configurar o serviço para coletar somente os dados que você precisa nos dispositivos, aplicar transformações matemáticas para processar os dados e enriquecê-los com metadados específicos do dispositivo, tais como tipo e localização do dispositivo, antes de armazenar os dados processados. Em seguida, você pode analisar seus dados executando consultas usando o mecanismo de SQL consulta integrado ou realizar análises mais complexas e inferências de aprendizado de máquina. AWS IoT Analytics permite a exploração avançada de dados por meio da integração com o Jupyter Notebook. AWS IoT Analytics também permite a visualização de dados por meio da integração com a Amazon QuickSight. A Amazon QuickSight está disponível nas seguintes regiões.

As tradicionais ferramentas de análise e inteligência de negócios são projetadas para processar dados estruturados. Os dados brutos da IoT normalmente vêm de dispositivos que registram dados menos estruturados (como temperatura, movimento ou som). Como resultado, os dados desses dispositivos podem ter lacunas significativas, mensagens corrompidas e leituras falsas que devem ser limpas antes que a análise ocorra. Além disso, os dados de IoT geralmente só são significativos no contexto de outros dados de fontes externas. AWS IoT Analytics permite que você resolva esses problemas e colete grandes quantidades de dados do dispositivo, processe mensagens e as armazene. Em seguida, você pode consultar os dados e analisá-los. AWS IoT Analytics inclui modelos pré-criados para casos de uso comuns de IoT para que você possa responder perguntas como quais dispositivos estão prestes a falhar ou quais clientes correm o risco de abandonar seus dispositivos vestíveis.

Como usar AWS IoT Analytics

O gráfico a seguir mostra uma visão geral de como você pode usar AWS IoT Analytics.

Atributos principais

Coletar

Integrado com AWS IoT Core—AWS IoT Analytics é totalmente integrado AWS IoT Core para que possa receber mensagens de dispositivos conectados à medida que elas são transmitidas.
Use um lote API para adicionar dados de qualquer fonte —AWS IoT Analytics pode receber dados de qualquer fonte por meio deHTTP. Isto significa que qualquer dispositivo ou serviço que está conectado à Internet pode enviar dados para AWS IoT Analytics. Para obter mais informações, consulte BatchPutMessage na AWS IoT Analytics API Referência.
Colete somente os dados que você deseja armazenar e analisar — você pode usar o AWS IoT Analytics console AWS IoT Analytics para configurar o recebimento de mensagens de dispositivos por meio de filtros de MQTT tópicos em vários formatos e frequências. AWS IoT Analytics valida se os dados estão dentro dos parâmetros específicos que você define e cria canais. Em seguida, o serviço encaminha os canais para pipelines apropriados, para processamento, transformação e enriquecimento de mensagens.

Processo

Limpar e filtrar—AWS IoT Analytics permite definir AWS Lambda funções que são acionadas quando são AWS IoT Analytics detectados dados ausentes, para que você possa executar códigos para estimar e preencher lacunas. Você também pode definir filtros máximos e mínimos e limites percentuais para remover exceções de seus dados.
Transformar —AWS IoT Analytics pode transformar mensagens usando a lógica matemática ou condicional que você define, para que você possa realizar cálculos comuns, como a conversão de Celsius em Fahrenheit.
Enriquecer —AWS IoT Analytics pode enriquecer os dados com fontes de dados externas, como uma previsão do tempo, e depois rotear os dados para o armazenamento de AWS IoT Analytics dados.

Armazene

Armazenamento de dados de séries temporais —AWS IoT Analytics armazena os dados do dispositivo em um armazenamento de dados de séries temporais otimizado para recuperação e análise mais rápidas. Também é possível gerenciar permissões de acesso, implementar políticas de retenção de dados e exportar seus dados para pontos de acesso externos.
Armazene dados processados e brutos —AWS IoT Analytics armazena os dados processados e também armazena automaticamente os dados brutos ingeridos para que você possa processá-los posteriormente.

Analisar

Executar SQL consultas ad-hoc—AWS IoT Analytics fornece um mecanismo de SQL consulta para que você possa executar consultas ad-hoc e obter resultados rapidamente. O serviço permite que você use SQL consultas padrão para extrair dados do armazenamento de dados para responder perguntas como a distância média percorrida por uma frota de veículos conectados ou quantas portas em um prédio inteligente estão trancadas após as 19h. Essas consultas podem ser reutilizadas mesmo se os dispositivos conectados, o tamanho da frota e os requisitos analíticos forem alterados.
Análise de séries temporais —AWS IoT Analytics oferece suporte à análise de séries temporais para que você possa analisar o desempenho dos dispositivos ao longo do tempo e entender como e onde eles estão sendo usados, monitorar continuamente os dados do dispositivo para prever problemas de manutenção e monitorar os sensores para prever e reagir às condições ambientais.
Notebooks hospedados para análise sofisticada e machine learning:AWS IoT Analytics inclui suporte para notebooks hospedados no caderno Jupyter para análise estatística e machine learning. O serviço inclui um conjunto de modelos de caderno que contêm modelos e AWS visualizações de aprendizado de máquina criados por eles. Você pode usar os modelos para iniciar os casos de uso de IoT relacionados ao perfil de falha do dispositivo, fazendo previsão de eventos como baixa utilização, que pode sinalizar que o cliente deixará de usar o produto, ou segmentando dispositivos por níveis de uso do cliente (por exemplo, usuários regulares, usuários de finais de semana) ou integridade do dispositivo. Depois de criar um caderno, você pode conteinerizá-lo e executá-lo em uma programação especificada por você. Para obter mais informações, consulte Automação de seu fluxo de trabalho.
Previsão: Você pode fazer uma classificação estatística por meio de um método chamado de regressão logística. Você também pode usar Long-Short-Term Memory (LSTM), que é uma técnica de rede neural poderosa para prever a saída ou o estado de um processo que varia com o tempo. Os modelos de blocos de anotações pré-criados também são compatíveis com o algoritmo de clustering K-means para segmentação de dispositivo, que agrupa seus dispositivos em grupos de dispositivos semelhantes. Esses modelos são normalmente usados para traçar o perfil da integridade e do estado do dispositivo, como HVAC unidades em uma fábrica de chocolate ou desgaste das pás em uma turbina eólica. Novamente, esses modelos de caderno podem ser conteinerizados e executados em uma programação.

Criar e visualizar

QuickSight Integração com a Amazon —AWS IoT Analytics fornece um conector para a Amazon QuickSight para que você possa visualizar seus conjuntos de dados em um QuickSight painel.
Integração do console — Você também pode visualizar os resultados de sua análise ad-hoc no Jupyter Notebook incorporado no console '. AWS IoT Analytics

AWS IoT Analytics componentes e conceitos

Canal

Um canal coleta dados de um MQTT tópico e arquiva as mensagens brutas e não processadas antes de publicar os dados em um pipeline. Você também pode enviar mensagens para um canal diretamente usando BatchPutMessageAPIo. As mensagens não processadas são armazenadas em um bucket do Amazon Simple Storage Service (Amazon S3) que você gerencia. AWS IoT Analytics

Pipeline

Um pipeline consome mensagens de um canal e permite que você as processe antes de armazená-las em um datastore. As etapas de processamento, chamadas de atividades (Atividades de pipeline), executam transformações em suas mensagens, como a remoção, a renomeação ou a adição de atributos a mensagens, filtrando-as com base em valores de atributos, invocando funções do Lambda em mensagens para processamento avançado ou executando transformações matemáticas para normalizar dados de dispositivos.

Datastore

Os pipelines armazenam as mensagens processadas em um datastore. Um datastore não é apenas um banco de dados; é um repositório escalável e consultável de suas mensagens. Você pode ter vários armazenamentos de dados para mensagens provenientes de diferentes dispositivos ou locais, ou filtradas por atributos de mensagens de acordo com a configuração e os requisitos do pipeline. Assim como acontece com as mensagens de canais não processadas, as mensagens processadas de um armazenamento de dados são armazenadas em um bucket do Amazon S3 que você AWS IoT Analytics gerencia ou gerencia.

Conjunto de dados

Você recupera dados de um armazenamento de dados criando um conjunto de dados. AWS IoT Analytics permite criar um conjunto de SQL dados ou um conjunto de dados de contêiner.

Depois de ter um conjunto de dados, você pode explorar e obter informações sobre seus dados por meio da integração usando a Amazon QuickSight. Ou você pode executar funções de análise mais avançadas por meio da integração ao caderno Jupyter. O caderno Jupyter fornece poderosas ferramentas de ciência de dados que podem realizar machine learning e uma ampla variedade de análises estatísticas. Para obter mais informações, consulte Modelos de caderno.

É possível enviar conteúdo do conjunto de dados para um bucket do Amazon S3, permitindo a integração com os data lakes existentes ou o acesso usando aplicativos internos e ferramentas de visualização. Também é possível enviar o conteúdo do conjunto de dados como uma entrada para o AWS IoT Events, um serviço que permite monitorar dispositivos ou processos para procurar falhas ou alterações na operação e para acionar ações adicionais quando esses eventos ocorrerem.

SQLconjunto de dados

Um conjunto SQL de dados é semelhante a uma visão materializada de um SQL banco de dados. Você pode criar um conjunto SQL de dados aplicando uma SQL ação. SQLos conjuntos de dados podem ser gerados automaticamente em um cronograma recorrente, especificando um gatilho.

Conjunto de dados de contêiner

Um conjunto de dados de contêiner habilita que você execute automaticamente suas ferramentas de análise e gere resultados. Para obter mais informações, consulte Automação de seu fluxo de trabalho. Ele reúne um conjunto de SQL dados como entrada, um contêiner Docker com suas ferramentas de análise e arquivos de biblioteca necessários, variáveis de entrada e saída e um gatilho de agendamento opcional. As variáveis de entrada e saída informam à imagem executável onde obter os dados e armazenar os resultados. O acionador pode executar sua análise quando um conjunto de SQL dados termina de criar seu conteúdo ou de acordo com uma expressão de cronograma. Um conjunto de dados de contêiner executa, gera e salva automaticamente os resultados das ferramentas de análise.

Trigger

Você pode criar automaticamente um conjunto de dados especificando um trigger. O gatilho pode ser um intervalo de tempo (por exemplo, criar esse conjunto de dados a cada duas horas) ou quando o conteúdo de outro conjunto de dados foi criado (por exemplo, criar esse conjunto de dados quando a criação do conteúdo de myOtherDataset for concluída). Ou você pode gerar o conteúdo do conjunto de dados manualmente usando CreateDatasetContentAPIo.

Contêiner de docker

Você pode criar seu próprio contêiner Docker para empacotar suas ferramentas de análise ou usar as opções que a SageMaker IA fornece. Para obter mais informações, consulte Contêiner do Docker. Você pode criar seu próprio contêiner Docker para empacotar suas ferramentas de análise ou usar as opções fornecidas pela SageMaker IA. Você pode armazenar um contêiner em um ECR registro da Amazon que você especificar para que ele esteja disponível para instalação na plataforma desejada. Os contêineres do Docker são capazes de executar seu código analítico personalizado preparado com Matlab, Octave, Wise.io, SPSS R, Fortran, Python, Scala, Java, C++ e assim por diante. Para obter mais informações, consulte Conteinerização de um caderno.

Janelas delta

Janelas delta são uma série de períodos definidos pelo usuário, intervalos não sobrepostos e contíguos. As janelas delta habilitam a criação de conteúdo de conjunto de dados e a execução de análise de dados novos recebidos no datastore desde a última análise. Você cria uma janela delta configurando o deltaTime na parte filters de uma queryAction de um conjunto de dados. Para obter mais informações, consulte CreateDataset API. Geralmente, o conteúdo do conjunto de dados é criado automaticamente ao configurar também um gatilho de intervalo de tempo (triggers:schedule:expression). Isso permite que você filtre as mensagens que chegaram durante um período específico, para que os dados contidos nas mensagens dos períodos anteriores não sejam contados duas vezes. Para obter mais informações, consulte o Exemplo 6: criar um SQL conjunto de dados com uma janela Delta (CLI).

Acesso AWS IoT Analytics

Como parte do AWS IoT, AWS IoT Analytics fornece as seguintes interfaces para permitir que seus dispositivos gerem dados e seus aplicativos interajam com os dados que eles geram:

AWS Command Line Interface (AWS CLI): Execute AWS IoT Analytics comandos para Windows, OS X e Linux. Esses comandos permitem que você crie e gerencie coisas, certificados, regras e políticas. Para começar a usar, consulte o Guia do usuário da AWS Command Line Interface. Para obter mais informações sobre os comandos para AWS IoT, consulte iot na AWS Command Line Interface Referência.

Importante
Use o aws iotanalytics comando para interagir com AWS IoT Analytics. Use o comando aws iot para interagir com outras partes do sistema IoT.
AWS IoT API: Crie seus aplicativos de IoT usando HTTP nossas solicitações. HTTPS Essas API ações permitem que você crie e gerencie itens, certificados, regras e políticas. Para obter mais informações, consulte Ações na AWS IoT APIreferência.
AWS SDKs: Crie seus AWS IoT Analytics aplicativos usando linguagens específicasAPIs. Eles SDKs agrupam o HTTP e HTTPS API e permitem que você programe em qualquer um dos idiomas suportados. Para obter mais informações, consulte AWS SDKse ferramentas.
AWS IoT Dispositivo SDKs: Crie aplicativos executados em seus dispositivos que enviam mensagens para AWS IoT Analytics o. Para obter mais informações, consulte AWS IoT SDKs.
AWS IoT Analytics Console: Você pode criar os componentes para visualizar os resultados no console AWS IoT Analytics.

Casos de uso

Manutenção preditiva: AWS IoT Analytics fornece modelos para criar modelos de manutenção preditiva e aplicá-los aos seus dispositivos. Por exemplo, você pode usar AWS IoT Analytics para prever quando os sistemas de aquecimento e resfriamento provavelmente falharão em veículos de carga conectados, para que os veículos possam ser redirecionados para evitar danos na remessa. Ou um fabricante de automóveis pode detectar quais de seus clientes estão com as pastilhas de freio gastas e alertá-los para fazer manutenção em seus veículos.
Reabastecimento proativo de suprimentos: AWS IoT Analytics permite criar aplicativos de IoT que podem monitorar inventários em tempo real. Por exemplo, uma empresa do setor de alimentos e bebidas pode analisar os dados de máquinas de vendas de alimentos e reordenar de maneira proativa as mercadorias sempre que os suprimentos estiverem acabando.
Pontuação de eficiência do processo: Com AWS IoT Analytics, você pode criar aplicativos de IoT que monitoram constantemente a eficiência de diferentes processos e tomam medidas para melhorar o processo. Por exemplo, uma empresa do setor de mineração pode aumentar a eficiência de seus caminhões de minério maximizando a carga para cada viagem. Com AWS IoT Analytics isso, a empresa pode identificar a carga mais eficiente para um local ou caminhão ao longo do tempo e, em seguida, comparar quaisquer desvios da carga alvo em tempo real e planejar melhor as diretrizes principais para melhorar a eficiência.
Agricultura inteligente: AWS IoT Analytics pode enriquecer os dados do dispositivo de IoT com metadados contextuais AWS IoT usando dados de registro ou fontes de dados públicas para que sua análise leve em consideração o tempo, a localização, a temperatura, a altitude e outras condições ambientais. Com essa análise, você pode escrever modelos que resultam em ações recomendadas para seus dispositivos seguirem. Por exemplo, para determinar quando molhar as plantas, os sistemas de irrigação podem enriquecer os dados do sensor de umidade com dados de precipitação, permitindo um uso mais eficiente da água.

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Conceitos básicos (console)