Detecção de anomalias no Amazon OpenSearch Service - Amazon OpenSearch Service

Detecção de anomalias no Amazon OpenSearch Service

O recurso de detecção de anomalias no Amazon OpenSearch Service detecta automaticamente anomalias em seus dados do OpenSearch em tempo quase real usando o algoritmo RCF (Random Cut Forest). O RCF é um algoritmo de machine learning não supervisionado que modela um esboço do fluxo de dados de entrada. O algoritmo calcula um valor de anomaly grade e confidence score para cada ponto de dados de entrada. A detecção de anomalias usa esses valores para diferenciar uma anomalia de variações normais nos dados.

Você pode emparelhar o plug-in de detecção de anomalias com o Plug-in de geração de alertas para receber uma notificação assim que for detectada uma anomalia.

A detecção de anomalias está disponível em domínios que executam qualquer versão do OpenSearch ou Elasticsearch 7.4 ou posterior. Todos os tipos de instâncias oferecem suporte à detecção de anomalias, exceto t2.micro e t2.small.

nota

Esta documentação fornece uma breve visão geral da detecção de anomalias no contexto do Amazon OpenSearch Service. Para obter uma documentação abrangente, incluindo etapas detalhadas, uma referência de API, uma referência de todas as configurações disponíveis e etapas para criar visualizações e painéis, consulte Detecção de anomalias na documentação de código aberto do OpenSearch.

Pré-requisitos

A detecção de anomalias apresenta os seguintes pré-requisitos:

  • A detecção de anomalias requer o OpenSearch ou Elasticsearch 7.4 ou posterior.

  • A detecção de anomalias só oferece suporte ao controle de acesso refinado no Elasticsearch versões 7.9 e posteriores e em todas as versões do OpenSearch. Antes do Elasticsearch 7.9, somente usuários administradores podiam criar, visualizar e gerenciar detectores.

  • Se seu domínio usa o controle de acesso refinado, os usuários não administradores deverão ser mapeados na função anomaly_read_access no OpenSearch Dashboards para poder visualizar detectores ou na função anomaly_full_access para poder criar e gerenciar detectores.

Conceitos básicos da detecção de anomalias

Para começar a usar, escolha Anomaly Detection (Detecção de anomalias) no OpenSearch Dashboards.

Etapa 1: Criar um detector

Um detector é uma tarefa individual de detecção de anomalias. Você pode criar vários detectores, e todos os detectores podem ser executados simultaneamente, com cada um efetuando análises de dados de diferentes fontes.

Etapa 2: Adicionar recursos ao detector

Um recurso é o campo no índice que você verifica em busca de anomalias. Um detector pode descobrir anomalias em um ou mais recursos. Você deve escolher uma das agregações a seguir para cada recurso: average(), sum(), count(), min() ou max().

nota

O método de agregação count() só está disponível no OpenSearch e no Elasticsearch 7.7 ou posterior. Para o Elasticsearch 7.4, use uma expressão personalizada como a seguinte:

{
  "aggregation_name": {
     "value_count": {
        "field": "field_name"
     }
  }
}

O método de agregação determina o que constitui uma anomalia. Por exemplo, se você escolher min(), o detector se concentrará em encontrar anomalias com base nos valores mínimos de seu recurso. Se você escolher average(), o detector encontrará anomalias com base nos valores médios de seu recurso. Você pode adicionar um máximo de cinco recursos por detector.

Você pode definir as seguintes configurações opcionais (disponíveis no Elasticsearch 7.7 e posterior):

  • Category (Categoria): categorize ou corte seus dados com uma dimensão como endereço IP, ID do produto, código do país e assim por diante.

  • Window size (Tamanho da janela): defina o número de intervalos de agregação do fluxo de dados a considerar em uma janela de detecção.

Depois de configurar seus recursos, visualize anomalias de amostra e ajuste as configurações do recurso, se necessário.

Etapa 3: Observar os resultados

As visualizações a seguir estão disponíveis no painel de detecção de anomalias:

  • Live anomalies (Anomalias em tempo real): exibe os resultados das anomalias em tempo real dos últimos 60 intervalos. Por exemplo, se o intervalo for definido como 10, ele mostra os resultados dos últimos 600 minutos. Esse gráfico é atualizado a cada 30 segundos.

  • Anomaly history (Histórico da anomalia): plota o grau da anomalia com a medida de confiança correspondente.

  • Feature breakdown (Detalhamento de recurso): plota os recursos com base no método de agregação. É possível variar o intervalo de data e hora do detector.

  • Anomaly occurrence (Ocorrência das anomalias) mostra os valores de Start time, End time, Data confidence e Anomaly grade para cada anomalia detectada.

    Se você definir o campo de categoria, verá um gráfico de Mapa de calor adicional que correlaciona resultados para entidades anômalas. Escolha um retângulo preenchido para obter uma visualização mais detalhada da anomalia.

Etapa 4: Configurar alertas

Para criar um monitor para enviar notificações quando qualquer anomalia for detectada, escolha Configurar alertas. O plug-in redireciona você para a página Add monitor (Adicionar monitor), onde você pode configurar um alerta.