Detección de anomalías en Amazon OpenSearch Service - OpenSearch Servicio Amazon

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Detección de anomalías en Amazon OpenSearch Service

La detección de anomalías de Amazon OpenSearch Service detecta automáticamente anomalías en los datos de OpenSearch casi en tiempo real mediante el algoritmo de bosque de corte aleatorio (Random Cut Forest, RCF). RCF es un algoritmo de machine learning no supervisado que modela un esquema del flujo de datos entrante. El algoritmo calcula un anomaly grade y valor confidence score para cada punto de datos entrante. La detección de anomalías utiliza estos valores para diferenciar una anomalía de las variaciones habituales de los datos.

Puede emparejar el complemento de detección de anomalías con el complemento Alertas para recibir una notificación en cuanto se detecte una anomalía.

La detección de anomalías está disponible en dominios que ejecutan cualquier versión de OpenSearch o Elasticsearch 7.4 o posterior. Todos los tipos de instancias admiten la detección de anomalías, excepto t2.micro y t2.small.

nota

Esta documentación proporciona una breve información general de la detección de anomalías en el contexto de Amazon OpenSearch Service. Para obtener la documentación completa, que incluye los pasos detallados, una referencia de la API, una referencia de toda la configuración disponible y pasos para crear visualizaciones y paneles, consulte Anomaly detection en la documentación de código abierto de OpenSearch.

Requisitos previos

La detección de anomalías posee los siguientes requisitos previos:

  • La detección de anomalías requiere OpenSearch o Elasticsearch 7.4 o posterior.

  • La detección de anomalías solo admite el control de acceso detallado en las versiones 7.9 y posteriores de Elasticsearch y en todas las versiones de OpenSearch. En las versiones anteriores a Elasticsearch 7.9, solo los usuarios administradores pueden crear, ver y administrar detectores.

  • Si el dominio utiliza un control de acceso detallado, los usuarios que no son administradores deben estar mapeados al rol anomaly_read_access en OpenSearch Dashboards para ver detectores o al rol anomaly_full_access para crear y administrar detectores.

Introducción a la detección de anomalías

Para empezar, elija Anomaly Detection (Detección de anomalías) en OpenSearch Dashboards.

Paso 1: crear un detector

Un detector es una tarea individual de detección de anomalías. Puede crear varios detectores y todos los detectores se pueden ejecutar simultáneamente; cada uno podrá analizar datos de distintos orígenes.

Paso 2: agregar características a su detector

Una característica es el campo del índice que se verifica para ver si hay anomalías. Un detector puede detectar anomalías en una o varias características. Debe elegir una de las siguientes agrupaciones para cada característica: average(), sum(), count(), min() o max().

nota

El método de suma count() solo está disponible en OpenSearch y Elasticsearch 7.7 o posterior. Para Elasticsearch 7.4, utilice una expresión personalizada como la siguiente:

{
  "aggregation_name": {
     "value_count": {
        "field": "field_name"
     }
  }
}

El método de agrupación determina qué constituye una anomalía. Por ejemplo, si elige min(), el detector se centra en buscar anomalías basadas en los valores mínimos de la característica. Si elige average(), el detector busca anomalías basadas en los valores medios de la característica. Puede agregar un máximo de cinco características por detector.

Puede configurar los siguientes parámetros opcionales (disponibles en Elasticsearch 7.7 y posterior):

  • Category field (Categoría): clasifique o corte los datos con una dimensión como dirección IP, ID del producto, código de país, etc.

  • Window size (Tamaño de ventana): establezca el número de intervalos de suma del flujo de datos que se tendrán en cuenta en una ventana de detección.

Después de configurar las características, obtenga una previsualización de las muestras de anomalías y ajuste la configuración de las características, si es necesario.

Paso 3: observar los resultados

Las siguientes visualizaciones están disponibles en el panel de detección de anomalías:

  • Live anomalies (Anomalías activas): muestra los resultados de anomalías activas de los últimos 60 intervalos. Por ejemplo, si el intervalo se establece en 10, muestra los resultados de los últimos 600 minutos. Este gráfico se actualiza cada 30 segundos.

  • Anomaly history (Historial de anomalías): traza el grado de anomalía con la medida de confianza correspondiente.

  • Feature breakdown (Desglose de características): traza las características según el método de agrupación. Puede variar el rango de fecha y hora del detector.

  • Anomaly occurrence (Ocurrencia de anomalías): muestra los valores Start time, End time, Data confidence y Anomaly grade de cada anomalía detectada.

    Si establece el campo de categoría, verá un grafico Heat map (Mapa térmico) que correlaciona los resultados de entidades anómalas. Seleccione un rectángulo relleno para ver una vista más detallada de la anomalía.

Paso 4: configurar alertas

Para crear un monitor que envíe notificaciones cuando se detectan anomalías, elija Set up alerts (Configurar alertas). El complemento lo redirige a la página Add monitor (Agregar monitor) donde puede configurar una alerta.