Amazon OpenSearch Service의 이상 탐지 - Amazon OpenSearch 서비스

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon OpenSearch Service의 이상 탐지

Amazon OpenSearch Service의 이상 탐지 기능은 Random Cut Forest(RCF) 알고리즘을 사용하여 거의 실시간으로 OpenSearch 데이터에서 이상을 자동으로 탐지합니다. RCF는 수신 데이터 스트림의 스케치를 모델링하는 비지도 기계 학습 알고리즘입니다. 알고리즘은 수신 데이터 포인트마다 anomaly grade 및 confidence score 값을 계산합니다. 이상 탐지는 이러한 값을 사용하여 데이터의 정상적인 변이와 이상을 구분합니다.

알림 플러그인과 이상 탐지 플러그인과 페어링하여 이상이 탐지되는 즉시 알림을 받을 수 있습니다.

이상 탐지는 모든 OpenSearch 버전 또는 Elasticsearch 7.4 이상을 실행하는 도메인에서 사용할 수 있습니다. t2.micro 및 t2.small을 제외한 모든 인스턴스 유형이 이상 탐지를 지원합니다.

참고

이 설명서에서는 Amazon OpenSearch Service의 컨텍스트에서 이상 탐지에 대한 간략한 개요를 제공합니다. 세부 단계, API 참조, 사용 가능한 모든 설정 참조, 시각화 및 대시보드를 생성하는 단계를 포함한 포괄적인 설명서는 오픈 소스 OpenSearch 설명서의 Anomaly detection을 참조하세요.

사전 조건

이상 탐지의 사전 조건은 다음과 같습니다.

  • 이상 탐지에는 OpenSearch 또는 Elasticsearch 7.4 이상이 필요합니다.

  • 이상 탐지는 Elasticsearch 버전 7.9 이상 및 OpenSearch의 모든 버전에서만 세분화된 액세스 제어를 지원합니다. Elasticsearch 7.9 이전 버전의 경우 관리자만 탐지기를 생성, 확인 및 관리할 수 있습니다.

  • 도메인에서 세분화된 액세스 제어를 사용하는 경우 관리자가 아닌 사용자는 OpenSearch Dashboards에서 anomaly_read_access 역할에 매핑되어 탐지기를 보거나 anomaly_full_access에 매핑되어 탐지기를 생성하고 관리할 수 있습니다.

이상 탐지 시작하기

시작하려면 OpenSearch Dashboards에서 이상 탐지(Anomaly Detection)를 선택합니다.

1단계: 탐지기 생성

탐지기는 개별 이상 탐지 태스크입니다. 여러 탐지기를 생성할 수 있으며, 모든 탐지기가 서로 다른 소스의 각 분석 데이터에 대해 동시에 실행할 수 있습니다.

2단계: 탐지기에 기능 추가

기능은 이상이 있는지 확인하는 인덱스 필드입니다. 탐지기는 하나 이상의 기능에서 이상을 검색할 수 있습니다. 각 기능(average(), sum(), count(), min() 또는 max())에 대해 다음 집계 중 하나를 선택해야 합니다.

참고

이 count() 집계 방법은 OpenSearch 및 Elasticsearch 7.7 이상에서만 사용할 수 있습니다. Elasticsearch 7.4의 경우 다음과 같은 사용자 지정 표현식을 사용합니다.

{
  "aggregation_name": {
     "value_count": {
        "field": "field_name"
     }
  }
}

집계 방법에 따라 이상을 구성하는 요소가 결정됩니다. 예를 들어, min()을 선택한 경우 탐지기는 기능의 최소값을 기준으로 이상을 찾는 데 초점을 맞춥니다. average()를 선택하면 탐지기가 기능의 평균값을 기준으로 이상을 찾습니다. 탐지기당 최대 5개의 기능을 추가할 수 있습니다.

다음과 같은 선택적 설정을 구성할 수 있습니다(Elasticsearch 7.7 이상에서 사용 가능).

  • 범주 필드 - IP 주소, 제품 ID, 국가 코드 등과 같은 차원으로 데이터를 분류하거나 분할할 수 있습니다.

  • 창 크기 - 검색 창에서 고려할 데이터 스트림의 집계 간격 수를 설정합니다.

기능을 설정한 후 샘플 이상을 미리 보고 필요한 경우 기능 설정을 조정합니다.

3단계: 결과 관찰

이상 탐지 대시보드에서 다음 시각화를 사용할 수 있습니다.

  • 라이브 이상(Live anomalies) - 지난 60개 간격 동안의 라이브 이상 결과를 표시합니다. 예를 들어, 간격이 10으로 설정된 경우 지난 600분 동안의 결과를 표시합니다. 이 차트는 30초마다 새로 고쳐집니다.

  • 이상 기록(Anomaly history) - 해당 신뢰도 척도와 함께 이상 등급을 플롯합니다.

  • 기능 분석(Feature breakdown) - 집계 방법을 기준으로 기능을 플롯합니다. 탐지기의 날짜-시간 범위를 변경할 수 있습니다.

  • 이상 발생(Anomaly occurrence) - 탐지된 각 이상에 대한 Start time, End time, Data confidence 및 Anomaly grade이 표시됩니다.

    범주 필드를 설정하면 추가 열 지도 차트에서 비정상적인 항목에 대한 결과의 상관관계를 분석합니다. 채워진 직사각형을 선택하면 이상에 대해 세부적으로 볼 수 있습니다.

4단계: 알림 설정

이상이 탐지될 때 알림을 보낼 모니터를 생성하려면 알림 설정(Set up alert)을 선택합니다. 플러그인은 알림을 구성할 수 있는 모니터 추가 페이지로 리디렉션합니다.