모니터링 결과 보기 - Amazon Forecast

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

모니터링 결과 보기

예측을 생성한 다음 추가 데이터를 가져오면 예측기 모니터링의 결과를 볼 수 있습니다. Forecast 콘솔에서 결과의 시각화를 보거나 ListMonitorEvaluations 작업을 통해 프로그래밍 방식으로 결과를 검색할 수 있습니다.

Forecast 콘솔은 각 예측기 지표의 결과 그래프를 표시합니다. 그래프에는 예측기와 예측기 이벤트(예: 재훈련)의 수명 주기 동안 각 지표가 어떻게 변했는지가 포함됩니다.

ListMonitorEvaluations 작업은 다양한 기간의 지표 결과와 예측기 이벤트를 반환합니다.

Console
예측기 모니터링 결과를 보려면

  1. AWS Management Console에 로그인하고 https://console.aws.amazon.com/forecast/에서 Amazon Forecast 콘솔을 엽니다.

  2. 데이터 세트 그룹에서 데이터 세트 그룹을 선택합니다.

  3. 탐색 창에서 예측기를 선택합니다.

  4. 예측기를 선택하고 모니터링 탭을 선택합니다.

    • 모니터링 결과 섹션은 시간 경과에 따른 다양한 정확도 지표가 어떻게 변했는지 보여줍니다. 드롭다운 목록을 사용하여 그래프가 추적하는 지표를 변경할 수 있습니다.

    • 모니터링 기록 섹션에는 결과에서 추적된 다양한 이벤트의 세부 정보가 나열됩니다.

    다음은 시간 경과에 따른 예측기 Avg wQL 점수의 변화를 보여주는 그래프의 예입니다. 이 그래프에서 Avg wQL 값이 시간이 지남에 따라 증가하고 있음을 알 수 있습니다. 이 증가는 예측기 정확도가 감소하고 있음을 나타냅니다. 이 정보를 사용하여 모델을 재검증하고 조치를 취해야 하는지 여부를 결정하세요.

SDK for Python (Boto3)

SDK for Python(Boto3)을 사용하여 모니터링 결과를 가져오려면 list_monitor_evaluations 메서드를 사용합니다. 모니터의 Amazon 리소스 이름(ARN)을 제공하고, 선택적으로 MaxResults 파라미터로 검색할 최대 결과 수를 지정합니다. 선택적으로 Filter를 지정하여 결과를 필터링할 수 있습니다. SUCCESS 또는 FAILURE의 EvaluationState를 기준으로 평가를 필터링할 수 있습니다. 다음 코드는 최대 20개의 성공적 모니터링 평가를 가져옵니다.

import boto3
                            
forecast = boto3.client('forecast')

monitor_results = forecast.list_monitor_evaluations(
    MonitorArn = 'monitor_arn',
    MaxResults = 20,
    Filters = [ 
      { 
         "Condition": "IS",
         "Key": "EvaluationState",
         "Value": "SUCCESS"
      }
   ]
)
print(monitor_results)

다음은 JSON 응답의 예입니다.


{
  "NextToken": "string",
  "PredictorMonitorEvaluations": [
    {
      "MonitorArn": "MonitorARN",
      "ResourceArn": "PredictorARN",
      "EvaluationTime": "2020-01-02T00:00:00Z",
      "EvaluationState": "SUCCESS",
      "WindowStartDatetime": "2019-01-01T00:00:00Z",
      "WindowEndDatetime": "2019-01-03T00:00:00Z",
      "PredictorEvent": {
        "Detail": "Retrain",
        "Datetime": "2020-01-01T00:00:00Z"
      },
      "MonitorDataSource": {
        "DatasetImportJobArn": "arn:aws:forecast:region:accountNumber:dataset-import-job/*",
        "ForecastArn": "arn:aws:forecast:region:accountNumber:forecast/*",
        "PredictorArn": "arn:aws:forecast:region:accountNumber:predictor/*",
      
      },
      "MetricResults": [
        {
          "MetricName": "AverageWeightedQuantileLoss",
          "MetricValue": 0.17009070456599376
        },
        {
          "MetricName": "MAPE",
          "MetricValue": 0.250711322309796
        },
        {
          "MetricName": "MASE",
          "MetricValue": 1.6275608734888485
        },
        {
          "MetricName": "RMSE",
          "MetricValue": 3100.7125081405547
        },
        {
          "MetricName": "WAPE",
          "MetricValue": 0.17101159704738722}
      ]
    }
  ]
}