Visualización de resultados de supervisión - Amazon Forecast

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Visualización de resultados de supervisión

Después de generar una previsión y, a continuación, importar más datos, podrá ver los resultados de la supervisión de predictores. Puede ver una visualización de los resultados con la consola Forecast o puede recuperar los resultados mediante programación con la operación ListMonitorEvaluations.

La consola de Forecast muestra gráficos de los resultados de cada métrica del predictor. Los gráficos incluyen cómo ha cambiado cada métrica a lo largo de la vida del predictor y de los eventos del predictor, como el reentrenamiento.

La operación ListMonitorEvaluations devuelve los resultados de las métricas y los eventos del predictor para distintos períodos de tiempo.

Console
Para ver los resultados de la supervisión de predictores:

  1. Inicie sesión en la AWS Management Console y abra la consola de Amazon Forecast en https://console.aws.amazon.com/forecast/.

  2. En Grupos de conjuntos de datos, elija su grupo de conjuntos de datos.

  3. En el panel de navegación, elija Predictores.

  4. Seleccione el predictor y elija la pestaña la pestaña Supervisión.

    • La sección Resultados de supervisión muestra cómo han cambiado las diferentes métricas de precisión a lo largo del tiempo. Utilice la lista desplegable para cambiar la métrica que realiza seguimiento del gráfico.

    • La sección Historial de supervisión muestra los detalles de los diferentes eventos rastreados en los resultados.

    A continuación se muestra un ejemplo de un gráfico que muestra cómo ha cambiado la puntuación Avg wQL de un predictor a lo largo del tiempo. En este gráfico, observe que el valor de Avg wQL aumenta con el tiempo. Este aumento indica que la precisión del predictor está disminuyendo. Utilice esta información para determinar si necesita revalidar el modelo y tomar medidas.

SDK for Python (Boto3)

Para obtener resultados de supervisión con el SDK para Python (Boto3), use el método list_monitor_evaluations. Proporcione el nombre de recurso de Amazon (ARN) del monitor y, de forma opcional, especifique el número máximo de resultados que desea recuperar con el parámetro MaxResults. Si lo desea, especifique un Filter para filtrar los resultados. Puede filtrar las evaluaciones por un EvaluationState de SUCCESS o FAILURE: El siguiente código permite obtener un máximo de 20 evaluaciones de supervisión correctas. 

import boto3
                            
forecast = boto3.client('forecast')

monitor_results = forecast.list_monitor_evaluations(
    MonitorArn = 'monitor_arn',
    MaxResults = 20,
    Filters = [ 
      { 
         "Condition": "IS",
         "Key": "EvaluationState",
         "Value": "SUCCESS"
      }
   ]
)
print(monitor_results)

A continuación, se muestra un ejemplo de respuesta JSON. 


{
  "NextToken": "string",
  "PredictorMonitorEvaluations": [
    {
      "MonitorArn": "MonitorARN",
      "ResourceArn": "PredictorARN",
      "EvaluationTime": "2020-01-02T00:00:00Z",
      "EvaluationState": "SUCCESS",
      "WindowStartDatetime": "2019-01-01T00:00:00Z",
      "WindowEndDatetime": "2019-01-03T00:00:00Z",
      "PredictorEvent": {
        "Detail": "Retrain",
        "Datetime": "2020-01-01T00:00:00Z"
      },
      "MonitorDataSource": {
        "DatasetImportJobArn": "arn:aws:forecast:region:accountNumber:dataset-import-job/*",
        "ForecastArn": "arn:aws:forecast:region:accountNumber:forecast/*",
        "PredictorArn": "arn:aws:forecast:region:accountNumber:predictor/*",
      
      },
      "MetricResults": [
        {
          "MetricName": "AverageWeightedQuantileLoss",
          "MetricValue": 0.17009070456599376
        },
        {
          "MetricName": "MAPE",
          "MetricValue": 0.250711322309796
        },
        {
          "MetricName": "MASE",
          "MetricValue": 1.6275608734888485
        },
        {
          "MetricName": "RMSE",
          "MetricValue": 3100.7125081405547
        },
        {
          "MetricName": "WAPE",
          "MetricValue": 0.17101159704738722}
      ]
    }
  ]
}