Visualizar resultados de monitoramento - Amazon Forecast

O Amazon Forecast não está mais disponível para novos clientes. Os clientes existentes do Amazon Forecast podem continuar usando o serviço normalmente. Saiba mais

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Visualizar resultados de monitoramento

Depois de gerar uma previsão e importar mais dados, você pode visualizar os resultados do monitoramento do preditor. Você pode ver uma visualização dos resultados com o console Forecast ou pode recuperar os resultados de forma programática com a operação. ListMonitorEvaluations

O console Forecast exibe gráficos de resultados para cada métrica preditora. Os gráficos incluem como cada métrica mudou ao longo da vida útil do seu preditor e dos eventos preditores, como o retreinamento.

A ListMonitorEvaluations operação retorna resultados métricos e eventos preditores para diferentes janelas de tempo.

Console
Para visualizar os resultados do monitoramento do preditor

  1. Faça login no AWS Management Console e abra o console do Amazon Pinpoint em https://console.aws.amazon.com/pinpoint/.

  2. Em Grupos de conjuntos de dados, escolha seu grupo de conjuntos de dados.

  3. No painel de navegação, selecione Predictors.

  4. Escolha o preditor e escolha a guia Monitoramento.

    • A seção Resultados do monitoramento mostra como as diferentes métricas de precisão mudaram ao longo do tempo. Use a lista suspensa para alterar a métrica que o gráfico rastreia.

    • A seção Histórico de monitoramento lista os detalhes dos diferentes eventos rastreados nos resultados.

    Veja a seguir um exemplo de um gráfico de como a Avg wQL pontuação de um preditor mudou ao longo do tempo. Neste gráfico, observe que o Avg wQL valor está aumentando com o tempo. Esse aumento indica que a precisão do preditor está diminuindo. Use essas informações para determinar se você precisa revalidar o modelo e agir.

    Graph showing increasing Avg wQL score over time, indicating decreasing predictor accuracy.
SDK for Python (Boto3)

Para obter resultados de monitoramento com o SDK para Python (Boto3), use o método. list_monitor_evaluations Forneça o nome de recurso da Amazon (ARN) do monitor e, opcionalmente, especifique o número máximo de resultados a serem recuperados com o parâmetro. MaxResults Opcionalmente, especifique um Filter para filtrar os resultados. Você pode filtrar as avaliações por EvaluationState um SUCCESS ouFAILURE. O código a seguir obtém no máximo 20 avaliações de monitoramento bem-sucedidas. 

import boto3
                            
forecast = boto3.client('forecast')

monitor_results = forecast.list_monitor_evaluations(
    MonitorArn = 'monitor_arn',
    MaxResults = 20,
    Filters = [ 
      { 
         "Condition": "IS",
         "Key": "EvaluationState",
         "Value": "SUCCESS"
      }
   ]
)
print(monitor_results)

O seguinte é um exemplo de resposta do JSON. 


{
  "NextToken": "string",
  "PredictorMonitorEvaluations": [
    {
      "MonitorArn": "MonitorARN",
      "ResourceArn": "PredictorARN",
      "EvaluationTime": "2020-01-02T00:00:00Z",
      "EvaluationState": "SUCCESS",
      "WindowStartDatetime": "2019-01-01T00:00:00Z",
      "WindowEndDatetime": "2019-01-03T00:00:00Z",
      "PredictorEvent": {
        "Detail": "Retrain",
        "Datetime": "2020-01-01T00:00:00Z"
      },
      "MonitorDataSource": {
        "DatasetImportJobArn": "arn:aws:forecast:region:accountNumber:dataset-import-job/*",
        "ForecastArn": "arn:aws:forecast:region:accountNumber:forecast/*",
        "PredictorArn": "arn:aws:forecast:region:accountNumber:predictor/*",
      
      },
      "MetricResults": [
        {
          "MetricName": "AverageWeightedQuantileLoss",
          "MetricValue": 0.17009070456599376
        },
        {
          "MetricName": "MAPE",
          "MetricValue": 0.250711322309796
        },
        {
          "MetricName": "MASE",
          "MetricValue": 1.6275608734888485
        },
        {
          "MetricName": "RMSE",
          "MetricValue": 3100.7125081405547
        },
        {
          "MetricName": "WAPE",
          "MetricValue": 0.17101159704738722}
      ]
    }
  ]
}