Monitoramento dos logs de pipeline

Você pode ativar o registro nos pipelines de OpenSearch ingestão da Amazon para expor mensagens de erro e aviso geradas durante as operações do pipeline e a atividade de ingestão. OpenSearch A ingestão publica todos os registros no Amazon CloudWatch Logs. CloudWatch Os registros podem monitorar as informações nos arquivos de log e notificá-lo quando determinados limites forem atingidos. É possível também arquivar seus dados de log em armazenamento resiliente. Para obter mais informações, consulte o Guia do usuário do Amazon CloudWatch Logs.

Os registros da OpenSearch ingestão podem indicar falhas no processamento de solicitações, erros de autenticação da origem até o coletor e outros avisos que podem ser úteis para a solução de problemas. Para seus registros, a OpenSearch ingestão usa os níveis de registro de INFOWARN,ERROR, e. FATAL Recomendamos habilitar a publicação de logs para todos os pipelines.

Permissões obrigatórias

Para permitir que o OpenSearch Inestion envie registros para o CloudWatch Logs, você precisa estar conectado como um usuário com determinadas permissões do IAM.

Você precisa das seguintes permissões de CloudWatch registros para criar e atualizar os recursos de entrega de registros:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Resource": "*",
            "Action": [
                "logs:CreateLogDelivery",
                "logs:PutResourcePolicy",
                "logs:UpdateLogDelivery",
                "logs:DeleteLogDelivery",
                "logs:DescribeResourcePolicies",
                "logs:GetLogDelivery",
                "logs:ListLogDeliveries"
            ]
        }
    ]
}

Habilitar publicação de logs

Você pode ativar a publicação de logs em pipelines existentes ou ao criar um pipeline. Para ver as etapas para habilitar a publicação de logs durante a criação do pipeline, consulte Como criar pipelines.

aws osis update-pipeline \
  --pipeline-name my-pipeline \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="/aws/vendedlogs/OpenSearchIngestion/pipeline-name"}

aws osis update-pipeline \
  --pipeline-name my-pipeline \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="/aws/vendedlogs/OpenSearchIngestion/pipeline-name"}