Registrar em log o desempenho do Amazon EventBridge Pipes - Amazon EventBridge
Como funciona o registro em log do pipeComo especificar o nível do logComo incluir dados de execução nos logsRelatório de erros em registros de log

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Registrar em log o desempenho do Amazon EventBridge Pipes

O registro do EventBridge Pipes permite que você faça com que o EventBridge Pipes envie registros detalhando o desempenho do pipe para os serviços compatíveis da AWS. Use logs para obter informações sobre o desempenho de execução do seu pipe e para ajudar na solução de problemas e na depuração.

É possível selecionar os seguintes serviços da AWS como destinos de log para os quais o EventBridge Pipes entrega registros:

  • CloudWatch Logs

    O EventBridge entrega registros de log ao grupo de logs do CloudWatch Logs especificado.

    O CloudWatch Logs permite centralizar os logs de todos os sistemas, aplicações e produtos da AWS usados em um único serviço altamente escalável. Para obter mais informações, consulte Trabalhar com grupos de logs e fluxos de logs no Guia do usuário do Amazon CloudWatch Logs.

  • logs de fluxo do Firehose

    O EventBridge entrega registros de log para um fluxo de entrega do Firehose.

    O Amazon Data Firehose é um serviço totalmente gerenciado para entrega de dados de streaming em tempo real a destinos, como determinados serviços da AWS, bem como endpoints HTTP personalizados ou endpoints HTTP personalizados de propriedade de provedores de serviços terceirizados compatíveis. Para obter mais informações, consulte Creating an Amazon Data Firehose delivery stream no Guia do desenvolvedor do Amazon Data Firehose.

  • Logs do Amazon S3

    O EventBridge entrega registros de log como objetos do Amazon S3 para o bucket especificado.

    O Amazon S3 é um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor. Para obter mais informações, consulte Fazer upload, baixar e trabalhar com objetos no Amazon S3 no Manual do usuário do Amazon Simple Storage Service.

Como o registro em log do Amazon EventBridge Pipes funciona

Uma execução de pipe é um evento ou lote de eventos recebidos por um pipe que viaja até um enriquecimento e/ou destino. Se ativado, o EventBridge gera um registro de log para cada etapa de execução que executa à medida que o lote de eventos é processado. As informações contidas no registro se aplicam ao lote de eventos, seja ele um único evento ou até 10 mil eventos.

Também é possível configurar o tamanho do lote de eventos na origem e no destino do pipe. Para ter mais informações, consulte Processamento de lotes e simultaneidade do Amazon EventBridge Pipes.

Os dados de registro enviados para cada destino de registro são os mesmos.

Se um destino do Amazon CloudWatch Logs estiver configurado, os registros de log entregues a todos os destinos terão um limite de 256 kb. Os campos serão truncados conforme necessário.

Também é possível personalizar os registros que o EventBridge envia para os destinos de log selecionados da seguinte forma:

  • É possível especificar o nível do log, que determina as etapas de execução para as quais o EventBridge envia registros para os destinos de log selecionados. Para ter mais informações, consulte Como especificar o nível de logs do EventBridge Pipes.

  • É possível especificar se o EventBridge Pipes inclui dados de execução nos registros das etapas de execução quando relevantes. Esses dados incluem:

    • A carga útil do lote de eventos

    • A solicitação enviada ao serviço de enriquecimento ou de destino da AWS

    • A resposta retornada pelo serviço de enriquecimento AWS ou de destino

    Para ter mais informações, consulte Como incluir dados de execução nos logs do EventBridge Pipes.

Como especificar o nível de logs do EventBridge Pipes

É possível especificar os tipos de etapas de execução para as quais o EventBridge envia registros para os destinos de log selecionados.

Escolha entre os níveis de detalhe a seguir para incluir nos registros de log. O nível de log se aplica a todos os destinos de log especificados para o pipe. Cada nível de log inclui as etapas de execução dos níveis de log anteriores.

  • DESLIGADO: o EventBridge não envia nenhum registro para nenhum destino de log especificado. Essa é a configuração padrão.

  • ERRO: o EventBridge envia todos os registros relacionados aos erros gerados durante a execução do pipe para os destinos de log especificados.

  • INFORMAÇÃO: o EventBridge envia todos os registros relacionados a erros, bem como seleciona outras etapas realizadas durante a execução do pipe para os destinos de log especificados.

  • RASTREAR: o EventBridge envia todos os registros gerados durante a execução do pipe para os destinos de log especificados.

No console do EventBridge, os logs do CloudWatch são selecionados como destino de log por padrão, assim como o nível de log de ERROR. Então, por padrão, o EventBridge Pipes cria um novo grupo de logs do CloudWatch para o qual envia registros de log contendo o nível de detalhe ERROR. Nenhum padrão é selecionado ao configurar os logs programaticamente.

A tabela a seguir lista as etapas de execução inclusas em cada nível do log.

Etapa RASTREAR INFO ERRO DESL.

Falha na execução

 x x x

Execução com falha parcial

 x x x

Execução iniciada

 x x

Execução bem-sucedida

 x x

Execução limitada

 x x x

Tempo limite de execução

 x x x

Invocação de enriquecimento com falha

 x x x

Invocação de enriquecimento ignorada

 x x

Invocação de enriquecimento iniciada

 x

Invocação de enriquecimento com êxito

 x

Fase de enriquecimento iniciada

 x x

Fase de enriquecimento com falha

 x x x

Estágio de enriquecimento com êxito

 x x

Transformação de enriquecimento com falha

 x x x

Transformação de enriquecimento iniciada

 x

Transformação do enriquecimento com êxito

 x

Invocação de destino com falha

 x x x

Invocação de destino com falha parcial

 x x x

Invocação do destino ignorada

 x

Invocação do destino iniciada

 x

Invocação do destino com êxito

 x

Estágio de destino inserido

 x x

Estágio de destino com falha

 x x x

Falha parcial do estágio de destino

 x x x

Estágio de destino ignorado

 x

Estágio de destino com êxito

 x x

Falha na transformação do alvo

 x x x

Transformação de destino iniciada

 x

Transformação do destino com êxito

 x

Como incluir dados de execução nos logs do EventBridge Pipes

É possível especificar que o EventBridge inclua dados de execução nos registros que ele gera. Os dados de execução incluem campos que representam a carga útil do lote de eventos, bem como a solicitação enviada e a resposta do enriquecimento e do destino.

Os dados de execução são úteis para solução de problemas e depuração. O campo payload contém o conteúdo real de cada evento incluído no lote, permitindo que você correlacione eventos individuais a uma execução de pipe específica.

Se optar por incluir dados de execução, eles serão incluídos em todos os destinos de log especificados para o pipe.

Importante

Estes campos podem conter informações confidenciais. O EventBridge não faz nenhuma tentativa de redigir o conteúdo desses campos durante o registro em log.

Ao incluir dados de execução, o EventBridge adiciona os seguintes campos aos registros relevantes:

  • payload

    Representa o conteúdo do lote de eventos que está sendo processado pelo pipe.

    O EventBridge inclui o campo payload nos registros gerados nas etapas em que o conteúdo do lote de eventos pode ter sido atualizado. Isto inclui as seguintes etapas:

    • EXECUTION_STARTED

    • ENRICHMENT_TRANSFORMATION_SUCCEEDED

    • ENRICHMENT_STAGE_SUCCEEDED

    • TARGET_TRANSFORMATION_SUCCEEDED

    • TARGET_STAGE_SUCCEEDED

  • awsRequest

    Representa a solicitação enviada ao enriquecimento ou ao destino como uma string JSON. Para solicitações enviadas para um destino de API, isto representa a solicitação HTTP enviada para esse endpoint.

    O EventBridge inclui o awsRequest campo nos registros gerados nas etapas finais de enriquecimento e direcionamento; ou seja, depois que o EventBridge executou ou tentou executar a solicitação no serviço de enriquecimento ou destino especificado. Isto inclui as seguintes etapas:

    • ENRICHMENT_INVOCATION_FAILED

    • ENRICHMENT_INVOCATION_SUCCEEDED

    • TARGET_INVOCATION_FAILED

    • TARGET_INVOCATION_PARTIALLY_FAILED

    • TARGET_INVOCATION_SUCCEEDED

  • awsResponse

    Representa a resposta retornada pelo enriquecimento ou destino, no formato JSON. Para solicitações enviadas para um destino de API, isto representa a resposta HTTP retornada desse endpoint.

    Assim como em awsRequest, o EventBridge inclui o campo awsResponse nos registros gerados nas etapas finais de enriquecimento e direcionamento; ou seja, depois que o EventBridge executou ou tentou executar uma solicitação no serviço de enriquecimento ou destino especificado e recebeu uma resposta. Isto inclui as seguintes etapas:

    • ENRICHMENT_INVOCATION_FAILED

    • ENRICHMENT_INVOCATION_SUCCEEDED

    • TARGET_INVOCATION_FAILED

    • TARGET_INVOCATION_PARTIALLY_FAILED

    • TARGET_INVOCATION_SUCCEEDED

Para uma discussão sobre as etapas de execução do pipe, consulte Etapas de execução do EventBridge Pipes.

Truncar dados de execução nos registros de log do EventBridge Pipes

Se optar por fazer com que o EventBridge inclua dados de execução nos registros de log de um pipe, existe a possibilidade de que um registro exceda o limite de tamanho de 256 KB. Para evitar isso, o EventBridge trunca automaticamente os campos de dados de execução, na seguinte ordem. O EventBridge trunca cada campo inteiramente antes de prosseguir para truncar o próximo campo. O EventBridge trunca os dados do campo simplesmente removendo caracteres do final da sequência de dados; nenhuma tentativa é feita para truncar com base na importância dos dados, e o truncamento invalidará a formatação JSON.

  • payload

  • awsRequest

  • awsResponse

Se o EventBridge truncar campos no evento, o campo truncatedFields incluirá uma lista dos campos de dados truncados.

Relatório de erros nos registros de log do EventBridge Pipes

O EventBridge também inclui dados de erro, quando disponíveis, nas etapas de execução do pipe que representam estados de falha. Essas etapas incluem:

  • ExecutionThrottled

  • ExecutionTimeout

  • ExecutionFailed

  • ExecutionPartiallyFailed

  • EnrichmentTransformationFailed

  • EnrichmentInvocationFailed

  • EnrichmentStageFailed

  • TargetTransformationFailed

  • TargetInvocationFailed

  • TargetInvocationPartiallyFailed

  • TargetStageFailed

  • TargetStagePartiallyFailed