Pipelines do CloudWatch
O CloudWatch Pipelines é um coletor de dados totalmente gerenciado que ingere, transforma e encaminha dados de telemetria, incluindo dados e métricas, dos serviços da AWS, aplicações de terceiros e fontes personalizadas para o CloudWatch. Os processadores integrados permitem enriquecer, filtrar e padronizar logs em formatos como OCSF, sem gerenciar a infraestrutura ou ferramentas de terceiros. Para métricas, os pipelines do CloudWatch processam e enriquecem as métricas do OpenTelemetry (OTel) em linha durante a ingestão no CloudWatch.
Os pipelines do CloudWatch são totalmente integrados à experiência de gerenciamento de logs, permitindo que você processe e enriqueça consistentemente os dados de logs em grupos de logs relacionados por meio da especificação da fonte de dados e do tipo de dados. Isso desbloqueia casos de uso como:
-
Categorização automática de logs: os logs processados por meio de pipelines são automaticamente marcados com tags com as informações da fonte de dados, permitindo a descoberta e a consulta centradas no serviço em toda a sua infraestrutura
-
Expansão do suporte de terceiros: agregue e normalize logs de uma biblioteca crescente de fontes terceirizadas para análise e conformidade unificadas
Para as métricas, os pipelines do CloudWatch habilitam os casos de uso a seguir:
-
Enriquecimento — adicione contexto de negócios, como equipe, centro de custos ou ambiente, às métricas de fontes que você não pode modificar
-
Otimização de custos — elimine atributos de alta cardinalidade para reduzir os custos de armazenamento
-
Padronização — renomeie métricas e atributos para impor convenções de nomenclatura
A saída dos pipelines é totalmente compatível com os atributos do CloudWatch Logs, incluindo consultas do Logs Insights, detecção de anomalias de logs e Live Tail. Os pipelines do CloudWatch funcionam com as classes de log de acesso padrão e infrequente e são compatíveis com versões anteriores de transformadores de logs.
Para pipelines de métricas, as métricas processadas podem ser totalmente consultadas através do PromQL no Query Studio e são compatíveis com os alarmes e a detecção de anomalias do CloudWatch.
Para começar a usar os pipelines do CloudWatch, acesse os pipelines na página de ingestão do CloudWatch
nota
Tenha em mente estes limites que se aplicam aos pipelines do CloudWatch
-
Pipelines de logs por conta: 330
-
Até 300 pipelines para coletar dados do CloudWatch Logs
-
Até 30 pipelines para coletar dados de outras fontes
-
-
Pipelines de métricas por conta: até 300
-
Até 20 processadores por pipeline (logs e métricas)
-
Caminho de ingestão compatível com pipelines de métricas: somente OTLP
Componentes do pipeline
Cada pipeline consiste nos componentes a seguir:
-
Fonte: define a origem dos dados (buckets do Amazon S3, CloudWatch Logs, CloudWatch Metrics (OTel), integração de terceiros). Cada pipeline deve ter exatamente uma origem. Os pipelines de métricas processam as métricas do OTel no caminho de ingestão do OTLP.
-
Processadores (opcional) – transformam, analisam e enriquecem os dados de telemetria à medida que fluem pelo pipeline. Os processadores são aplicados sequencialmente na ordem em que são definidos. Os pipelines de métricas oferecem suporte a um conjunto distinto de processadores otimizados para os atributos de métrica do OTel.
-
Coletor – define o destino para onde os dados processados são enviados. Os tipos de coletor compatíveis incluem
cloudwatch_logsecloudwatch_metrics. Cada pipeline deve ter exatamente um coletor. -
Extensões (opcional): fornecem funcionalidades adicionais, como integração com o AWS Secrets Manager para gerenciamento de credenciais.
Em todo o pipeline, seus dados permanecem protegidos com a criptografia de camada de transporte, de modo que os requisitos de segurança e conformidade sejam atendidos.
nota
As definições de pipeline não são criptografadas com chaves fornecidas pelo cliente e nunca devem incluir dados sensíveis, como senhas, chaves de API ou informações de identificação pessoal (PII).
nota
A adição de processado resulta na mutação dos eventos de logs, e os logs originais (brutos) não são retidos.
Preços
Os pipelines do CloudWatch estão incluídos no CloudWatch Logs sem custo adicional. As taxas padrão de ingestão de logs com base na classe de log (fornecido ou personalizado) e na classe de armazenamento (acesso padrão ou infrequente) ainda se aplicam. A medição ocorre no momento da primeira ingestão no CloudWatch. As fontes do CloudWatch Logs são medidas antes do processamento do pipeline. Fontes de terceiros e de buckets do S3 são classificadas como logs personalizados e medidas após o processamento. Para obter detalhes sobre a definição de preços, consulte Definição de preços do CloudWatch
Para pipelines de métricas, aplicam-se taxas padrão de ingestão e armazenamento de métricas do CloudWatch OTel. Não há custo adicional para o processamento de pipeline.
Disponibilidade de regiões
Os pipelines do CloudWatch estão disponíveis nas regiões da AWS a seguir:
-
Leste dos EUA (Norte da Virgínia)
-
Leste dos EUA (Ohio)
-
Oeste dos EUA (N. da Califórnia)
-
Oeste dos EUA (Oregon)
-
África (Cidade do Cabo)
-
Ásia-Pacífico (Hong Kong)
-
Ásia-Pacífico (Hyderabad)
-
Ásia-Pacífico (Jacarta)
-
Ásia-Pacífico (Malásia)
-
Ásia-Pacífico (Melbourne)
-
Ásia-Pacífico (Mumbai)
-
Ásia-Pacífico (Nova Zelândia)
-
Ásia-Pacífico (Osaka)
-
Ásia-Pacífico (Seul)
-
Ásia-Pacífico (Singapura)
-
Ásia-Pacífico (Sydney)
-
Ásia-Pacífico (Taipei)
-
Ásia-Pacífico (Tailândia)
-
Ásia-Pacífico (Tóquio)
-
Canadá (Central)
-
Oeste do Canadá (Calgary)
-
Europa (Frankfurt)
-
Europa (Irlanda)
-
Europa (Londres)
-
Europa (Milão)
-
Europa (Paris)
-
Europa (Espanha)
-
Europa (Estocolmo)
-
Europa (Zurique)
-
Israel (Tel Aviv)
-
México (Centro)
-
América do Sul (São Paulo)
nota
A coleta de fontes de dados de terceiros está disponível em regiões onde o OpenSearch Ingestion tem endpoints de API.
Para obter mais detalhes, consulte Endpoints e cotas do Amazon CloudWatch na Referência geral da AWS.
