Processadores de análise

Os processadores de análise convertem dados de log brutos ou semiestruturados em formatos estruturados. Cada pipeline pode ter no máximo um processador de análise primária, que deve ser o primeiro processador no pipeline. O analisador XML é uma exceção: ele opera em campos produzidos por um analisador primário e no máximo 5 instâncias podem ser adicionadas a um único pipeline.

Processador OCSF

Analisa e transforma os dados de log de acordo com os padrões Open Cybersecurity Schema Framework (OCSF).

Configuração

Configure o processador OCSF com os seguintes parâmetros:

processor:
  - ocsf:
      version: "1.5"
      mapping_version: 1.5.0
      schema:
          microsoft_office365_management_activity:

Esta tabela lista as combinações de esquema compatíveis.

Processador CSV

Analisa dados formatados como CSV para campos estruturados.

Configuração

Configure o processador CSV com os seguintes parâmetros:

processor:
  - csv:      
      column_names: ["col1", "col2", "col3"]
      delimiter: ","
      quote_character: '"'

Para usar o processador sem especificar parâmetros adicionais, use o comando abaixo:

processor:
  - csv: {}

Processador Grok

Analisa dados não estruturados usando padrões Grok. É permitido no máximo 1 Grok por pipeline. Para obter detalhes sobre o transformador Grok no CloudWatch Logs, consulte Processadores que você pode usar no Guia do usuário do CloudWatch Logs.

Configuração

Configure o processador Grok com os seguintes parâmetros:

Quando a fonte de dados é um dicionário, você pode usar esta configuração:

processor:
  - grok:      
      match:
       source_key: ["%{WORD:level} %{GREEDYDATA:msg}"]

Quando a fonte de dados é o CloudWatch Logs, você pode usar esta configuração:

processor:
  - grok:      
      match:
       source_key: ["%{WORD:level} %{GREEDYDATA:msg}"]

Processador de VPC

Converte os dados do VPC Flow Log em campos estruturados.

Configuração

Configure o processador de VPC com os seguintes parâmetros:

processor:
  - parse_vpc: {}
     

Processador JSON

Converte os dados JSON em campos estruturados.

Configuração

Configure o processador JSON com os seguintes parâmetros:

processor:
  - parse_json:
      source: "message"
      destination: "parsed_json"

Processador do Route 53

Converte os dados de log do resolvedor do Route 53 em campos estruturados.

Configuração

Configure o processador do Route 53 com os seguintes parâmetros:

processor:
  - parse_route53: {}
      

Processador do Amazon RDS

Analisa dados de log do Amazon RDS Aurora em campos estruturados. O processador parse_rds é suportado somente quando o data_source_name do pipeline é amazon_rds. Ele aplica a lógica de análise que corresponde à do pipeline data_source_type.

Configuração

Configure o processador do Amazon RDS com os seguintes parâmetros:

processor:
  - parse_rds: {}

Processador de chave-valor

Analisa dados formatados em pares de chave-valor para campos estruturados.

Configuração

Configure o processador de chave-valor com os seguintes parâmetros:

processor:
  - key_value:
      source: "message"
      destination: "parsed_kv"
      field_delimiter: "&"
      key_value_delimiter: "="

Para usar o processador sem especificar parâmetros adicionais, use o comando abaixo:

processor:
  - key_value: {}

Analisador XML

Utilize o analisador XML para converter um campo especificado que contém uma string XML para o formato JSON. Utilize o analisador XML quando seus eventos de logs contiverem campos XML incorporados que você deseja consultar como dados estruturados. O analisador XML opera em um campo nomeado que já contém uma string XML. Coloque esse analisador depois de um analisador primário no pipeline. Você pode adicionar no máximo 5 analisadores parse_xml em um único pipeline.

Configuração

Configure o analisador XML com os seguintes parâmetros:

processor:
  - parse_json:
      source: "@message"
  - parse_xml:
      source: "body"
      destination: "parsed_xml"

Exemplo — Saída do analisador XML

Dado o seguinte evento de logs JSON com um campo XML incorporado:

{
  "body": "<Person id=\"123\" active=\"true\"><name>John</name><age>30</age></Person>"
}

Com a seguinte configuração:

processor:
  - parse_json:
      source: "@message"
  - parse_xml:
      source: "body"
      destination: "parsed_xml"

O analisador XML produz o seguinte resultado:

{
  "body": "<Person id=\"123\" active=\"true\"><name>John</name><age>30</age></Person>",
  "parsed_xml": {
    "id": "123",
    "active": "true",
    "name": "John",
    "age": "30"
  }
}