Casi d'uso comuni dei processori

Analizza i log JSON, standardizza i nomi dei campi e aggiungi informazioni sull'ambiente:

processor:
  - parse_json: {}
  - rename_keys:
      entries:
        - from_key: "timestamp"
          to_key: "@timestamp"
        - from_key: "log_level"
          to_key: "level"
  - add_entries:
      entries:
        - key: "environment"
          value: "production"
        - key: "application"
          value: "payment-service"

Standardizza i codici di stato e rimuovi i dati sensibili:

processor:
  - uppercase_string:
      with_keys: ["status", "method"]
  - delete_entries:
      with_keys: ["credit_card", "password"]
  - substitute_string:
      entries:
        - source: "status"
          from: "SUCCESS"
          to: "OK"

Estrai le informazioni sull'utente e il formato per l'analisi:

processor:
  - extract_value:
      entries:
        - source: "user_agent"
          target: "browser"
          from: "(?<browser>Chrome|Firefox|Safari)"
          to: "${browser}"
  - lowercase_string:
      with_keys: ["browser"]
  - move_keys:
      entries:
        - from_key: "browser"
          to_key: "user_data.browser"

Aggiungi metadati diversi in base alla gravità del registro utilizzando condizioni di livello base: when

processor:
  - add_entries:
      entries:
        - key: "alert_level"
          value: "critical"
          when: "log.level == 'ERROR'"
        - key: "alert_level"
          value: "info"
          when_else: "log.level == 'ERROR'"

Filtra le voci di registro di debug e traccia provenienti da una fonte di terze parti per ridurre il rumore e i costi di archiviazione:

processor:
  - drop_events:
      when: "log.level in {'DEBUG', 'TRACE'}"
      handle_expression_failure: "skip"

Rimuovi i campi sensibili solo quando l'ambiente è in produzione:

processor:
  - delete_entries:
      with_keys: ["password", "api_key", "ssn"]
      when: "environment in {'prod', 'staging'}"

Aggiungi tag relativi alla proprietà del team e all'ambiente ai datapoint delle metriche:

processor:
  - add_attributes:
      attributes:
        - key: resource.attributes["team"]
          value: "platform-engineering"
        - key: resource.attributes["cost_center"]
          value: "CC-1234"

Elimina gli attributi che aumentano i costi di archiviazione. Non si applica alle metriche cumulative o alle metriche vendute: se alcune metriche nei criteri di selezione hanno una temporalità non supportata, la pipeline emette una UnsupportedTemporality metrica di avviso che puoi monitorare nel namespace: AWS/Observability Admin

processor:
  - delete_attributes:
      with_keys:
        - resource.attributes["host.id"]
        - datapoint.attributes["http.request.id"]

Rinomina metriche e attributi per allinearli alle convenzioni semantiche. OpenTelemetry Non si applica alle metriche cumulative o alle metriche vendute:

processor:
  - rename_metrics:
      metrics:
        - from: "cpu_usage_percent"
          to: "system.cpu.utilization"
  - rename_attributes:
      attributes:
        - from_key: resource.attributes["hostname"]
          to_key: resource.attributes["host.name"]