パーサープロセッサ

パーサープロセッサは、未加工または半構造化ログデータを構造化形式に変換します。各パイプラインには最大 1 個のプライマリパーサープロセッサを含めることができますが、このパーサープロセッサはパイプラインの最初のプロセッサである必要があります。XML パーサーは例外です。プライマリパーサーによって生成されたフィールドで動作し、1 つのパイプラインに最大 5 つのインスタンスを追加できます。

OCSF プロセッサ

Open Cybersecurity Schema Framework (OCSF) 標準に従ってログデータを解析および変換します。

設定

以下のパラメータを使用して OCSF プロセッサを設定します。

processor:
  - ocsf:
      version: "1.5"
      mapping_version: 1.5.0
      schema:
          microsoft_office365_management_activity:

この表には、サポートされているスキーマの組み合わせが一覧表示されています。

CSV プロセッサ

CSV 形式のデータを構造化フィールドに解析します。

設定

次のパラメータを使用して CSV プロセッサを設定します。

processor:
  - csv:      
      column_names: ["col1", "col2", "col3"]
      delimiter: ","
      quote_character: '"'

追加のパラメータを指定せずにプロセッサを使用するには、次のコマンドを使用します。

processor:
  - csv: {}

Grok プロセッサ

Grok パターンを使用して非構造化データを解析します。パイプラインごとに 1 つの Grok がサポートされています。CloudWatch Logs の Grok トランスフォーマーの詳細については、「CloudWatch Logs ユーザーガイド」の「Processors that you can use」を参照してください。

設定

次のパラメータを使用して Grok プロセッサを設定します。

データソースがディクショナリの場合、この設定を使用できます。

processor:
  - grok:      
      match:
       source_key: ["%{WORD:level} %{GREEDYDATA:msg}"]

データソースが CloudWatch Logs の場合、この設定を使用できます。

processor:
  - grok:      
      match:
       source_key: ["%{WORD:level} %{GREEDYDATA:msg}"]

VPC プロセッサ

VPC フローログデータを構造化フィールドに解析します。

設定

次のパラメータを使用して VPC プロセッサを設定します。

processor:
  - parse_vpc: {}
     

JSON プロセッサ

JSON データを構造化フィールドに解析します。

設定

次のパラメータを使用して JSON プロセッサを設定します。

processor:
  - parse_json:
      source: "message"
      destination: "parsed_json"

Route 53 プロセッサ

Route 53 リゾルバーのログデータを構造化フィールドに解析します。

設定

次のパラメータを使用して Route 53 プロセッサを設定します。

processor:
  - parse_route53: {}
      

Amazon RDS プロセッサ

Amazon RDS Aurora ログデータを構造化フィールドに解析します。parse_rds プロセッサは、パイプラインの data_source_name が amazon_rds の場合にのみサポートされます。パイプラインの data_source_type に一致する解析ロジックを適用します。

設定

次のパラメータを使用して Amazon RDS プロセッサを設定します。

processor:
  - parse_rds: {}

Key-value プロセッサ

キーと値のペア形式のデータを構造化フィールドに展開します。

設定

次のパラメータを使用して key-value プロセッサを設定します。

processor:
  - key_value:
      source: "message"
      destination: "parsed_kv"
      field_delimiter: "&"
      key_value_delimiter: "="

追加のパラメータを指定せずにプロセッサを使用するには、次のコマンドを使用します。

processor:
  - key_value: {}

XML パーサー

XML パーサーを使用して、XML 文字列を含む指定されたフィールドを JSON 形式に変換します。構造化データとしてクエリする埋め込み XML フィールドがログイベントに含まれている場合は、XML パーサーを使用します。XML パーサーは、XML 文字列がすでに含まれている名前付きフィールドで動作します。このパーサーは、パイプラインのプライマリパーサーの後に配置します。1 つのパイプラインに最大 5 つの parse_xml パーサーを追加できます。

設定

次のパラメータを使用して XML パーサーを設定します。

processor:
  - parse_json:
      source: "@message"
  - parse_xml:
      source: "body"
      destination: "parsed_xml"

例 – XML パーサー出力

XMLフィールドが埋め込まれた、次のような JSON ログイベントがあるとします。

{
  "body": "<Person id=\"123\" active=\"true\"><name>John</name><age>30</age></Person>"
}

次の設定を使用します。

processor:
  - parse_json:
      source: "@message"
  - parse_xml:
      source: "body"
      destination: "parsed_xml"

XML パーサーによって以下の出力が生成されます。

{
  "body": "<Person id=\"123\" active=\"true\"><name>John</name><age>30</age></Person>",
  "parsed_xml": {
    "id": "123",
    "active": "true",
    "name": "John",
    "age": "30"
  }
}