AWS Glue で grokLog 形式を使用する - AWS Glue
grokLog

AWS Glue で grokLog 形式を使用する

AWS Glue はソースからデータを取得し、さまざまなデータ形式で保存および転送されたターゲットにデータを書き込みます。このドキュメントでは、データが大まかに構造化されたプレーンテキスト形式で保存または転送される場合に、AWS Glue でデータを使用する際に利用できる機能を紹介します。

AWS Glue は、Grok パターンの使用をサポートしています。Grok パターンは、正規表現のキャプチャグループに似ています。プレーンテキストファイル内の文字シーケンスのパターンを認識し、タイプと目的を与えます。AWS Glue での主な目的はログを読み取ることです。作成者による Grokの概要については、「Logstash Reference: Grok filter plugin」(Logstash リファレンス: Grok フィルタープラグイン) を参照してください。

読み込み 書き込み ストリーミングの読み取り 小さなファイルのグループ化 ジョブのブックマーク
サポート 該当しません サポート サポート サポートされていません

grokLog 設定リファレンス

format="grokLog" には、以下の format_options 値を使用できます。

  • logFormat – ログの形式と一致する Grok パターンを指定します。

  • customPatterns – ここで使用する追加の Grok パターンを指定します。

  • MISSING – 欠落した値の識別に使用するシグナルを指定します。デフォルト: '-'。

  • LineCount – 各ログレコードの行数を指定します。デフォルト値は '1' です。現在 1 行のレコードのみがサポートされています。

  • StrictMode – strict モードを有効にするかどうかを指定するブール値。厳格モードでは、リーダーは自動的な型変換や復旧を行いません。デフォルト値は "false" です。