AWS Glue에서 grokLog 형식 사용 - AWS Glue

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AWS Glue에서 grokLog 형식 사용

AWS Glue는 소스에서 데이터를 검색하고 다양한 데이터 형식으로 저장 및 전송되는 대상에 데이터를 씁니다. 데이터가 느슨하게 구조화된 일반 텍스트 형식으로 저장되거나 전송되는 경우 이 문서에서는 Grok 패턴을 통해 AWS Glue에서 데이터를 사용하는 데 사용할 수 있는 기능을 소개합니다.

AWS Glue는 Grok 패턴 사용을 지원합니다. Grok 패턴은 정규 표현식 캡처 그룹과 유사합니다. 이들은 일반 텍스트 파일에서 문자 시퀀스의 패턴을 인식하여 유형과 목적을 부여합니다. AWS Glue에서 주요 목적은 로그를 읽는 것입니다. 저자의 Grok에 대한 소개는 Logstash 참조: Grok 필터 플러그인을 참조하세요.

읽기 쓰기 스트리밍 읽기 작은 파일 그룹화 작업 북마크
지원 해당 사항 없음 지원 지원 지원되지 않음

grokLog 구성 참조

format="grokLog"으로 다음 format_options 값을 사용할 수 있습니다.

  • logFormat - 로그 포맷과 일치하는 Grok 패턴을 지정합니다.

  • customPatterns - 여기서 사용된 Grok 패턴을 지정합니다.

  • MISSING - 누락된 값을 식별하는 데 사용된 신호를 지정합니다. 기본값은 '-'입니다.

  • LineCount - 각 로그 기록의 라인 수를 지정합니다. 기본값은 '1'이며 현재 단일 라인 기록만 지원합니다.

  • StrictMode - 제한 모드를 설정할지 여부를 지정하는 부울 값. 제한 모드에서 리더는 자동적으로 유형을 전환하거나 복구하지 않습니다. 기본값은 "false"입니다.