에이전트 구성 설정 지정 - Amazon Data Firehose

에이전트 구성 설정 지정

이 에이전트는 두 가지 의무 구성 설정인 filePattern, deliveryStream과 추가 기능을 제공하는 선택적 구성 설정을 지원합니다. /etc/aws-kinesis/agent.json에서 의무 및 선택적 구성 설정을 지정할 수 있습니다.

구성 파일을 변경할 때마다 다음 명령을 이용해 에이전트를 중지했다 시작해야 합니다.

sudo service aws-kinesis-agent stop sudo service aws-kinesis-agent start

또는 다음 명령을 사용할 수 있습니다.

sudo service aws-kinesis-agent restart

다음은 일반적인 구성 설정입니다.

구성 설정 설명
assumeRoleARN

사용자가 맡을 역할의 Amazon 리소스 이름(ARN). 자세한 내용은 IAM User GuideTutorial: Delegate Access Across AWS Accounts Using IAM Roles를 참조하세요.

assumeRoleExternalId

역할을 맡을 사람을 결정하는 선택적 식별자입니다. 자세한 내용은 IAM 사용 설명서의 외부 ID 사용 방법을 참조하세요.

awsAccessKeyId

기본 보안 인증을 재정의하는 AWS 액세스 키 ID. 이 설정은 다른 모든 자격 증명 공급자보다 우선 적용됩니다.

awsSecretAccessKey

기본 보안 인증을 재정의하는 AWS 보안 키. 이 설정은 다른 모든 자격 증명 공급자보다 우선 적용됩니다.

cloudwatch.emitMetrics

(true)로 설정하면 에이전트가 CloudWatch로 지표를 내보낼 수 있습니다.

기본값: true

cloudwatch.endpoint

CloudWatch에 대한 리전 엔드포인트.

기본값: monitoring.us-east-1.amazonaws.com

firehose.endpoint

Amazon Data Firehose의 리전 엔드포인트입니다.

기본값: firehose.us-east-1.amazonaws.com

sts.endpoint

AWS Security Token Service의 리전 엔드포인트.

기본값: https://sts.amazonaws.com

userDefinedCredentialsProvider.classname 사용자 지정 자격 증명 공급자를 정의하는 경우 이 설정을 사용하여 정규화된 클래스 이름을 지정합니다. 클래스 이름 끝에 .class를 포함하지 마세요.
userDefinedCredentialsProvider.location 사용자 지정 자격 증명 공급자를 정의하는 경우 이 설정을 사용하여 사용자 지정 자격 증명 공급자를 포함하는 jar의 절대 경로를 지정합니다. 또한 에이전트는 /usr/share/aws-kinesis-agent/lib/ 위치에서 jar 파일을 찾습니다.

다음은 흐름 구성 설정입니다.

구성 설정 설명
aggregatedRecordSizeBytes

에이전트가 레코드를 집계한 다음, 한 번의 작업으로 Firehose 스트림에 입력하도록 하려면 이 설정을 지정합니다. 에이전트가 Firehose 스트림에 넣기 전에 집계 레코드에 대해 원하는 크기로 설정합니다.

기본값: 0(집계 없음)

dataProcessingOptions

Firehose 스트림으로 전송되기 전에 구문 분석된 각 레코드에 적용되는 처리 옵션 목록입니다. 처리 옵션은 지정된 순서로 진행됩니다. 자세한 내용은 에이전트를 사용한 데이터 사전 처리 섹션을 참조하세요.

deliveryStream

[필수] Firehose 스트림 이름입니다.

filePattern

[필수] 에이전트가 모니터링해야 하는 파일에 대한 glob입니다. 이 패턴과 일치하는 파일을 에이전트가 자동으로 선별하여 모니터링합니다. 이 패턴과 일치하는 모든 파일에 대한 읽기 권한을 aws-kinesis-agent-user에 부여해야 합니다. 파일이 포함된 디렉터리에 대한 읽기 및 실행 권한을 aws-kinesis-agent-user에 부여해야 합니다.

중요

에이전트는 이 패턴과 일치하는 파일을 선택합니다. 에이전트가 의도하지 않은 레코드를 선택하지 않도록 하려면 이 패턴을 신중하게 선택합니다.

initialPosition

파일 구문 분석이 처음 시작된 위치입니다. 유효 값은 START_OF_FILEEND_OF_FILE입니다.

기본값: END_OF_FILE

maxBufferAgeMillis

Firehose 스트림으로 보내기 전 에이전트가 데이터를 버퍼링하는 최대 시간(밀리초)입니다.

값 범위: 1,000~900,000(1초 ~ 15분)

기본값: 60,000(1분)

maxBufferSizeBytes

Firehose 스트림으로 보내기 전 에이전트가 데이터를 버퍼링하는 최대 크기(바이트)입니다.

값 범위: 1~4,194,304(4MB)

기본값: 4,194,304(4MB)

maxBufferSizeRecords

Firehose 스트림으로 보내기 전 에이전트가 데이터를 버퍼링하는 최대 레코드 수입니다.

값 범위: 1~500

기본값: 500

minTimeBetweenFilePollsMillis

에이전트가 새로운 데이터에 대해 모니터링한 파일을 폴링하고 구문 분석하는 시간 간격(밀리초)입니다.

값 범위: 1 이상

기본값: 100

multiLineStartPattern

레코드의 시작을 식별하기 위한 패턴입니다. 레코드는 패턴과 일치하는 줄 1개 및 패턴과 일치하지 않는 나머지 줄로 이루어져 있습니다. 유효한 값은 정규식입니다. 기본적으로 로그 파일에서 각각의 줄 바꿈은 하나의 레코드로 구문 분석됩니다.

skipHeaderLines

모니터링한 파일을 시작할 때 에이전트가 구문 분석을 건너뛰는 줄의 개수입니다.

값 범위: 0 이상

기본값: 0(영)

truncatedRecordTerminator

레코드 크기가 Amazon Data Firehose 레코드 크기 제한을 초과할 때 에이전트가 구문 분석된 레코드를 자르는 데 사용하는 문자열입니다. (1,000KB)

기본값: '\n'(줄 바꿈)