Amazon Data Firehose 스트림을 Amazon S3의 Apache Iceberg Table로 전송하는 작업은 미리 보기 중이며 변경될 수 있습니다.
기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
에이전트 구성 설정을 지정합니다.
이 에이전트는 두 가지 의무 구성 설정인 filePattern, deliveryStream과 추가 기능을 제공하는 선택적 구성 설정을 지원합니다. /etc/aws-kinesis/agent.json에서 의무 및 선택적 구성 설정을 지정할 수 있습니다.
구성 파일을 변경할 때마다 다음 명령을 이용해 에이전트를 중지했다 시작해야 합니다.
sudo service aws-kinesis-agent stopsudo service aws-kinesis-agent start
또는 다음 명령을 사용할 수 있습니다.
sudo service aws-kinesis-agent restart
다음은 일반적인 구성 설정입니다.
| 구성 설정 | 설명 |
|---|---|
assumeRoleARN |
사용자가 맡을 역할의 Amazon 리소스 이름 (ARN). 자세한 내용은 액세스 권한 위임을 참조하십시오. AWS 사용 IAM설명서의 IAM 역할을 사용하는 계정. |
assumeRoleExternalId |
역할을 맡을 사람을 결정하는 선택적 식별자입니다. 자세한 내용은 사용 설명서의 IAM 외부 ID 사용 방법을 참조하십시오. |
awsAccessKeyId |
AWS 기본 자격 증명을 재정의하는 액세스 키 ID. 이 설정은 다른 모든 자격 증명 공급자보다 우선 적용됩니다. |
awsSecretAccessKey |
AWS 기본 자격 증명을 재정의하는 비밀 키. 이 설정은 다른 모든 자격 증명 공급자보다 우선 적용됩니다. |
cloudwatch.emitMetrics |
설정된 CloudWatch 경우 (true) 에이전트가 메트릭을 내보낼 수 있도록 합니다. 기본값: true |
cloudwatch.endpoint |
의 지역별 엔드포인트. CloudWatch 기본값: |
firehose.endpoint |
Amazon Data Firehose의 리전 엔드포인트입니다. 기본값: |
sts.endpoint |
의 리전 엔드포인트는 AWS 보안 토큰 서비스. 기본값: |
userDefinedCredentialsProvider.classname |
사용자 지정 자격 증명 공급자를 정의하는 경우 이 설정을 사용하여 정규화된 클래스 이름을 지정합니다. 클래스 이름 끝에 .class를 포함하지 마십시오. |
userDefinedCredentialsProvider.location |
사용자 지정 자격 증명 공급자를 정의하는 경우 이 설정을 사용하여 사용자 지정 자격 증명 공급자를 포함하는 jar의 절대 경로를 지정합니다. 또한 에이전트는 /usr/share/aws-kinesis-agent/lib/ 위치에서 jar 파일을 찾습니다. |
다음은 흐름 구성 설정입니다.
| 구성 설정 | 설명 |
|---|---|
aggregatedRecordSizeBytes |
에이전트가 레코드를 집계한 다음 한 번의 작업으로 Firehose 스트림에 넣도록 하려면 이 설정을 지정하십시오. 에이전트가 Firehose 스트림에 집계 레코드를 추가하기 전에 원하는 크기로 설정합니다. 기본값: 0(집계 없음) |
dataProcessingOptions |
Firehose 스트림으로 전송되기 전에 구문 분석된 각 레코드에 적용되는 처리 옵션 목록입니다. 처리 옵션은 지정된 순서로 진행됩니다. 자세한 내용은 에이전트를 사용하여 데이터를 사전 처리합니다. 단원을 참조하십시오. |
deliveryStream |
[필수] Firehose 스트림의 이름입니다. |
filePattern |
[필수] 에이전트가 모니터링해야 하는 파일에 대한 glob입니다. 이 패턴과 일치하는 파일을 에이전트가 자동으로 선별하여 모니터링합니다. 이 패턴과 일치하는 모든 파일에 대한 읽기 권한을 중요에이전트는 이 패턴과 일치하는 파일을 선택합니다. 에이전트가 의도하지 않은 레코드를 선택하지 않도록 하려면 이 패턴을 신중하게 선택합니다. |
initialPosition |
파일 구문 분석이 처음 시작된 위치입니다. 유효 값은 기본값: |
maxBufferAgeMillis |
에이전트가 Firehose 스트림으로 데이터를 보내기 전에 데이터를 버퍼링하는 최대 시간 (밀리초) 입니다. 값 범위: 1,000~900,000(1초 ~ 15분) 기본값: 60,000(1분) |
maxBufferSizeBytes |
에이전트가 Firehose 스트림으로 데이터를 보내기 전에 데이터를 버퍼링하는 최대 크기 (바이트) 입니다. 값 범위: 1~4,194,304(4MB) 기본값: 4,194,304(4MB) |
maxBufferSizeRecords |
에이전트가 Firehose 스트림으로 데이터를 보내기 전에 데이터를 버퍼링하는 최대 레코드 수입니다. 값 범위: 1~500 기본값: 500 |
minTimeBetweenFilePollsMillis |
에이전트가 새로운 데이터에 대해 모니터링한 파일을 폴링하고 구문 분석하는 시간 간격(밀리초)입니다. 값 범위: 1 이상 기본값: 100 |
multiLineStartPattern |
레코드의 시작을 식별하기 위한 패턴입니다. 레코드는 패턴과 일치하는 줄 1개 및 패턴과 일치하지 않는 나머지 줄로 이루어져 있습니다. 유효한 값은 정규식입니다. 기본적으로 로그 파일에서 각각의 줄 바꿈은 하나의 레코드로 구문 분석됩니다. |
skipHeaderLines |
모니터링한 파일을 시작할 때 에이전트가 구문 분석을 건너뛰는 줄의 개수입니다. 값 범위: 0 이상 기본값: 0(영) |
truncatedRecordTerminator |
레코드 크기가 Amazon Data Firehose 레코드 크기 제한을 초과할 때 에이전트가 파싱된 레코드를 잘라내는 데 사용하는 문자열입니다. (1,000KB) 기본값: |
