기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
CloudWatch 지표로 Amazon Data Firehose 모니터링
중요
적시에 오류를 식별하려면 대상에 속하는 모든 CloudWatch 지표에 대해 경보를 활성화해야 합니다.
Amazon Data Firehose는 Amazon CloudWatch 지표와 통합되어 Firehose 스트림에 대한 지표를 수집, 확인 및 분석할 CloudWatch 수 있습니다. 예를 들어 IncomingBytes 및 IncomingRecords 지표를 모니터링하여 데이터 생산자로부터 Amazon Data Firehose로 수집된 데이터를 추적할 수 있습니다.
Amazon Data Firehose는 매분 CloudWatch 지표를 수집하고 게시합니다. 단, 몇 초 동안만이라도 수신 데이터 장애가 발생하면 1분 지표에 완전히 캡처또는 표시되지 않을 수 있습니다. 이는 CloudWatch 지표가 1분 간격으로 Amazon Data Firehose에서 집계되기 때문입니다.
Firehose 스트림에 대해 수집된 지표는 무료입니다. Kinesis 에이전트 지표에 대한 정보는 Kinesis Agent 상태 모니터링을 참조하세요.
주제
CloudWatch 동적 파티셔닝 지표
동적 파티셔닝이 활성화된 경우 AWS/Firehose 네임스페이스에는 다음 지표가 포함됩니다.
| 지표 | 설명 |
|---|---|
ActivePartitionsLimit |
Firehose 스트림이 오류 버킷으로 데이터를 보내기 전에 처리하는 최대 활성 파티션 수입니다. 단위: 개 |
PartitionCount |
처리 중인 파티션 수, 즉 활성 파티션의 수. 이 수는 1부터 파티션 카운트 한도인 500(기본값)까지 다양합니다. 단위: 개 |
PartitionCountExceeded |
이 지표는 파티션 카운트 한도를 초과하는지 여부를 나타냅니다. 한도 위반 여부에 따라 1 또는 0이 출력됩니다. |
JQProcessing.Duration |
JQ Lambda 함수에서 JQ 표현식을 실행하는 데 걸린 시간의 양을 반환합니다. 단위: 밀리초 |
PerPartitionThroughput |
파티션당 처리 중인 처리량을 나타냅니다. 이 지표를 사용하여 파티션별 처리량을 모니터링할 수 있습니다. 단위: StandardUnit.BytesSecond |
DeliveryToS3.ObjectCount |
S3 버킷으로 전송되는 객체의 수를 나타냅니다. 단위: 개 |
CloudWatch 데이터 전송 지표
AWS/Firehose 네임스페이스에는 다음과 같은 서비스 수준 지표가 포함되어 있습니다. BackupToS3.Success, DeliveryToS3.Success, DeliveryToSplunk.Success, DeliveryToAmazonOpenSearchService.Success 또는 DeliveryToRedshift.Success의 평균이 약간 떨어진다고 해서 데이터 손실이 발생했다는 의미는 아닙니다. Amazon Data Firehose는 전송 오류를 재시도하며 레코드가 구성된 대상 또는 백업 S3 버킷으로 성공적으로 전달될 때까지 진행되지 않습니다.
주제
OpenSearch 서비스로 전달
| 지표 | 설명 |
|---|---|
DeliveryToAmazonOpenSearchService.Bytes |
지정된 기간 동안 OpenSearch 서비스에 인덱싱된 바이트 수입니다. 단위: 바이트 |
DeliveryToAmazonOpenSearchService.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 수명(Amazon Data Firehose에 로그인한 시점부터 현재까지)입니다. 이 기간보다 오래된 모든 레코드가 OpenSearch 서비스로 전송되었습니다. 단위: 초 |
DeliveryToAmazonOpenSearchService.Records |
지정된 기간 동안 OpenSearch 서비스에 인덱싱된 레코드 수입니다. 단위: 개 |
DeliveryToAmazonOpenSearchService.Success |
성공적으로 인덱싱된 레코드의 합계입니다. |
DeliveryToS3.Bytes |
지정한 시간 동안 Amazon S3로 전송된 바이트 수. Amazon Data Firehose는 모든 문서에 대해 백업을 활성화한 경우에만 이 지표를 내보냅니다. 단위: 개 |
DeliveryToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 수명(Amazon Data Firehose에 로그인한 시점부터 현재까지)입니다. 이 경과 시간보다 오래된 레코드는 모두 S3 버킷으로 전송되었습니다. Amazon Data Firehose는 모든 문서에 대해 백업을 활성화한 경우에만 이 지표를 내보냅니다. 단위: 초 |
DeliveryToS3.Records |
지정한 시간 동안 Amazon S3로 전송된 레코드 수. Amazon Data Firehose는 모든 문서에 대해 백업을 활성화한 경우에만 이 지표를 내보냅니다. 단위: 개 |
DeliveryToS3.Success |
성공적인 Amazon S3 풋 명령의 합계입니다. Amazon Data Firehose는 실패한 문서에 대해서만 백업이 활성화되었는지 또는 모든 문서에 대해 백업이 활성화되었는지 여부에 관계없이 항상 이 지표를 내보냅니다. |
DeliveryToAmazonOpenSearchService.AuthFailure |
Authentication/authorization error. Verify the OS/ES 클러스터 정책 및 역할 권한. 0은 문제 없음을 나타내며 1은 인증 실패를 나타냅니다. |
DeliveryToAmazonOpenSearchService.DeliveryRejected |
전송 거부 오류. OS/ES 클러스터 정책 및 역할 권한을 확인합니다. 0은 문제 없음을 나타내며 1은 전송 실패를 나타냅니다. |
Serverless로 OpenSearch 전송
| 지표 | 설명 |
|---|---|
DeliveryToAmazonOpenSearchServerless.Bytes |
지정된 기간 동안 OpenSearch Serverless에 인덱싱된 바이트 수입니다. 단위: 바이트 |
DeliveryToAmazonOpenSearchServerless.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 수명(Amazon Data Firehose에 로그인한 시점부터 현재까지)입니다. 이 기간보다 오래된 모든 레코드는 OpenSearch Serverless로 전송되었습니다. 단위: 초 |
DeliveryToAmazonOpenSearchServerless.Records |
지정된 기간 동안 OpenSearch Serverless에 인덱싱된 레코드 수입니다. 단위: 개 |
DeliveryToAmazonOpenSearchServerless.Success |
성공적으로 인덱싱된 레코드의 합계입니다. |
DeliveryToS3.Bytes |
지정한 시간 동안 Amazon S3로 전송된 바이트 수. Amazon Data Firehose는 모든 문서에 대해 백업을 활성화한 경우에만 이 지표를 내보냅니다. 단위: 개 |
DeliveryToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 수명(Amazon Data Firehose에 로그인한 시점부터 현재까지)입니다. 이 경과 시간보다 오래된 레코드는 모두 S3 버킷으로 전송되었습니다. Amazon Data Firehose는 모든 문서에 대해 백업을 활성화한 경우에만 이 지표를 내보냅니다. 단위: 초 |
DeliveryToS3.Records |
지정한 시간 동안 Amazon S3로 전송된 레코드 수. Amazon Data Firehose는 모든 문서에 대해 백업을 활성화한 경우에만 이 지표를 내보냅니다. 단위: 개 |
DeliveryToS3.Success |
성공적인 Amazon S3 풋 명령의 합계입니다. Amazon Data Firehose는 실패한 문서에 대해서만 백업이 활성화되었는지 또는 모든 문서에 대해 백업이 활성화되었는지 여부에 관계없이 항상 이 지표를 내보냅니다. |
DeliveryToAmazonOpenSearchServerless.AuthFailure |
Authentication/authorization error. Verify the OS/ES 클러스터 정책 및 역할 권한. 0은 문제 없음을 나타내며 1은 인증 실패를 나타냅니다. |
DeliveryToAmazonOpenSearchServerless.DeliveryRejected |
전송 거부 오류. OS/ES 클러스터 정책 및 역할 권한을 확인합니다. 0은 문제 없음을 나타내며 1은 전송 실패를 나타냅니다. |
Amazon Redshift로 전송
| 지표 | 설명 |
|---|---|
DeliveryToRedshift.Bytes |
지정한 시간 동안 Amazon Redshift으로 복사된 바이트 수. 단위: 개 |
DeliveryToRedshift.Records |
지정한 시간 동안 Amazon Redshift으로 복사된 레코드 수. 단위: 개 |
DeliveryToRedshift.Success |
성공적인 Amazon Redshift COPY 명령의 합계입니다. |
DeliveryToS3.Bytes |
지정한 시간 동안 Amazon S3로 전송된 바이트 수. 단위: 바이트 |
DeliveryToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 수명(Amazon Data Firehose에 로그인한 시점부터 현재까지)입니다. 이 경과 시간보다 오래된 레코드는 모두 S3 버킷으로 전송되었습니다. 단위: 초 |
DeliveryToS3.Records |
지정한 시간 동안 Amazon S3로 전송된 레코드 수. 단위: 개 |
DeliveryToS3.Success |
성공적인 Amazon S3 풋 명령의 합계입니다. |
BackupToS3.Bytes |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수. Amazon Data Firehose는 Amazon S3에 대한 백업이 활성화되면 이 지표를 내보냅니다. 단위: 개 |
BackupToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연령(Amazon Data Firehose에 로그인하는 시점부터 현재까지)입니다. 이 경과 시간보다 오래된 레코드는 모두 백업을 위해 Amazon S3 버킷으로 전송되었습니다. Amazon Data Firehose는 Amazon S3에 대한 백업이 활성화되면 이 지표를 내보냅니다. 단위: 초 |
BackupToS3.Records |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수. Amazon Data Firehose는 Amazon S3에 대한 백업이 활성화되면 이 지표를 내보냅니다. 단위: 개 |
BackupToS3.Success |
백업을 위한 성공적인 Amazon S3 풋 명령의 합계입니다. Amazon Data Firehose는 Amazon S3에 대한 백업이 활성화되면 이 지표를 내보냅니다. |
Amazon S3으로 전송
다음 표의 지표는 Firehose 스트림의 기본 대상인 경우 Amazon S3로의 전송과 관련이 있습니다.
| 지표 | 설명 |
|---|---|
DeliveryToS3.Bytes |
지정한 시간 동안 Amazon S3로 전송된 바이트 수. 단위: 바이트 |
DeliveryToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 수명(Amazon Data Firehose에 로그인한 시점부터 현재까지)입니다. 이 경과 시간보다 오래된 레코드는 모두 S3 버킷으로 전송되었습니다. 단위: 초 |
DeliveryToS3.Records |
지정한 시간 동안 Amazon S3로 전송된 레코드 수. 단위: 개 |
DeliveryToS3.Success |
성공적인 Amazon S3 풋 명령의 합계입니다. |
BackupToS3.Bytes |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수. Amazon Data Firehose는 백업이 활성화된 경우 이 지표를 내보냅니다(데이터 변환도 활성화된 경우에만 가능). 단위: 개 |
BackupToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연령(Amazon Data Firehose에 로그인하는 시점부터 현재까지)입니다. 이 경과 시간보다 오래된 레코드는 모두 백업을 위해 Amazon S3 버킷으로 전송되었습니다. Amazon Data Firehose는 백업이 활성화된 경우 이 지표를 내보냅니다(데이터 변환도 활성화된 경우에만 가능). 단위: 초 |
BackupToS3.Records |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수. Amazon Data Firehose는 백업이 활성화된 경우 이 지표를 내보냅니다(데이터 변환도 활성화된 경우에만 가능). 단위: 개 |
BackupToS3.Success |
백업을 위한 성공적인 Amazon S3 풋 명령의 합계입니다. Amazon Data Firehose는 백업이 활성화된 경우 이 지표를 내보냅니다(데이터 변환도 활성화된 경우에만 가능). |
Snowflake로 전송
| 지표 | 설명 |
|---|---|
DeliveryToSnowflake.Bytes |
지정된 기간 동안 Snowflake에 전달되는 바이트 수입니다. 단위: 바이트 |
DeliveryToSnowflake.DataFreshness |
Firehose에서 가장 오래된 레코드의 연령(Firehose에 로그인한 시점부터 현재까지)입니다. 이 기간보다 오래된 모든 레코드가 Snowflake로 전송되었습니다. Firehose 삽입 호출이 성공한 후 Snowflake에 데이터를 커밋하는 데 몇 초가 걸릴 수 있습니다. Snowflake에 데이터를 커밋하는 데 걸리는 시간은 단위: 초 |
DeliveryToSnowflake.DataCommitLatency |
Firehose가 레코드를 성공적으로 삽입한 후 데이터가 Snowflake에 커밋되는 데 걸리는 시간입니다. 단위: 초 |
DeliveryToSnowflake.Records |
지정된 기간 동안 Snowflake에 전달된 레코드 수입니다. 단위: 개 |
DeliveryToSnowflake.Success |
Snowflake에 수행된 성공적인 삽입 호출의 합계입니다. |
DeliveryToS3.Bytes |
지정한 시간 동안 Amazon S3로 전송된 바이트 수. 이 지표는 Snowflake로의 전송이 실패하고 Firehose가 실패한 데이터를 S3로 백업하려고 시도하는 경우에만 사용할 수 있습니다. 단위: 바이트 |
DeliveryToS3.Records |
지정한 시간 동안 Amazon S3로 전송된 레코드 수. 이 지표는 Snowflake로의 전송이 실패하고 Firehose가 실패한 데이터를 S3로 백업하려고 시도하는 경우에만 사용할 수 있습니다. 단위: 개 |
DeliveryToS3.Success |
성공적인 Amazon S3 풋 명령의 합계입니다. 이 지표는 Snowflake로의 전송이 실패하고 Firehose가 실패한 데이터를 S3로 백업하려고 시도하는 경우에만 사용할 수 있습니다. |
BackupToS3.DataFreshness |
Firehose에서 가장 오래된 레코드의 연령(Firehose에서 현재까지). 이 기간보다 오래된 모든 레코드는 Amazon S3 버킷에 백업됩니다. 이 지표는 Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 사용할 수 있습니다. 단위: 초 |
BackupToS3.Records |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수. 이 지표는 Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 사용할 수 있습니다. 단위: 개 |
BackupToS3.Bytes |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수. 이 지표는 Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 사용할 수 있습니다. 단위: 개 |
BackupToS3.Success |
백업을 위한 성공적인 Amazon S3 풋 명령의 합계입니다. Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 Firehose는 이 지표를 내보냅니다. |
Splunk에 전송
| 지표 | 설명 |
|---|---|
DeliveryToSplunk.Bytes |
지정한 시간 동안 Splunk로 전송된 바이트 수. 단위: 바이트 |
DeliveryToSplunk.DataAckLatency |
Amazon Data Firehose가 데이터를 전송한 후 Splunk로부터 확인을 받는 데 걸리는 대략적인 기간입니다. 이 측정치에 대한 증가 또는 감소 추세가 절대 근사치보다 더 유용합니다. 증가 추세는 Splunk 인덱서로부터 더 느린 인덱싱 및 승인 비율을 나타낼 수 있습니다. 단위: 초 |
DeliveryToSplunk.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연령(Amazon Data Firehose에 로그인한 시점부터 현재까지). 이 경과 시간보다 오래된 레코드는 모두 Splunk로 전송되었습니다. 단위: 초 |
DeliveryToSplunk.Records |
지정한 시간 동안 Splunk로 전송된 레코드 수. 단위: 개 |
DeliveryToSplunk.Success |
성공적으로 인덱싱된 레코드의 합계입니다. |
DeliveryToS3.Success |
성공적인 Amazon S3 풋 명령의 합계입니다. 이 지표는 Amazon S3으로의 백업이 활성화된 경우 내보내집니다. |
BackupToS3.Bytes |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수. 모든 문서를 백업하도록 Firehose 스트림이 구성된 경우 Amazon Data Firehose에서 이 지표를 내보냅니다. 단위: 개 |
BackupToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연령(Amazon Data Firehose에 로그인한 시점부터 현재까지). 이 경과 시간보다 오래된 레코드는 모두 백업을 위해 Amazon S3 버킷으로 전송되었습니다. 모든 문서를 백업하도록 Firehose 스트림이 구성된 경우 Amazon Data Firehose에서 이 지표를 내보냅니다. 단위: 초 |
BackupToS3.Records |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수. 모든 문서를 백업하도록 Firehose 스트림이 구성된 경우 Amazon Data Firehose에서 이 지표를 내보냅니다. 단위: 개 |
BackupToS3.Success |
백업을 위한 성공적인 Amazon S3 풋 명령의 합계입니다. 모든 문서를 백업하도록 Firehose 스트림이 구성된 경우 Amazon Data Firehose에서 이 지표를 내보냅니다. |
HTTP 엔드포인트로 전송
| 지표 | 설명 |
|---|---|
DeliveryToHttpEndpoint.Bytes |
HTTP 엔드포인트에 성공적으로 전달된 바이트 수입니다. 단위: 바이트 |
DeliveryToHttpEndpoint.Records |
HTTP 엔드포인트에 성공적으로 전달된 레코드 수입니다. 단위: 개수 |
DeliveryToHttpEndpoint.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 기간입니다. 단위: 초 |
DeliveryToHttpEndpoint.Success |
HTTP 엔드포인트에 대한 모든 성공적인 데이터 전송 요청의 합계입니다. 단위: 개 |
DeliveryToHttpEndpoint.ProcessedBytes |
재시도를 포함하여 처리 시도된 바이트 수. |
DeliveryToHttpEndpoint.ProcessedRecords |
재시도를 포함하여 시도된 레코드 수. |
데이터 수집 지표
Kinesis Data Streams를 통한 데이터 수집
| 지표 | 설명 |
|---|---|
DataReadFromKinesisStream.Bytes |
데이터 원본이 Kinesis 데이터 스트림인 경우 이 지표는 해당 데이터 스트림에서 읽은 바이트 수를 나타냅니다. 이 수는 장애 조치로 인한 다시 읽기를 포함합니다. 단위: 바이트 |
DataReadFromKinesisStream.Records |
데이터 원본이 Kinesis 데이터 스트림인 경우 이 지표는 해당 데이터 스트림에서 읽은 레코드 수를 나타냅니다. 이 수는 장애 조치로 인한 다시 읽기를 포함합니다. 단위: 개 |
ThrottledDescribeStream |
데이터 원본이 Kinesis 데이터 스트림일 때 단위: 개 |
ThrottledGetRecords |
데이터 원본이 Kinesis 데이터 스트림일 때 단위: 개 |
ThrottledGetShardIterator |
데이터 원본이 Kinesis 데이터 스트림일 때 단위: 개 |
KinesisMillisBehindLatest |
데이터 원본이 Kinesis 데이터 스트림일 때, 이 지표는 마지막으로 읽은 레코드가 Kinesis 데이터 스트림의 최신 레코드보다 뒤쳐진 밀리초 수를 의미합니다. 단위: 밀리초 |
Direct를 통한 데이터 수집 PUT
| 지표 | 설명 |
|---|---|
BackupToS3.Bytes |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수. Amazon Data Firehose는 Amazon S3 또는 Amazon Redshift 대상에 대해 데이터 변환이 활성화되면 이 지표를 내보냅니다. 단위: 바이트 |
BackupToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연령(Amazon Data Firehose에 로그인한 시점부터 현재까지). 이 경과 시간보다 오래된 레코드는 모두 백업을 위해 Amazon S3 버킷으로 전송되었습니다. Amazon Data Firehose는 Amazon S3 또는 Amazon Redshift 대상에 대해 데이터 변환이 활성화되면 이 지표를 내보냅니다. 단위: 초 |
BackupToS3.Records |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수. Amazon Data Firehose는 Amazon S3 또는 Amazon Redshift 대상에 대해 데이터 변환이 활성화되면 이 지표를 내보냅니다. 단위: 개 |
BackupToS3.Success |
백업을 위한 성공적인 Amazon S3 풋 명령의 합계입니다. Amazon Data Firehose는 Amazon S3 또는 Amazon Redshift 대상에 대해 데이터 변환이 활성화되면 이 지표를 내보냅니다. |
BytesPerSecondLimit |
Firehose 스트림이 제한하기 전에 수집할 수 있는 초당 현재 최대 바이트 수입니다. 이 한도 증가를 요청하려면 AWS
Support Center |
DeliveryToAmazonOpenSearchService.Bytes |
지정된 기간 동안 OpenSearch 서비스에 인덱싱된 바이트 수입니다. 단위: 바이트 |
DeliveryToAmazonOpenSearchService.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 수명(Amazon Data Firehose에 로그인하는 시점부터 현재까지)입니다. 이 기간보다 오래된 모든 레코드가 OpenSearch 서비스로 전송되었습니다. 단위: 초 |
DeliveryToAmazonOpenSearchService.Records |
지정된 기간 동안 OpenSearch 서비스에 인덱싱된 레코드 수입니다. 단위: 개 |
DeliveryToAmazonOpenSearchService.Success |
성공적으로 인덱싱된 레코드의 합계입니다. |
DeliveryToRedshift.Bytes |
지정한 시간 동안 Amazon Redshift으로 복사된 바이트 수. 단위: 바이트 |
DeliveryToRedshift.Records |
지정한 시간 동안 Amazon Redshift으로 복사된 레코드 수. 단위: 개 |
DeliveryToRedshift.Success |
성공한 Amazon Redshift COPY 명령의 합계입니다. |
DeliveryToS3.Bytes |
지정한 시간 동안 Amazon S3로 전송된 바이트 수. 단위: 바이트 |
DeliveryToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 수명(Amazon Data Firehose에 로그인하는 시점부터 현재까지)입니다. 이 경과 시간보다 오래된 레코드는 모두 S3 버킷으로 전송되었습니다. 단위: 초 |
DeliveryToS3.Records |
지정한 시간 동안 Amazon S3로 전송된 레코드 수. 단위: 개 |
DeliveryToS3.Success |
성공적인 Amazon S3 풋 명령의 합계입니다. |
DeliveryToSplunk.Bytes |
지정한 시간 동안 Splunk로 전송된 바이트 수. 단위: 바이트 |
DeliveryToSplunk.DataAckLatency |
Amazon Data Firehose가 데이터를 전송한 후 Splunk로부터 확인을 받는 데 걸리는 대략적인 기간입니다. 이 측정치에 대한 증가 또는 감소 추세가 절대 근사치보다 더 유용합니다. 증가 추세는 Splunk 인덱서로부터 더 느린 인덱싱 및 승인 비율을 나타낼 수 있습니다. 단위: 초 |
DeliveryToSplunk.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연령(Amazon Data Firehose에 로그인한 시점부터 현재까지). 이 경과 시간보다 오래된 레코드는 모두 Splunk로 전송되었습니다. 단위: 초 |
DeliveryToSplunk.Records |
지정한 시간 동안 Splunk로 전송된 레코드 수. 단위: 개 |
DeliveryToSplunk.Success |
성공적으로 인덱싱된 레코드의 합계입니다. |
IncomingBytes |
지정된 기간 동안 Firehose 스트림에 성공적으로 수집된 바이트 수입니다. Firehose 스트림 제한 중 하나를 초과할 경우 데이터 수집이 제한될 수 있습니다. 제한된 데이터는 단위: 바이트 |
IncomingPutRequests |
지정된 기간 동안 성공 PutRecord 한 및 PutRecordBatch 요청 수입니다. 단위: 개 |
IncomingRecords |
지정된 기간 동안 Firehose 스트림에 성공적으로 수집된 레코드 수입니다. Firehose 스트림 제한 중 하나를 초과할 경우 데이터 수집이 제한될 수 있습니다. 제한된 데이터는 단위: 개 |
RecordsPerSecondLimit |
Firehose 스트림이 제한하기 전에 수집할 수 있는 초당 현재 최대 레코드 수입니다. 단위: 개 |
ThrottledRecords |
데이터 수집이 Firehose 스트림 제한 중 하나를 초과했기 때문에 제한된 레코드 수입니다. 단위: 개 |
에서 데이터 수집 MSK
| 지표 | 설명 |
|---|---|
DataReadFromSource.Records
|
소스 Kafka 주제에서 읽은 레코드 수. 단위: 개 |
DataReadFromSource.Bytes
|
소스 Kafka 주제에서 읽은 바이트 수. 단위: 바이트 |
SourceThrottled.Delay
|
소스 Kafka 클러스터가 소스 Kafka 주제의 레코드를 반환하는 데 지연된 시간. 단위: 밀리초 |
BytesPerSecondLimit
|
Firehose가 소스 Kafka 주제의 각 파티션에서 읽을 수 있는 처리량의 현재 한도. 단위: 바이트/초 |
KafkaOffsetLag
|
Firehose가 소스 Kafka 주제에서 읽은 레코드의 최대 오프셋과 소스 Kafka 주제에서 사용할 수 있는 레코드의 최대 오프셋 간의 차이. 단위: 개 |
FailedValidation.Records
|
레코드 검증에 실패한 레코드 수. 단위: 개 |
FailedValidation.Bytes
|
레코드 검증에 실패한 바이트 수. 단위: 바이트 |
DataReadFromSource.Backpressured
|
파티션 BytesPerSecondLimit 당이 초과되었거나 정상적인 전송 흐름이 느리거나 중지되었기 때문에 Firehose 스트림이 소스 파티션에서 레코드를 읽는 데 지연됨을 나타냅니다. 단위: 부울 |
API-레벨 CloudWatch 지표
AWS/Firehose 네임스페이스에는 다음과 같은 API수준 지표가 포함됩니다.
| 지표 | 설명 |
|---|---|
DescribeDeliveryStream.Latency |
단위: 밀리초 |
DescribeDeliveryStream.Requests |
단위: 개 |
ListDeliveryStreams.Latency |
단위: 밀리초 |
ListDeliveryStreams.Requests |
단위: 개 |
PutRecord.Bytes |
지정된 기간 단위: 바이트 |
PutRecord.Latency |
단위: 밀리초 |
PutRecord.Requests |
단위: 개 |
PutRecordBatch.Bytes |
지정된 기간 단위: 바이트 |
PutRecordBatch.Latency |
단위: 밀리초 |
PutRecordBatch.Records |
단위: 개 |
PutRecordBatch.Requests |
단위: 개 |
PutRequestsPerSecondLimit |
제한하기 전에 Firehose 스트림이 처리할 수 있는 초당 최대 투입 요청 수입니다. 이 번호에는 PutRecord 및 PutRecordBatch 요청이 포함됩니다. 단위: 개 |
ThrottledDescribeStream |
데이터 원본이 Kinesis 데이터 스트림일 때 단위: 개 |
ThrottledGetRecords |
데이터 원본이 Kinesis 데이터 스트림일 때 단위: 개 |
ThrottledGetShardIterator |
데이터 원본이 Kinesis 데이터 스트림일 때 단위: 개 |
UpdateDeliveryStream.Latency |
단위: 밀리초 |
UpdateDeliveryStream.Requests |
단위: 개 |
데이터 변환 CloudWatch 지표
Lambda를 이용한 데이터 변환이 활성화된 경우 AWS/Firehose 네임스페이스에 다음과 같은 지표가 포함됩니다.
| 지표 | 설명 |
|---|---|
ExecuteProcessing.Duration |
Firehose에서 수행하는 각 Lambda 함수 호출에 걸리는 시간입니다. 단위: 밀리초 |
ExecuteProcessing.Success |
전체 Lambda 함수 호출의 합계 대비 성공한 Lambda 함수 호출의 합계. |
SucceedProcessing.Records |
지정한 시간 동안 성공적으로 처리된 레코드 수 단위: 개 |
SucceedProcessing.Bytes |
지정한 시간 동안 성공적으로 처리된 바이트 수 단위: 바이트 |
CloudWatch 압축 해제 지표 기록
CloudWatch 로그 전송에 압축 해제가 활성화된 경우 AWS/Firehose 네임스페이스에는 다음 지표가 포함됩니다.
| 지표 | 설명 |
|---|---|
OutputDecompressedBytes.Success |
바이트 단위의 압축 해제된 데이터 성공 단위: 바이트 |
OutputDecompressedBytes.Failed |
바이트 단위의 압축 해제된 데이터 실패 단위: 바이트 |
OutputDecompressedRecords.Success |
압축 해제된 레코드 성공 수 단위: 개 |
OutputDecompressedRecords.Failed |
실패한 압축 해제된 레코드 수 단위: 개 |
형식 변환 CloudWatch 지표
형식 변환이 활성화된 경우 AWS/Firehose 네임스페이스에 다음 지표가 포함됩니다.
| 지표 | 설명 |
|---|---|
SucceedConversion.Records |
성공적으로 변환된 레코드 수. 단위: 개 |
SucceedConversion.Bytes |
성공적으로 변환된 레코드의 크기. 단위: 바이트 |
FailedConversion.Records |
변환하지 못한 레코드 수. 단위: 개 |
FailedConversion.Bytes |
변환하지 못한 레코드의 크기. 단위: 바이트 |
서버 측 암호화(SSE) CloudWatch 지표
AWS/Firehose 네임스페이스에는 와 관련된 다음 지표가 포함됩니다SSE.
| 지표 | 설명 |
|---|---|
KMSKeyAccessDenied |
서비스가 Firehose 스트림에 단위: 개 |
KMSKeyDisabled |
서비스가 Firehose 스트림에 단위: 개 |
KMSKeyInvalidState |
서비스가 Firehose 스트림에 단위: 개 |
KMSKeyNotFound |
서비스가 Firehose 스트림에 단위: 개 |
Amazon Data Firehose의 차원
Firehose 스트림을 기준으로 지표를 필터링하려면 DeliveryStreamName차원을 사용합니다.
Amazon Data Firehose 사용 지표
CloudWatch 사용량 지표를 사용하여 계정의 리소스 사용에 대한 가시성을 제공할 수 있습니다. 이러한 지표를 사용하여 CloudWatch 그래프 및 대시보드에서 현재 서비스 사용량을 시각화할 수 있습니다.
서비스 할당량 사용량 지표는 AWS/Usage 네임스페이스에 있으며 1분마다 수집됩니다.
현재 이 네임스페이스에서 CloudWatch 게시하는 유일한 지표 이름은 입니다ResourceCount. 이 지표는 Service, Class, Type 및 Resource 차원으로 게시됩니다.
| 지표 | 설명 |
|---|---|
ResourceCount |
계정에서 실행 중인 지정된 리소스의 수입니다. 리소스는 지표와 연결된 차원에 의해 정의됩니다. 이 지표에 가장 유용한 통계는 이며MAXIMUM, 이는 1분 동안 사용된 최대 리소스 수를 나타냅니다. |
다음 차원은 Amazon Data Firehose에서 게시한 사용량 지표를 구체화하는 데 사용됩니다.
| 측정기준 | 설명 |
|---|---|
Service |
리소스가 포함된 AWS 서비스의 이름입니다. Amazon Data Firehose 사용량 지표의 경우 이 차원의 값은 입니다 |
Class |
추적 중인 리소스의 클래스입니다. Amazon Data Firehose API 사용량 지표는 값이 인 이 차원을 사용합니다 |
Type |
추적 중인 리소스의 유형. 현재 서비스 차원이 |
Resource |
AWS 리소스의 이름입니다. 현재 서비스 차원이 |
