샘플 데이터를 사용하여 Firehose 스트림 테스트 - Amazon Data Firehose
사전 조건Amazon S3 테스트Amazon Redshift로 테스트OpenSearch Service로 테스트Splunk로 테스트Apache Iceberg 테이블로 테스트

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

샘플 데이터를 사용하여 Firehose 스트림 테스트

AWS Management Console를 이용해 시뮬레이션한 재고 티커 데이터를 수집할 수 있습니다. 콘솔은 브라우저에서 스크립트를 실행해 Firehose 스트림에 샘플 레코드를 넣습니다. 그러면 사용자는 테스트 데이터를 직접 생성할 필요 없이 Firehose 스트림의 구성을 테스트할 수 있습니다.

다음은 시뮬레이션한 데이터의 예입니다.

{"TICKER_SYMBOL":"QXZ","SECTOR":"HEALTHCARE","CHANGE":-0.05,"PRICE":84.51}

Firehose 스트림이 데이터를 전송하면 표준 Amazon Data Firehose 요금이 적용되지만 데이터가 생성될 때는 요금이 부과되지 않습니다. 이러한 요금이 발생하지 않도록 하기 위해 언제든 콘솔에서 샘플 스트림을 중단할 수 있습니다.

사전 조건

시작하기 전에 Firehose 스트림을 생성합니다. 자세한 내용은 자습서: 콘솔에서 Firehose 스트림 생성 섹션을 참조하세요.

Amazon S3 테스트

다음 절차에 따라 Amazon Simple Storage Service(S3)로 Firehose 스트림을 테스트합니다.

Amazon S3을 사용하여 Firehose 스트림 테스트

  1. https://console.aws.amazon.com/firehose/에서 Firehose 콘솔을 엽니다.

  2. 활성 Firehose 스트림을 선택합니다. 데이터 전송을 시작하려면 Firehose 스트림이 활성 상태여야 합니다.

  3. [Test with demo data]에서 [Start sending demo data]를 선택해 샘플 재고 티커 데이터를 생성합니다.

  4. 화면의 지침을 따라 데이터가 S3 버킷으로 전송되고 있는지 확인합니다. 버킷의 버퍼링 구성에 따라 새 객체가 버킷에 표시되기까지 몇 분이 걸릴 수 있습니다.

  5. 테스트가 완료되면 [Stop sending demo data]를 선택해 사용 요금이 발생하지 않도록 합니다.

Amazon Redshift로 테스트

다음 절차에 따라 Amazon Redshift로 Firehose 스트림을 테스트합니다.

Amazon Redshift를 사용하여 Firehose 스트림 테스트

  1. Firehose 스트림은 Amazon Redshift 클러스터에 테이블이 표시되기를 기다립니다. SQL 인터페이스를 통해 Amazon Redshift에 연결하고 다음 문을 실행해 샘플 데이터를 수락하는 테이블을 만듭니다.

    create table firehose_test_table
(
	TICKER_SYMBOL varchar(4),
	SECTOR varchar(16),
	CHANGE float,
	PRICE float
);

  2. https://console.aws.amazon.com/firehose/에서 Firehose 콘솔을 엽니다.

  3. 활성 Firehose 스트림을 선택합니다. 데이터 전송을 시작하려면 Firehose 스트림이 활성 상태여야 합니다.

  4. 새로 생성된 firehose_test_table 테이블을 가리키도록 Firehose 스트림의 대상 세부 정보를 편집합니다.

  5. [Test with demo data]에서 [Start sending demo data]를 선택해 샘플 재고 티커 데이터를 생성합니다.

  6. 화면의 지침을 따라 데이터가 테이블로 전송되고 있는지 확인합니다. 버퍼링 구성에 따라 새 행이 테이블에 표시되기까지 몇 분이 걸릴 수 있습니다.

  7. 테스트가 완료되면 [Stop sending demo data]를 선택해 사용 요금이 발생하지 않도록 합니다.

  8. 다른 테이블을 가리키도록 Firehose 스트림의 대상 세부 정보를 편집합니다.

  9. (선택 사항) firehose_test_table 테이블을 삭제합니다.

OpenSearch Service로 테스트

다음 절차에 따라 Amazon OpenSearch Service를 대상으로 사용하여 Firehose 스트림을 테스트합니다.

OpenSearch 서비스를 사용하여 Firehose 스트림 테스트

  1. https://console.aws.amazon.com/firehose/에서 Firehose 콘솔을 엽니다.

  2. 활성 Firehose 스트림을 선택합니다. 데이터 전송을 시작하려면 Firehose 스트림이 활성 상태여야 합니다.

  3. [Test with demo data]에서 [Start sending demo data]를 선택해 샘플 재고 티커 데이터를 생성합니다.

  4. 화면의 지침을 따라 데이터가 OpenSearch Service 도메인으로 전송되고 있는지 확인합니다. 자세한 내용은 Amazon OpenSearch Service 개발자 안내서의 OpenSearch Service 도메인에서 문서 검색을 참조하세요.

  5. 테스트가 완료되면 [Stop sending demo data]를 선택해 사용 요금이 발생하지 않도록 합니다.

Splunk로 테스트

다음 절차에 따라 Splunk를 대상으로 사용하여 Firehose 스트림을 테스트합니다.

Splunk를 사용하여 Firehose 스트림 테스트

  1. https://console.aws.amazon.com/firehose/에서 Firehose 콘솔을 엽니다.

  2. 활성 Firehose 스트림을 선택합니다. 데이터 전송을 시작하려면 Firehose 스트림이 활성 상태여야 합니다.

  3. [Test with demo data]에서 [Start sending demo data]를 선택해 샘플 재고 티커 데이터를 생성합니다.

  4. Splunk 인덱스로 데이터가 전송되고 있는지 확인하세요. Splunk의 검색어 예시로는 sourcetype="aws:firehose:json" 및 index="name-of-your-splunk-index"가 있습니다. Splunk의 이벤트를 검색하는 방법에 대한 자세한 내용은 Splunk 설명서의 검색 매뉴얼을 참조하세요.

    테스트 데이터가 Splunk 인덱스에 표시되지 않는 경우 Amazon S3 버킷에 실패한 이벤트가 있는지 확인하세요. Splunk로 데이터가 전송되지 않음 또한 참조하세요.

  5. 테스트를 완료하면 [Stop sending demo data]를 선택해 사용 요금이 발생하지 않도록 합니다.

Apache Iceberg 테이블로 테스트

다음 절차에 따라 Apache Iceberg 테이블을 대상으로 사용하여 Firehose 스트림을 테스트합니다.

Apache Iceberg 테이블을 사용하여 Firehose 스트림 테스트

  1. https://console.aws.amazon.com/firehose/에서 Firehose 콘솔을 엽니다.

  2. 활성 Firehose 스트림을 선택합니다. 데이터 전송을 시작하려면 Firehose 스트림이 활성 상태여야 합니다.

  3. [Test with demo data]에서 [Start sending demo data]를 선택해 샘플 재고 티커 데이터를 생성합니다.

  4. 화면의 지침을 따라 데이터가 Apache Iceberg 테이블로 전송되고 있는지 확인합니다. 버퍼링 구성에 따라 새 객체가 버킷에 표시되기까지 몇 분이 걸릴 수 있습니다.

  5. 테스트 데이터가 Apache Iceberg 테이블에 표시되지 않는 경우 Amazon S3 버킷에 실패한 이벤트가 있는지 확인하세요.

  6. 테스트를 완료하면 [Stop sending demo data]를 선택해 사용 요금이 발생하지 않도록 합니다.