데이터 스트림 생성 - Amazon Kinesis Data Streams

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

데이터 스트림 생성

자습서: KPL 및 KCL 1.x를 사용하여 실시간 주식 데이터 처리의 첫 단계에서는 후속 단계에서 사용할 스트림을 생성합니다.

스트림을 만들려면
  1. AWS Management Console에 로그인하여 https://console.aws.amazon.com/kinesis에서 Kinesis 콘솔을 엽니다.

  2. 탐색 창에서 Data Streams(데이터 스트림)를 선택합니다.

  3. 탐색 모음에서 리전 선택기를 확장하고 리전을 선택합니다.

  4. Create Kinesis stream(Kinesis 스트림 생성)을 선택합니다.

  5. 스트림 이름을 입력합니다(예: StockTradeStream).

  6. 샤드 수에는 1을 입력하고, 필요한 샤드 수 추정은 축소된 상태로 둡니다.

  7. Create Kinesis stream(Kinesis 스트림 생성)을 선택합니다.

스트림이 생성되는 동안 Kinesis 스트림 목록 페이지에서 스트림 상태는 CREATING입니다. 스트림을 사용할 준비가 되면 상태가 ACTIVE(활성)로 변경됩니다. 스트림 명칭을 선택합니다. 다음에 나타나는 페이지의 Details(세부 정보) 탭에는 스트림 구성 요약이 표시됩니다. Monitoring(모니터링) 섹션에는 스트림에 대한 모니터링 정보가 표시됩니다.

샤드에 대한 추가 정보

이 자습서가 아니라 실제로 Kinesis Data Streams를 사용하기 시작할 경우 스트림 생성 프로세스를 더 신중하게 계획해야 할 수 있습니다. 샤드를 프로비저닝할 때 예상되는 최대 수요를 계획해야 합니다. 이 시나리오를 예제로 사용하면, 미국 주식 시장 거래 트래픽이 낮(동부 시간) 동안 최대가 되며 수요 예상은 해당 시간대에서 샘플링되어야 합니다. 그런 다음 최대 예상 수요에 대한 프로비저닝을 선택하거나 수요 변동에 따라 스트림을 확장 및 축소합니다.

샤드는 처리 용량의 단위입니다. Kinesis 스트림 생성 페이지에서 필요한 샤드 수 추정을 확장합니다. 다음 지침에 따라 평균 레코드 크기, 초당 작성된 최대 레코드 및 사용하는 애플리케이션의 수를 입력합니다.

평균 레코드 크기

계산된 평균 레코드 크기의 추정입니다. 이 값을 모르는 경우 이 값에 대해 예상 최대 레코드 크기를 사용하십시오.

작성된 최대 레코드

데이터를 제공하는 개체의 수와 각 개체가 생성한 대략적인 초당 레코드 수를 고려하세요. 예를 들어, 20개의 거래 서버에서 주식 거래 데이터를 가져오고 각각 초당 250개의 거래를 생성하는 경우 초당 총 거래(레코드) 수는 초당 5000개입니다.

사용하는 애플리케이션 수

다른 방식으로 스트림을 처리하고 다른 출력을 생성하기 위해 스트림에서 독립적으로 읽는 애플리케이션의 수입니다. 각 애플리케이션에는 다른 시스템에서 실행(즉, 클러스터에서 실행)되는 여러 인스턴스가 있을 수 있으므로 대량의 스트림을 유지할 수 있습니다.

표시된 예상 샤드 수가 현재 샤드 제한을 초과하는 경우 해당 샤드 수가 있는 스트림을 생성하기 전에 해당 제한의 증가 요청을 제출해야 할 수도 있습니다. 샤드 제한 증가를 요청하려면 Kinesis Data Streams 제한 양식을 사용하세요. 스트림 및 샤드에 대한 자세한 내용은 Kinesis 데이터 스트림 생성 및 관리 섹션을 참조하세요.

다음 단계

IAM 정책 및 사용자 생성