Managed Service for Apache Flink 애플리케이션 생성 및 실행

데이터 스트림 (AWS CLI)을 생성하려면

1. 첫 번째 스트림(ExampleInputStream)을 생성하려면 다음 Amazon Kinesis create-stream AWS CLI 명령을 사용합니다.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-east-1 \

2. 애플리케이션이 출력을 쓰는 데 사용하는 두 번째 스트림을 생성하려면 동일한 명령을 실행하고 스트림 이름을 로 변경합니다ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-east-1 \

1. 다음 명령을 사용하여 원격 리포지토리를 복제합니다.

   git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git

2. amazon-managed-service-for-apache-flink-examples/tree/main/java/GettingStarted 디렉터리로 이동합니다.

레코드를 관찰하려면

1. https://console.aws.amazon.com/kinesis 에서 Kinesis 콘솔을 엽니다.

2. 리전이 기본적으로 us-east-1 US East(버지니아 북부)인 이 자습서를 실행하는 곳과 동일한지 확인합니다. 리전이 일치하지 않는 경우 리전을 변경합니다.

3. 데이터 스트림 을 선택합니다.

4. ExampleInputStream 또는 중에서 관찰하려는 스트림을 선택합니다. ExampleOutputStream.

5. 데이터 뷰어 탭을 선택합니다.

6. 샤드를 선택하고 최신을 시작 위치로 유지한 다음 레코드 가져오기를 선택합니다. “이 요청에 대한 레코드를 찾을 수 없음” 오류가 표시될 수 있습니다. 그렇다면 레코드 가져오기 재시도를 선택합니다. 스트림 디스플레이에 게시된 최신 레코드입니다.

7. 데이터 열에서 값을 선택하여 JSON 형식의 레코드 내용을 검사합니다.

애플리케이션 코드 JAR 파일을 업로드하려면

1. 에서 Amazon S3 콘솔을 엽니다https://console.aws.amazon.com/s3/.

2. 애플리케이션 코드에 대해 이전에 생성한 버킷을 선택합니다.

3. 업로드를 선택합니다.

4. [Add Files]를 선택합니다.

5. 이전 단계에서 생성된 JAR 파일 로 이동합니다target/amazon-msf-java-stream-app-1.0.jar.

6. 다른 설정을 변경하지 않고 업로드를 선택합니다.

애플리케이션을 생성하려면

1. https://console.aws.amazon.com/flink에서 Managed Service for Apache Flink 콘솔 열기

2. us-east-1 US East(버지니아 북부)와 같은 올바른 리전이 선택되었는지 확인합니다.

3. 오른쪽의 메뉴를 열고 Apache Flink 애플리케이션을 선택한 다음 스트리밍 애플리케이션 생성 을 선택합니다. 또는 초기 페이지의 시작하기 컨테이너에서 스트리밍 애플리케이션 생성을 선택합니다.

4. 스트리밍 애플리케이션 생성 페이지에서:

   • 스트림 처리 애플리케이션을 설정할 방법을 선택합니다. 처음부터 생성을 선택합니다.

   • Apache Flink 구성, Application Flink 버전: Apache Flink 1.19를 선택합니다.

5. 애플리케이션 구성

   • 애플리케이션 이름: 를 입력합니다MyApplication.

   • 설명: 를 입력합니다My java test app.

   • 애플리케이션 리소스에 대한 액세스: 필요한 정책kinesis-analytics-MyApplication-us-east-1으로 IAM 역할 생성/업데이트를 선택합니다.

6. 애플리케이션 설정을 위한 템플릿 구성

   • 템플릿: 개발 을 선택합니다.

7. 페이지 하단에서 스트리밍 애플리케이션 생성을 선택합니다.

정책을 편집하려면

1. 에서 IAM 콘솔을 엽니다https://console.aws.amazon.com/iam/.

2. 정책을 선택하세요. 이전 섹션에서 콘솔이 생성한 kinesis-analytics-service-MyApplication-us-east-1 정책을 선택합니다.

3. 편집을 선택한 다음 JSON 탭을 선택합니다.

4. 다음 정책 예제의 강조 표시된 부분을 정책에 추가하세요. 샘플 계정 교체IDs(012345678901)를 계정 ID와 함께 사용합니다.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::my-bucket/kinesis-analytics-placeholder-s3-object"
               ]
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

5. 페이지 하단에서 다음을 선택한 다음 변경 사항 저장을 선택합니다.

구성을 편집하려면

1. MyApplication 페이지에서 구성을 선택합니다.

2. 애플리케이션 코드 위치 섹션에서 다음을 수행합니다.

   • Amazon S3 버킷 에서 애플리케이션 코드에 대해 이전에 생성한 버킷을 선택합니다. 찾아보기를 선택하고 올바른 버킷을 선택한 다음 선택을 선택합니다. 버킷 이름을 클릭하지 마세요.

   • Amazon S3 객체 경로에는 amazon-msf-java-stream-app-1.0.jar를 입력합니다.

3. 액세스 권한 에서 필요한 정책kinesis-analytics-MyApplication-us-east-1으로 IAM 역할 생성/업데이트를 선택합니다.

4. 런타임 속성 섹션에서 다음 속성을 추가합니다.

5. 새 항목 추가를 선택하고 다음 각 파라미터를 추가합니다.

   그룹 ID	키	값
   InputStream0	stream.name	ExampleInputStream
   InputStream0	aws.region	us-east-1
   OutputStream0	stream.name	ExampleOutputStream
   OutputStream0	aws.region	us-east-1

6. 다른 섹션은 수정하지 마세요.

7. Save changes(변경 사항 저장)를 선택합니다.

애플리케이션을 실행하려면

1. Amazon Managed Service for Apache Flink용 콘솔에서 내 애플리케이션을 선택하고 실행을 선택합니다.

2. 다음 페이지의 애플리케이션 복원 구성 페이지에서 최신 스냅샷으로 실행을 선택한 다음 실행을 선택합니다.

   애플리케이션의 상태 세부 정보는 에서 Ready Starting로, 이후 애플리케이션이 시작Running되면 로 전환됩니다.

대시보드 열기

1. Apache Flink 대시보드 열기를 선택합니다. 대시보드가 새 페이지에서 열립니다.

2. 작업 실행 목록에서 볼 수 있는 단일 작업을 선택합니다.

   참고

   런타임 속성을 설정하거나 IAM 정책을 잘못 편집한 경우 애플리케이션 상태가 로 전환될 수 Running있지만 Flink 대시보드에 작업이 계속 다시 시작되고 있는 것으로 표시됩니다. 애플리케이션이 잘못 구성되었거나 외부 리소스에 액세스할 권한이 없는 경우 일반적인 장애 시나리오입니다.

   이 경우 Flink 대시보드의 예외 탭을 확인하여 문제의 원인을 확인합니다.

지표를 보려면

1. 새로 고침 버튼 옆에 있는 드롭다운 목록에서 10초를 선택합니다.

2. 애플리케이션이 실행 중이고 정상 상태이면 가동 시간 지표가 지속적으로 증가하는 것을 확인할 수 있습니다.

3. 전체 재시작 지표는 0이어야 합니다. 증가하면 구성에 문제가 있을 수 있습니다. 문제를 조사하려면 Flink 대시보드의 예외 탭을 검토하세요.

4. 정상 애플리케이션에서 실패한 체크포인트 수 지표는 0이어야 합니다.

   참고

   이 대시보드는 5분의 세분화된 고정 지표 세트를 표시합니다. 대시보드의 지표를 사용하여 사용자 지정 애플리케이션 CloudWatch 대시보드를 생성할 수 있습니다.

출력을 보려면

1. https://console.aws.amazon.com/kinesis 에서 Kinesis 콘솔을 엽니다.

2. 리전이 이 자습서를 실행하는 데 사용하는 리전과 동일한지 확인합니다. 기본적으로 us-east-1US East(버지니아 북부)입니다. 필요한 경우 리전을 변경합니다.

3. 데이터 스트림 을 선택합니다.

4. 관찰하려는 스트림을 선택합니다. 본 자습서에서는 ExampleOutputStream를 사용합니다.

5. 데이터 뷰어 탭을 선택합니다.

6. 샤드를 선택하고 최신을 시작 위치 로 유지한 다음 레코드 가져오기를 선택합니다. “이 요청에 대한 레코드를 찾을 수 없음” 오류가 표시될 수 있습니다. 그렇다면 레코드 가져오기 재시도를 선택합니다. 스트림에 게시된 최신 레코드가 표시됩니다.

7. 데이터 열에서 값을 선택하여 JSON 형식의 레코드 내용을 검사합니다.

애플리케이션을 중지하려면

1. 작업 드롭다운 목록에서 중지를 선택합니다.

2. 애플리케이션의 상태 세부 정보는 에서 Running로 Stopping전환된 다음 애플리케이션이 완전히 중지Ready되면 로 전환됩니다.

   참고

   또한 Python 스크립트 또는 Kinesis Data Generator에서 입력 스트림으로 데이터 전송을 중지하는 것도 잊지 마세요.