아파치 빔을 사용하여 애플리케이션 만들기

다음 콘텐츠를 가진 ping.py이라는 파일을 생성합니다:

import json
import boto3
import random

kinesis = boto3.client('kinesis')

while True:
        data = random.choice(['ping', 'telnet', 'ftp', 'tracert', 'netstat'])
        print(data)
        kinesis.put_record(
                StreamName="ExampleInputStream",
                Data=data,
                PartitionKey="partitionkey")

ping.py 스크립트를 실행합니다.

$ python ping.py

자습서의 나머지 부분을 완료하는 동안 스크립트가 계속 돌아가게 둡니다.

아직 설치하지 않았다면 Git 클라이언트를 설치합니다. 자세한 정보는 Git 설치를 참조하세요.

다음 명령을 사용하여 원격 리포지토리를 복제합니다:

git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

amazon-kinesis-data-analytics-java-examples/Beam 디렉터리로 이동합니다.

아직 Java 및 Maven을 설치하지 않았으면 설치합니다. 자세한 정보는 자습서: Managed Service for Apache Flink에서 사용 DataStream API 시작하기자습서의 필수 사전 조건 완료 섹션을 참조하세요.

다음 명령을 사용하여 애플리케이션을 컴파일합니다.

mvn package -Dflink.version=1.15.2 -Dflink.version.minor=1.8

Amazon S3 콘솔에서 다음을 선택합니다. ka-app-code -<username>버킷을 선택하고 업로드를 선택합니다.

파일 선택 단계에서 파일 추가를 선택합니다. 이전 단계에서 생성한 basic-beam-app-1.0.jar 파일로 이동합니다.

개체 정보에 대한 설정은 변경할 필요가 없으므로 업로드를 선택합니다.

/flink에서 아파치 플링크용 관리 서비스 콘솔을 엽니다. https://console.aws.amazon.com

Managed Service for Apache Flink 대시보드에서 분석 애플리케이션 생성을 선택합니다.

Managed Service for Apache Flink - 애플리케이션 생성 페이지에서 다음과 같이 애플리케이션 세부 정보를 제공합니다.

액세스 권한에서 역할 생성/업데이트를 선택합니다. IAM kinesis-analytics-MyApplication-us-west-2

애플리케이션 생성을 선택합니다.

에서 IAM https://console.aws.amazon.com/iam/콘솔을 엽니다.

정책을 선택하세요. 이전 섹션에서 콘솔이 생성한 kinesis-analytics-service-MyApplication-us-west-2 정책을 선택합니다.

요약 페이지에서 정책 편집을 선택합니다. JSON탭을 선택합니다.

다음 정책 예제의 강조 표시된 부분을 정책에 추가하세요. 샘플 계정 교체 IDs (012345678901) 를 계정 ID로 사용하십시오.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ReadCode",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "logs:DescribeLogGroups",
                "s3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:logs:us-west-2:012345678901:log-group:*",
                "arn:aws:s3:::ka-app-code-<username>/basic-beam-app-1.0.jar"
            ]
        },
        {
            "Sid": "DescribeLogStreams",
            "Effect": "Allow",
            "Action": "logs:DescribeLogStreams",
            "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
        },
        {
            "Sid": "PutLogEvents",
            "Effect": "Allow",
            "Action": "logs:PutLogEvents",
            "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
        },
        {
            "Sid": "ListCloudwatchLogGroups",
            "Effect": "Allow",
            "Action": [
                "logs:DescribeLogGroups"
            ],
            "Resource": [
                "arn:aws:logs:us-west-2:012345678901:log-group:*"
            ]
        },
        {
            "Sid": "ReadInputStream",
            "Effect": "Allow",
            "Action": "kinesis:*",
            "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
        },
        {
            "Sid": "WriteOutputStream",
            "Effect": "Allow",
            "Action": "kinesis:*",
            "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
        }
    ]
}

MyApplication페이지에서 구성을 선택합니다.

애플리케이션 구성 페이지에서 코드 위치를 입력합니다.

애플리케이션 리소스 액세스에서 액세스 권한으로 IAM 역할 생성/업데이트를 선택합니다kinesis-analytics-MyApplication-us-west-2.

다음을 입력합니다:

모니터링에서 지표 수준 모니터링이 애플리케이션으로 설정되어 있는지 확인합니다.

CloudWatch 로깅하려면 활성화 확인란을 선택합니다.

업데이트를 선택합니다.

/flink에서 아파치 플링크용 매니지드 서비스 콘솔을 엽니다. https://console.aws.amazon.com

Apache Flink용 관리 서비스 패널에서 선택합니다. MyApplication

애플리케이션 페이지에서 삭제를 선택한 다음 삭제를 확인합니다.

/kinesis에서 Kinesis 콘솔을 엽니다. https://console.aws.amazon.com

Kinesis Data Streams 패널에서 을 선택합니다. ExampleInputStream

ExampleInputStream페이지에서 Kinesis 스트림 삭제를 선택한 다음 삭제를 확인합니다.

Kinesis 스트림 페이지에서 를 선택하고 작업을 선택하고 삭제를 선택한 다음 삭제를 확인합니다. ExampleOutputStream

에서 Amazon S3 콘솔을 엽니다 https://console.aws.amazon.com/s3/.

다음을 선택합니다. ka-app-code -<username> 버킷.

삭제를 선택한 후 버킷 이름을 입력하여 삭제를 확인합니다.

에서 IAM 콘솔을 엽니다 https://console.aws.amazon.com/iam/.

탐색 바에서 정책을 선택합니다.

필터 컨트롤에서 kinesis를 입력합니다.

kinesis-analytics-service- MyApplication -us-west-2 정책을 선택합니다.

정책 작업을 선택한 후 삭제를 선택합니다.

탐색 모음에서 역할을 선택합니다.

키네시스-애널리틱스- -US-West-2 역할을 선택합니다. MyApplication

역할 삭제를 선택하고 삭제를 확인합니다.

에서 CloudWatch 콘솔을 엽니다 https://console.aws.amazon.com/cloudwatch/.

탐색 바에서 로그를 선택합니다.

MyApplication/aws/kinesis-analytics/ 로그 그룹을 선택합니다.

로그 그룹 삭제를 선택한 다음 삭제를 확인합니다.