커넥터 및 종속성 사용 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려졌습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

커넥터 및 종속성 사용

커넥터를 사용하면 다양한 기술 전반에서 데이터를 읽고 쓸 수 있습니다. Managed Service for Apache Flink는 Studio 노트북과 함께 세 개의 기본 커넥터를 번들로 제공합니다. 사용자 지정 커넥터를 사용할 수도 있습니다. 커넥터에 대한 자세한 내용은 Apache Flink 설명서의 테이블 및 SQL 커넥터를 참조하세요.

기본 커넥터

를 사용하여 Studio 노트북 AWS Management Console 을 생성하는 경우 Managed Service for Apache Flink에는 기본적으로 flink-sql-connector-kinesis, flink-connector-kafka_2.12 및 와 같은 사용자 지정 커넥터가 포함됩니다aws-msk-iam-auth. 이러한 사용자 지정 커넥터 없이 콘솔을 통해 Studio 노트북을 만들려면 사용자 지정 설정으로 만들기 옵션을 선택합니다. 그런 다음 구성 페이지로 이동하면 두 커넥터 옆에 있는 확인란의 선택을 취소하세요.

를 사용하여 Studio 노트북CreateApplicationAPI을 생성하는 경우 flink-sql-connector-flinkflink-connector-kafka 커넥터는 기본적으로 포함되지 않습니다. 추가하려면 다음 예와 같이 CustomArtifactsConfiguration 데이터 유형에 MavenReference(으)로 지정하세요.

aws-msk-iam-auth 커넥터는 Amazon에서 사용할 커넥터MSK로, 를 사용하여 자동으로 인증하는 기능이 포함되어 있습니다IAM.

참고

다음 예제에 표시된 커넥터 버전은 지원되는 유일한 버전입니다.

For the Kinesis connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-sql-connector-kinesis", "Version": "1.15.4" } }] For authenticating with AWS MSK through AWS IAM: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "software.amazon.msk", "ArtifactId": "aws-msk-iam-auth", "Version": "1.1.6" } }] For the Apache Kafka connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-connector-kafka", "Version": "1.15.4" } }]

이러한 커넥터를 기존 노트북에 추가하려면 UpdateApplication API 작업을 사용하여 CustomArtifactsConfigurationUpdate 데이터 형식MavenReference에 로 지정합니다.

참고

테이블 의 flink-sql-connector-kinesis 커넥터에 대해 truefailOnError로 설정할 수 있습니다API.

종속성 및 사용자 지정 커넥터 추가

AWS Management Console 를 사용하여 Studio 노트북에 종속성 또는 사용자 지정 커넥터를 추가하려면 다음 단계를 수행합니다.

  1. 사용자 정의 커넥터 파일을 Amazon S3에 업로드합니다.

  2. 에서 Studio 노트북을 생성하기 위한 사용자 지정 생성 옵션을 AWS Management Console선택합니다.

  3. 구성 단계에 도달할 때까지 Studio 노트북 제작 워크플로를 따르세요.

  4. 사용자 지정 커넥터 섹션에서 사용자 지정 커넥터 추가를 선택합니다.

  5. 종속성 또는 사용자 지정 커넥터의 Amazon S3 위치를 지정합니다.

  6. Save changes(변경 사항 저장)를 선택합니다.

를 사용하여 새 Studio 노트북을 생성할 때 종속성 JAR 또는 사용자 지정 커넥터를 추가하려면 종속성의 Amazon S3 위치 JAR 또는 CustomArtifactsConfiguration 데이터 형식의 사용자 지정 커넥터를 CreateApplication API지정합니다. 기존 Studio 노트북에 종속성 또는 사용자 지정 커넥터를 추가하려면 UpdateApplication API 작업을 호출하고 종속성의 Amazon S3 위치 JAR 또는 CustomArtifactsConfigurationUpdate 데이터 형식의 사용자 지정 커넥터를 지정합니다.

참고

종속성이나 사용자 지정 커넥터를 포함할 때는 종속성 또는 사용자 지정 커넥터에 번들로 제공되지 않은 모든 전이적 종속성도 포함해야 합니다.