AWS Glue 연결은 특정 데이터 스토어에 대한 로그인 자격 증명, URI 문자열, Virtual Private Cloud(VPC) 정보 등을 저장하는 데이터 카탈로그 객체입니다. AWS Glue 크롤러, 작업 및 개발 엔드포인트는 특정 유형의 데이터 스토어에 액세스하기 위해 연결을 사용합니다. 소스와 대상 모두에 대한 연결을 사용하고 여러 크롤러 또는 추출, 전환, 적재(ETL) 작업에서 동일한 연결을 재사용할 수 있습니다.
최신 버전의 AWS Glue 연결 스키마는 AWS Glue, Amazon Athena, Amazon SageMaker AI Unified Studio 등과 같은 AWS 서비스 및 애플리케이션 전반에서 데이터 연결을 관리하는 통일된 방법을 제공합니다.
커넥터 및 연결 사용 개요
특정 데이터 스토어에 연결하는 데 필요한 속성을 포함하는 연결입니다. 연결을 생성하면 AWS Glue Data Catalog에 저장됩니다. 커넥터를 선택한 다음 해당 커넥터를 기반으로 연결을 생성합니다.
AWS Marketplace에서 기본적으로 지원되지 않는 데이터 스토어에 대한 커넥터를 구독한 다음 연결을 생성할 때 해당 커넥터를 사용할 수 있습니다. 개발자는 자체 커넥터를 생성하여 연결 생성 시 사용할 수 있습니다.
참고
AWS Glue Studio에서 사용자 지정 또는 AWS Marketplace 커넥터를 사용하여 생성된 연결은 유형이 UNKNOWN으로 설정되어 AWS Glue 콘솔에 표시됩니다.
다음 단계는 AWS Glue Studio에서 커넥터를 사용하는 전체 프로세스에 대해 설명합니다.
-
AWS Marketplace에서 커넥터를 구독하거나 고유한 커넥터를 개발하여 AWS Glue Studio에 업로드합니다. 자세한 내용은 AWS Glue Studio에 커넥터 추가 섹션을 참조하세요.
-
커넥터 사용 정보를 검토합니다. 이 정보는 커넥터 제품 페이지의 [사용(Usage)] 탭에서 찾을 수 있습니다. 예를 들어 제품 페이지 AWS Glue Connector for Google BigQuery(Google BigQuery용 커넥터)
에서 Usage(사용) 탭을 클릭하면 Additional Resources(추가 리소스) 섹션에서 이 커넥터 사용에 대한 블로그 링크를 볼 수 있습니다. -
연결을 생성합니다. 사용할 커넥터를 선택하고 로그인 자격 증명, URI 문자열 및 Virtual Private Cloud(VPC) 정보와 같은 연결에 대한 추가 정보를 제공합니다. 자세한 내용은 커넥터에 대한 연결 생성 섹션을 참조하세요.
-
작업에 대한 IAM 역할을 생성합니다. 작업은 생성할 때 지정한 [IAM role(IAM 역할)]의 권한을 가정합니다. 이 IAM 역할에는 데이터 스토어를 인증하고, 데이터 스토어에서 데이터를 추출하고, 데이터 스토어에 데이터를 쓰는 데 필요한 권한이 있어야 합니다.
-
ETL 작업을 생성하고 ETL 작업에 대한 데이터 원본 속성을 구성합니다. 사용자 정의 커넥터 공급자의 지시에 따라 연결 옵션 및 인증 정보를 제공합니다. 자세한 내용은 사용자 정의 커넥터로 작업 작성 섹션을 참조하세요.
-
AWS Glue Studio에서 시각적 ETL 작업 시작에 설명된 대로 변환 또는 추가 데이터 스토어를 추가하여 ETL 작업을 사용자 지정합니다.
-
데이터 대상에 커넥터를 사용하는 경우 ETL 작업에 대한 데이터 대상 속성을 구성합니다. 사용자 정의 커넥터 공급자의 지시에 따라 연결 옵션 및 인증 정보를 제공합니다. 자세한 내용은 사용자 정의 커넥터로 작업 작성 섹션을 참조하세요.
-
작업 속성 수정에 설명된 대로 작업 속성을 구성하여 작업 실행 환경을 사용자 지정합니다.
-
작업을 실행합니다.
통합 연결
통합 연결을 사용하면 데이터 연결 하나를 구성한 후 데이터 통합, 데이터 분석 및 데이터 과학의 사용 사례에 대해 다양한 서비스에서 재사용할 수 있습니다. AWS Glue 콘솔이나 통합 데이터 연결 API를 사용하여 맞춤형으로 구축된 애플리케이션을 통해 데이터 연결을 생성할 수 있습니다. 통합 연결을 사용하면 여러 서비스용으로 표준화된 연결 구성 템플릿을 사용하여 데이터 소스에 대한 연결을 설정할 수 있습니다. 이러한 서비스(AWS Glue, Amazon SageMaker AI Unified Studio 및 Amazon Athena)는 적절한 권한 구성을 포함하는 동일한 연결을 공유하고 재사용할 수 있습니다.
이제 AWS Glue Studio에서 기본적으로 통합 연결을 생성합니다. AWS Glue 콘솔에서는 연결 페이지, 연결 세부 정보 페이지 및 작업 세부 정보 페이지의 연결 테이블에서 연결 버전을 확인할 수 있습니다.
연결 버전은 연결 세부 정보에 표시됩니다.
연결 버전은 모든 연결을 볼 때도 표시됩니다.
마지막으로, 연결 버전은 작업에 대한 작업 세부 정보 탭에 표시됩니다.
버전 2 연결에서는 다음과 같은 확장된 데이터 연결 기능을 사용할 수 있습니다.
-
연결 유형 검색: 표준화된 템플릿을 사용하여 연결을 생성할 수 있도록 지원합니다. AWS Glue는 사용자가 액세스할 수 있는 연결 유형과 지정된 연결 유형에 대한 필수 입력과 선택적 입력을 자동으로 검색합니다.
-
재사용성: AWS Glue, Amazon Athena, Amazon SageMaker AI 같은 AWS 데이터 처리 엔진 및 도구 전반에서 연결 정의를 재사용할 수 있습니다. 이제 연결에는 ConnectionProperties에 저장된 공통 속성 외에도 컴퓨팅 환경/서비스별 연결 속성을 지정하는 데 사용할 수 있는 AthenaProperties, SparkProperties, PythonProperties가 포함되어 있습니다. Athena는 이제 AWS Glue에서 AthenaProperties 속성 맵의 Athena 관련 속성을 지정하여 연결을 생성합니다.
-
데이터 미리 보기: 연결된 소스에서 메타데이터를 찾아보고 데이터를 미리 볼 수 있는 기능입니다.
-
커넥터 메타데이터: 재사용 가능한 연결을 사용하여 테이블 메타데이터를 검색할 수 있습니다.
-
서비스 연결 보안 암호: 사용자는
CreateConnection요청에 필요한 OAuth, 기본 또는 사용자 지정 인증 자격 증명을 제공할 수 있습니다. CreateConnection API는 사용자를 대신하여 사용자 계정에 서비스 연결 보안 암호를 생성하고 자격 증명을 저장합니다.
지원되는 인증 유형
통합 연결은 다음 인증 유형을 지원합니다.
-
기본 - 대부분의 데이터베이스 연결 유형 및 기존 AWS Glue 연결 유형은 사용자 이름과 암호로 이루어진 기본 인증을 지원합니다. 이전에는 SecretsManager의 키 이름 지정이 커넥터별로 달랐습니다(예: user, username, userName, opensearch.net.http.auth.user 등). 여기서 통합 연결은 USERNAME 및 PASSWORD 키에 대한 기본 인증 연결 유형을 표준화했습니다.
-
OAUTH2 - 새로 시작된 SaaS 연결 유형의 대부분은 OAuth2 프로토콜을 지원합니다.
-
사용자 지정 - 몇 가지 연결 유형에는 Google BigQuery와 같은 몇 가지 다른 인증 메커니즘이 있으며, 이 경우 사용자는 Google BigQuery에서 가져오는 JSON을 제공해야 합니다.
고려 사항
데이터 소스를 위한 통합 연결을 생성할 때 다음 차이점을 고려하세요.
-
AWS Glue Studio를 통해 통합 연결을 생성할 때 사용자 자격 증명은 연결 자체 대신에 AWS Secrets Manager에 저장됩니다. 즉, 이제 작업에 Secrets Manager에 대한 액세스 권한이 필요합니다.
-
VPC에서 작업이 실행되는 경우 AWS Secrets Manager 및 Secure Token Service(STS)에 액세스하려면 VPC 엔드포인트 또는 NAT 게이트웨이가 필요하므로 추가 비용이 발생합니다.
-
특정 데이터 소스(Redshift, SQL Server, MySQL, Oracle, PostgreSQL)의 경우 AWS Glue Studio를 통해 통합 연결을 생성하려면 AWS STS 및 AWS Secrets Manager에 액세스해야 합니다. 이는 보안 연결을 설정하고 가상 프라이빗 클라우드(VPC) 내에서 이러한 데이터 소스에 액세스하는 데 필요한 자격 증명을 검색하는 데 필요합니다.
-
AWS Glue Studio를 통해 통합 연결을 생성하려면 AWS Secrets Manager에 액세스하고 VPC 리소스를 관리할 수 있는 권한이 있는 IAM 역할이 필요합니다(VPC를 사용하는 경우).
secretsmanager:GetSecretValue
secretsmanager:PutSecretValue
secretsmanager:DescribeSecret
ec2:CreateNetworkInterface
ec2:DeleteNetworkInterface
ec2:DescribeNetworkInterfaces
