데이터에 연결 - AWS Glue
커넥터 및 연결 사용 개요

데이터에 연결

AWS Glue 연결은 특정 데이터 스토어에 대한 로그인 자격 증명, URI 문자열, 가상 프라이빗 클라우드(VPC) 정보 등을 저장하는 Data Catalog 객체입니다. AWS Glue 크롤러, 작업 및 개발 엔드포인트는 특정 유형의 데이터 스토어에 액세스하기 위해 연결을 사용합니다. 소스와 대상 모두에 연결을 사용하고 여러 크롤러 또는 추출, 변환 및 로드(ETL) 작업에서 동일한 연결을 재사용할 수 있습니다.

커넥터 및 연결 사용 개요

특정 데이터 스토어에 연결하는 데 필요한 속성을 포함하는 연결입니다. 연결을 생성하면 AWS Glue Data Catalog에 저장됩니다. 커넥터를 선택한 다음 해당 커넥터를 기반으로 연결을 생성합니다.

에서 기본적으로 지원되지 않는 데이터 스토어의 커넥터를 구독 AWS Marketplace한 다음 연결을 생성할 때 해당 커넥터를 사용할 수 있습니다. 개발자는 자체 커넥터를 생성하여 연결 생성 시 사용할 수 있습니다.

참고

사용자 지정 또는 의 AWS Marketplace 커넥터를 사용하여 생성된 연결은 유형이 로 설정된 AWS Glue 콘솔에 AWS Glue Studio 나타납니다UNKNOWN.

다음 단계에서는 에서 커넥터를 사용하는 전체 프로세스를 설명합니다 AWS Glue Studio.

  1. 에서 커넥터를 구독 AWS Marketplace하거나 자체 커넥터를 개발하여 에 업로드합니다 AWS Glue Studio. 자세한 내용은 AWS Glue Studio에 커넥터 추가 단원을 참조하십시오.

  2. 커넥터 사용 정보를 검토합니다. 이 정보는 커넥터 제품 페이지의 [사용(Usage)] 탭에서 찾을 수 있습니다. 예를 들어 이 제품 페이지의 사용 탭인 AWS Glue Google용 커넥터를 BigQuery 클릭하면 추가 리소스 섹션에서 이 커넥터 사용에 대한 블로그 링크를 볼 수 있습니다. Cloudwatch Logs connector for AWS Glue(Cloudwatch Logs 커넥터)의 커넥터 제품 페이지에 표시된 것처럼 다른 커넥터에는 Overview(개요) 섹션의 지침에 대한 링크가 포함될 수 있습니다.

  3. 연결을 생성합니다. 사용할 커넥터를 선택하고 로그인 자격 증명, URI 문자열 및 가상 프라이빗 클라우드(VPC) 정보와 같은 연결에 대한 추가 정보를 제공합니다. 자세한 내용은 커넥터에 대한 연결 생성 단원을 참조하십시오.

  4. 작업에 대한 IAM 역할을 생성합니다. 작업은 사용자가 생성할 때 지정하는 IAM 역할의 권한을 맡습니다. 이 IAM 역할에는 데이터 스토어에서 데이터를 인증, 추출 및 쓰는 데 필요한 권한이 있어야 합니다.

  5. ETL 작업을 생성하고 ETL 작업에 대한 데이터 소스 속성을 구성합니다. 사용자 정의 커넥터 공급자의 지시에 따라 연결 옵션 및 인증 정보를 제공합니다. 자세한 내용은 사용자 정의 커넥터로 작업 작성 단원을 참조하십시오.

  6. 에 설명된 대로 변환 또는 추가 데이터 스토어를 추가하여 ETL 작업을 사용자 지정합니다AWS Glue Studio에서 시각적 ETL 작업 시작.

  7. 데이터 대상에 커넥터를 사용하는 경우 ETL 작업의 데이터 대상 속성을 구성합니다. 사용자 정의 커넥터 공급자의 지시에 따라 연결 옵션 및 인증 정보를 제공합니다. 자세한 내용은 사용자 정의 커넥터로 작업 작성 단원을 참조하십시오.

  8. 작업 속성 수정에 설명된 대로 작업 속성을 구성하여 작업 실행 환경을 사용자 지정합니다.

  9. 작업을 실행합니다.