AWS Glue 연결 속성 - AWS Glue
필수 연결 속성JDBC 연결 속성MongoDB 및 MongoDB Atlas 연결 속성세일즈포스 연결 속성Snowflake 연결Vertica 연결SAP HANA 연결Azure SQL 연결Teradata Vantage 연결OpenSearch 서비스 연결Azure Cosmos 연결SSL 연결 속성인증을 위한 Kafka 연결 속성구글 BigQuery 커넥션Vertica 연결

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AWS Glue 연결 속성

이 항목에는 AWS Glue 연결 속성에 대한 정보가 포함되어 있습니다.

필수 연결 속성

AWS Glue 콘솔에서 연결을 정의할 때 다음 속성에 대한 값을 제공해야 합니다.

연결 이름

연결에 고유한 이름을 입력합니다.

연결 유형

JDBC 또는 특정 연결 유형 중 하나를 선택합니다.

JDBC 연결 유형에 대한 자세한 내용은 AWS Glue JDBC 연결 속성 단원을 참조하십시오.

[네트워크(Network)]를 선택하여 Amazon Virtual Private Cloud 환경(Amazon VPC) 내의 데이터 원본에 연결합니다.

선택한 유형에 따라 AWS Glue 콘솔에 다른 필수 필드가 표시됩니다. 예를 들어 [Amazon RDS]를 선택한 경우 데이터베이스 엔진을 선택해야 합니다.

필요한 SSL 연결

이 옵션을 선택하면 AWS Glue에서 데이터 스토어 연결이 신뢰할 수 있는 보안 소켓 계층(SSL)을 통해 이루어졌는지 확인해야 합니다.

이 옵션을 선택할 때 사용할 수 있는 추가 옵션을 비롯한 자세한 내용은 AWS Glue SSL 연결 속성 단원을 참조하십시오.

MSK 클러스터 선택(Amazon Managed Streaming for Apache Kafka(MSK)만 해당)

다른 AWS 계정의 MSK 클러스터를 지정합니다.

Kafka 부트스트랩 서버 URL(Kafka만 해당)

쉼표로 구분된 부트스트랩 서버 URL 목록을 지정합니다. 포트 번호를 포함합니다. 예: b-1.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094, b-2.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094, b-3.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094

AWS Glue JDBC 연결 속성

AWS Glue는 JDBC 연결을 통해 다음 데이터 스토어에 연결할 수 있습니다.

  • Amazon Redshift

  • Amazon Aurora

  • Microsoft SQL Server

  • MySQL

  • Oracle

  • PostgreSQL

  • 스노우플레이크, 크롤러를 사용하는 경우 AWS Glue

  • Aurora(기본 JDBC 드라이버를 사용하는 경우 지원됨, 일부 드라이버 기능은 사용할 수 없음)

  • Amazon RDS for MariaDB

중요

현재 ETL 작업은 하나의 서브넷 내에서만 JDBC 연결을 사용할 수 있습니다. 작업에서 다양한 데이터 스토어가 있으면 모두 동일한 서브넷에 있거나 서브넷에서 액세스 가능해야 합니다.

AWS Glue 크롤러에 대해 자체 JDBC 드라이버 버전을 가져오기로 선택한 경우 크롤러는 AWS Glue작업 및 Amazon S3의 리소스를 소비하여 제공된 드라이버가 사용자 환경에서 실행되도록 합니다. 리소스의 추가 사용량은 계정에 반영됩니다. 또한 자체 JDBC 드라이버를 제공한다고 해서 크롤러가 해당 드라이버의 모든 기능을 사용할 수 있는 것은 아닙니다. 드라이버는 데이터 카탈로그의 연결 정의에 설명된 속성으로 제한됩니다.

다음은 JDBC 연결 유형에 대한 추가 속성입니다.

JDBC URL

JDBC 데이터 스토어의 URL을 입력합니다. 대부분 데이터베이스 엔진의 경우, 이 필드는 다음과 같은 포맷입니다. 이 포맷에서 protocol, host, port, db_name을 고유한 정보로 바꿉니다.

jdbc:protocol://host:port/db_name

데이터베이스 엔진에 다라 다른 JDBC URL 포맷이 필요합니다. 이 포맷은 클론(:), 슬래시(/), 및 기타 키워드를 다르게 사용하여 데이터베이스를 지정합니다.

JDBC를 데이터 스토어에 연결하는 데 필요한 데이터 스토어의 db_name입니다. db_name는 지원한 username 및 password를 통해 네트워크 연결을 만드는 데 사용됩니다. 연결되면 AWS Glue는 데이터 스토어의 다른 데이터베이스에 액세스할 수 있어 크롤러나 ETL 작업을 실행할 수 있습니다.

다음 JDBC URL 예제에서는 몇 가지 데이터베이스 엔진의 구문을 보여 줍니다.

  • dev 데이터베이스로 Amazon Redshift 클러스터 데이터 스토어에 연결하려면

    jdbc:redshift://xxx.us-east-1.redshift.amazonaws.com:8192/dev

  • employee 데이터베이스로 Amazon RDS for MySQL 데이터 스토어에 연결하려면

    jdbc:mysql://xxx-cluster.cluster-xxx.us-east-1.rds.amazonaws.com:3306/employee

  • employee 데이터베이스로 Amazon RDS for PostgreSQL 데이터 스토어에 연결하려면

    jdbc:postgresql://xxx-cluster.cluster-xxx.us-east-1.rds.amazonaws.com:5432/employee

  • employee 서비스 이름으로 Amazon RDS for Oracle 데이터 스토어에 연결하려면

    jdbc:oracle:thin://@xxx-cluster.cluster-xxx.us-east-1.rds.amazonaws.com:1521/employee

    Amazon RDS for Oracle의 구문은 다음 패턴을 따를 수 있습니다. 이러한 패턴에서 host, port, service_name, SID를 고유한 정보로 바꿉니다.

    • jdbc:oracle:thin://@host:port/service_name

    • jdbc:oracle:thin://@host:port:SID

  • employee 데이터베이스로 Amazon RDS for Microsoft SQL Server 데이터 스토어에 연결하려면

    jdbc:sqlserver://xxx-cluster.cluster-xxx.us-east-1.rds.amazonaws.com:1433;databaseName=employee

    Amazon RDS for SQL Server의 구문은 다음 패턴을 따를 수 있습니다. 이러한 패턴에서 server_name, port 및 db_name을 사용자 자신의 정보로 바꿉니다.

    • jdbc:sqlserver://server_name:port;database=db_name

    • jdbc:sqlserver://server_name:port;databaseName=db_name

  • 데이터베이스 Amazon Aurora PostgreSQL 인스턴스에 연결하려면 employee 데이터베이스 인스턴스의 엔드포인트, 포트, 데이터베이스 이름을 지정합니다.

    jdbc:postgresql://employee_instance_1.xxxxxxxxxxxx.us-east-2.rds.amazonaws.com:5432/employee

  • 데이터베이스가 있는 Amazon RDS for MariaDB 데이터 저장소에 연결하려면 employee 데이터베이스 인스턴스의 엔드포인트, 포트 및 데이터베이스 이름을 지정합니다.

    jdbc:mysql://xxx-cluster.cluster-xxx.aws-region.rds.amazonaws.com:3306/employee

  • 주의

    Snowflake JDBC 연결은 크롤러에서만 지원됩니다. AWS Glue 작업에 스노우플레이크 커넥터를 사용할 때는 스노우플레이크 연결 유형을 사용하십시오. AWS Glue

    sample 데이터베이스의 Snowflake 인스턴스에 연결하려면 Snowflake 인스턴스의 엔드포인트, 사용자, 데이터베이스 이름 및 역할 이름을 지정합니다. warehouse 파라미터를 선택적으로 추가할 수 있습니다.

    jdbc:snowflake://account_name.snowflakecomputing.com/?user=user_name&db=sample&role=role_name&warehouse=warehouse_name

    중요

    JDBC를 통한 Snowflake 연결의 경우 URL의 파라미터 순서가 적용되므로, user, db, role_name, warehouse의 순서로 정렬되어야 합니다.

  • AWS 개인 링크를 사용하여 sample 데이터베이스의 Snowflake 인스턴스에 연결하려면 다음과 같이 눈송이 JDBC URL을 지정하십시오.

    jdbc:snowflake://account_name.region.privatelink.snowflakecomputing.com/?user=user_name&db=sample&role=role_name&warehouse=warehouse_name

사용자 이름
참고

사용자 이름과 암호를 직접 제공하는 대신 AWS 암호를 사용하여 연결 자격 증명을 저장하는 것이 좋습니다. 자세한 정보는 AWS Secrets Manager에 연결 자격 증명 저장을 참조하세요.

JDBC 데이터 스토어 연결 권한을 갖는 사용자 이름을 제공합니다.

암호

JDBC 데이터 스토어에 대한 액세스 권한이 있는 사용자 이름의 비밀번호를 입력합니다.

Port

Amazon RDS Oracle 인스턴스에 연결하기 위해 JDBC URL에 사용된 포트를 입력합니다. 이 필드는 Amazon RDS Oracle 인스턴스에 대해 [SSL 연결 필요(Require SSL connection)]가 선택된 경우에만 표시됩니다.

VPC

데이터 스토어를 포함한 Virtual Private Cloud(VPC) 이름을 선택합니다. AWS Glue 콘솔은 현재 리전의 모든 VPC를 나열합니다.

중요

Snowflake의 AWS데이터와 같이 호스팅되는 JDBC 연결을 통해 작업하는 경우 VPC에 트래픽을 퍼블릭 서브넷과 프라이빗 서브넷으로 분할하는 NAT 게이트웨이가 있어야 합니다. 퍼블릭 서브넷은 외부 소스에 연결하는 데 사용되고 내부 서브넷은 에서 처리하는 데 사용됩니다. AWS Glue외부 연결을 위해 Amazon VPC를 구성하는 방법에 대한 자세한 내용은 NAT 디바이스를 사용하여 인터넷 또는 다른 네트워크에 연결 및 AWS Glue에서 Amazon RDS 데이터 스토어에 대해 JDBC를 연결하도록 Amazon VPC 설정 섹션을 참조하세요.

서브넷

데이터 스토어를 포함하는 VPC 내 서브넷을 선택합니다. AWS Glue 콘솔은 VPC에 데이터 스토어에 대한 모든 서브넷을 나열합니다.

보안 그룹

데이터 스토어와 관련된 보안 그룹을 선택합니다. AWS Glue에는 연결할 AWS Glue를 허용하는 인바운드 소스 규칙과 함께 하나 이상의 보안 그룹이 필요합니다. AWS Glue 콘솔은 VPC에 인바운드 액세스를 보장하는 보안 그룹을 나열합니다. AWS Glue는 VPC 서브넷에 연결된 탄력적 네트워크 인터페이스를 통해 보안 그룹이 연결됩니다.

JDBC 드라이버 클래스 이름 - 선택 사항

사용자 지정 JDBC 드라이버 클래스 이름을 제공합니다.

  • Postgres – org.postgresql.Driver


  • 
 MySQL – com.mysql.jdbc.Driver, com.mysql.cj.jdbc.Driver


  • 
 Redshift – com.amazon.redshift.jdbc.Driver, com.amazon.redshift.jdbc42.Driver 


  • 
 오라클 — oracle.jdbc.driver. OracleDriver 


  • 
 SQL 서버 — com.Microsoft.sqlServer.jdbc.sql ServerDriver


JDBC 드라이버 S3 경로 - 선택 사항

사용자 지정 JDBC 드라이버에 Amazon S3 위치를 제공합니다. 이는 .jar 파일의 절대 경로입니다. 크롤러 지원 데이터베이스에서 데이터 소스에 연결하기 위해 자체 JDBC 드라이버를 제공하려는 경우 customJdbcDriverS3Path 및 customJdbcDriverClassName 파라미터에 대한 값을 지정할 수 있습니다. 
 고객이 제공한 JDBC 드라이버의 사용은 필요한 필수 연결 속성으로만 제한됩니다.

AWS Glue MongoDB 및 MongoDB Atlas 연결 속성

다음은 MongoDB 또는 MongoDB Atlas 연결 유형에 대한 추가 속성입니다.

MongoDB URL

MongoDB 또는 MongoDB Atlas 데이터 스토어의 URL을 입력합니다.

  • MongoDB의 경우: mongodb://host:port/database. 호스트는 호스트 이름, IP 주소 또는 UNIX 도메인 소켓일 수 있습니다. 연결 문자열이 포트를 지정하지 않는 경우 기본 MongoDB 포트인 27017을 사용합니다.

  • MongoDB Atlas의 경우: mongodb+srv://server.example.com/database. 호스트는 DNS SRV 레코드에 해당하는 호스트 이름일 수 있습니다. SRV 형식에는 포트가 필요하지 않으며 기본 MongoDB 포트인 27017을 사용합니다.

사용자 이름
참고

사용자 이름과 암호를 직접 제공하는 대신 AWS 암호를 사용하여 연결 자격 증명을 저장하는 것이 좋습니다. 자세한 정보는 AWS Secrets Manager에 연결 자격 증명 저장을 참조하세요.

JDBC 데이터 스토어 연결 권한을 갖는 사용자 이름을 제공합니다.

암호

MongoDB 또는 MongoDB Atlas 데이터 스토어에 대한 액세스 권한이 있는 사용자 이름에 대한 비밀번호를 입력합니다.

Salesforce 연결 속성

다음은 Salesforce 연결 유형의 추가 속성입니다.

  • ENTITY_NAME(문자열) - (필수) 읽기/쓰기에 사용됩니다. Salesforce에 있는 개체의 이름.

  • API_VERSION(문자열) - (필수) 읽기/쓰기에 사용됩니다. 사용하려는 세일즈포스 레스트 API 버전입니다.

  • SELECTED_FIELDS(목록<String>) - 기본값: 비어 있음 (SELECT *). 읽기에 사용됩니다. 개체에 대해 선택하려는 열

  • FILTER_PREDICATE(문자열) - 기본값: 비어 있습니다. 읽기에 사용됩니다. 스파크 SQL 형식이어야 합니다.

  • QUERY(문자열) - 기본값: 비어 있습니다. 읽기에 사용됩니다. 전체 스파크 SQL 쿼리

  • PARTITION_FIELD(문자열) - 읽기에 사용됩니다. 쿼리를 분할하는 데 사용할 필드입니다.

  • LOWER_BOUND(문자열) - 읽기에 사용됩니다. 선택한 파티션 필드의 포함된 하한 값입니다.

  • UPPER_BOUND(문자열) - 읽기에 사용됩니다. 선택한 파티션 필드의 배타적 상한값입니다.

  • NUM_PARTITIONS(정수) - 디폴트 값: 1. 읽기에 사용됩니다. 읽을 파티션 수

  • IMPORT_DELETED_RECORDS(문자열) - 기본값: FALSE. 읽기에 사용됩니다. 쿼리하는 동안 삭제 기록을 가져오려는 경우

  • WRITE_OPERATION(문자열) - 기본값: 삽입. 쓰기에 사용됩니다. 값은 삽입, 업데이트, 업서트, 삭제여야 합니다.

  • ID_FIELD_NAMES(문자열) - 기본값: null. UPSERT에만 사용됩니다.

Snowflake 연결

다음 속성은 ETL 작업에 사용되는 Snowflake 연결을 설정하는 데 사용됩니다. AWS Glue Snowflake를 크롤링할 때는 JDBC 연결을 사용합니다.

Snowflake URL

Snowflake 엔드포인트의 URL입니다. Snowflake 엔드포인트 URL에 대한 자세한 내용은 Snowflake 설명서의 Connecting to Your Accounts를 참조하세요.

AWS 시크릿

비밀의 비밀 이름 AWS Secrets Manager. AWS Glue 시크릿의 sfUser 및 sfPassword 키를 사용하여 스노우플레이크에 연결합니다.

Snowflake 역할(선택 사항)

연결 시 스노우플레이크 보안 역할이 사용됩니다 AWS Glue .

AWS PrivateLink를 사용하여 Amazon VPC에 호스팅되는 Snowflake 엔드포인트에 대한 연결을 구성할 때 다음 속성을 사용합니다.

VPC

데이터 스토어를 포함한 Virtual Private Cloud(VPC) 이름을 선택합니다. AWS Glue 콘솔은 현재 리전의 모든 VPC를 나열합니다.

서브넷

데이터 스토어를 포함하는 VPC 내 서브넷을 선택합니다. AWS Glue 콘솔은 VPC에 데이터 스토어에 대한 모든 서브넷을 나열합니다.

보안 그룹

데이터 스토어와 관련된 보안 그룹을 선택합니다. AWS Glue에는 연결할 AWS Glue를 허용하는 인바운드 소스 규칙과 함께 하나 이상의 보안 그룹이 필요합니다. AWS Glue 콘솔은 VPC에 인바운드 액세스를 보장하는 보안 그룹을 나열합니다. AWS Glue는 VPC 서브넷에 연결된 탄력적 네트워크 인터페이스를 통해 보안 그룹이 연결됩니다.

Vertica 연결

다음 속성을 사용하여 ETL 작업을 위한 AWS Glue Vertica 연결을 설정합니다.

Vertica 호스트

Vertica 설치의 호스트 이름.

Vertica 포트

Vertica 설치를 사용할 수 있는 포트입니다.

AWS 시크릿

비밀의 비밀 이름 AWS Secrets Manager. AWS Glue 시크릿 키를 사용하여 Vertica에 연결합니다.

Amazon VPC에 호스팅되는 Vertica 엔드포인트에 대한 연결을 구성할 때 다음 속성을 사용합니다.

VPC

데이터 스토어를 포함한 Virtual Private Cloud(VPC) 이름을 선택합니다. AWS Glue 콘솔은 현재 리전의 모든 VPC를 나열합니다.

서브넷

데이터 스토어를 포함하는 VPC 내 서브넷을 선택합니다. AWS Glue 콘솔은 VPC에 데이터 스토어에 대한 모든 서브넷을 나열합니다.

보안 그룹

데이터 스토어와 관련된 보안 그룹을 선택합니다. AWS Glue에는 연결할 AWS Glue를 허용하는 인바운드 소스 규칙과 함께 하나 이상의 보안 그룹이 필요합니다. AWS Glue 콘솔은 VPC에 인바운드 액세스를 보장하는 보안 그룹을 나열합니다. AWS Glue는 VPC 서브넷에 연결된 탄력적 네트워크 인터페이스를 통해 보안 그룹이 연결됩니다.

SAP HANA 연결

다음 속성을 사용하여 AWS Glue ETL 작업을 위한 SAP HANA 연결을 설정합니다.

SAP HANA URL

SAP JDBC URL.

SAP HANA JDBC URL은 jdbc:sap://saphanaHostname:saphanaPort/?databaseName=saphanaDBname,ParameterName=ParameterValue 형식입니다

AWS Glue 다음과 같은 JDBC URL 매개 변수가 필요합니다.

  • databaseName - 연결할 SAP HANA의 기본 데이터베이스입니다.

AWS 시크릿

비밀의 비밀 이름 AWS Secrets Manager. AWS Glue 시크릿 키를 사용하여 SAP HANA에 연결합니다.

를 사용하여 Amazon VPC에 호스팅되는 SAP HANA 엔드포인트에 대한 연결을 구성할 때 다음 속성을 사용합니다.

VPC

데이터 스토어를 포함한 Virtual Private Cloud(VPC) 이름을 선택합니다. AWS Glue 콘솔은 현재 리전의 모든 VPC를 나열합니다.

서브넷

데이터 스토어를 포함하는 VPC 내 서브넷을 선택합니다. AWS Glue 콘솔은 VPC에 데이터 스토어에 대한 모든 서브넷을 나열합니다.

보안 그룹

데이터 스토어와 관련된 보안 그룹을 선택합니다. AWS Glue에는 연결할 AWS Glue를 허용하는 인바운드 소스 규칙과 함께 하나 이상의 보안 그룹이 필요합니다. AWS Glue 콘솔은 VPC에 인바운드 액세스를 보장하는 보안 그룹을 나열합니다. AWS Glue는 VPC 서브넷에 연결된 탄력적 네트워크 인터페이스를 통해 보안 그룹이 연결됩니다.

Azure SQL 연결

다음 속성을 사용하여 AWS Glue ETL 작업에 대한 Azure SQL 연결을 설정합니다.

Azure SQL URL

Azure SQL 엔드포인트의 JDBC URL입니다.

목록은 jdbc:sqlserver://databaseServerName:databasePort;databaseName=azuresqlDBname; 형식이어야 합니다.

AWS Glue 다음과 같은 URL 속성이 필요합니다.

  • databaseName - 연결할 Azure SQL의 기본 데이터베이스입니다.

Azure SQL 관리형 인스턴스용 JDBC URL에 대한 자세한 내용은 Microsoft 설명서를 참조하십시오.

AWS 시크릿

비밀의 비밀 이름 AWS Secrets Manager. AWS Glue 시크릿 키를 사용하여 Azure SQL에 연결합니다.

Teradata Vantage 연결

다음 속성을 사용하여 ETL 작업에 대한 테라데이타 Vantage 연결을 설정합니다. AWS Glue

Teradata URL

Teradata 인스턴스에 연결하려면 데이터베이스 인스턴스의 호스트 이름과 관련 Teradata 매개변수를 지정합니다.

jdbc:teradata://teradataHostname/ParameterName=ParameterValue,ParameterName=ParameterValue.

AWS Glue 다음과 같은 JDBC URL 매개변수를 지원합니다.

  • DATABASE_NAME - 연결할 Teradata의 기본 데이터베이스입니다.

  • DBS_PORT - Teradata 포트(비표준인 경우)를 지정합니다.

AWS 시크릿

비밀의 비밀 이름 AWS Secrets Manager. AWS Glue 시크릿 키를 사용하여 테라데이타 밴티지에 연결합니다.

Amazon VPC에 호스팅되는 Teradata Vantage 엔드포인트에 대한 연결을 구성할 때 다음 속성을 사용합니다.

VPC

데이터 스토어를 포함한 Virtual Private Cloud(VPC) 이름을 선택합니다. AWS Glue 콘솔은 현재 리전의 모든 VPC를 나열합니다.

서브넷

데이터 스토어를 포함하는 VPC 내 서브넷을 선택합니다. AWS Glue 콘솔은 VPC에 데이터 스토어에 대한 모든 서브넷을 나열합니다.

보안 그룹

데이터 스토어와 관련된 보안 그룹을 선택합니다. AWS Glue에는 연결할 AWS Glue를 허용하는 인바운드 소스 규칙과 함께 하나 이상의 보안 그룹이 필요합니다. AWS Glue 콘솔은 VPC에 인바운드 액세스를 보장하는 보안 그룹을 나열합니다. AWS Glue는 VPC 서브넷에 연결된 탄력적 네트워크 인터페이스를 통해 보안 그룹이 연결됩니다.

OpenSearch 서비스 연결

다음 속성을 사용하여 AWS Glue ETL 작업에 대한 OpenSearch 서비스 연결을 설정합니다.

도메인 엔드포인트

Amazon OpenSearch 서비스 도메인 엔드포인트의 기본 형식은 https://search - 도메인이름 -입니다. unstructuredIdContent 지역 .es.amazonaws.com. 도메인 엔드포인트 식별에 대한 자세한 내용은 Amazon 서비스 설명서의 Amazon OpenSearch Service 도메인 생성 및 관리를 참조하십시오. OpenSearch

Port

엔드포인트에서 포트가 열립니다.

AWS 비밀

비밀의 비밀 이름 AWS Secrets Manager. AWS Glue 시크릿 키를 사용하여 OpenSearch 서비스에 연결합니다.

Amazon VPC에 호스팅된 OpenSearch 서비스 엔드포인트에 대한 연결을 구성할 때 다음 속성을 사용하십시오.

VPC

데이터 스토어를 포함한 Virtual Private Cloud(VPC) 이름을 선택합니다. AWS Glue 콘솔은 현재 리전의 모든 VPC를 나열합니다.

서브넷

데이터 스토어를 포함하는 VPC 내 서브넷을 선택합니다. AWS Glue 콘솔은 VPC에 데이터 스토어에 대한 모든 서브넷을 나열합니다.

보안 그룹

데이터 스토어와 관련된 보안 그룹을 선택합니다. AWS Glue에는 연결할 AWS Glue를 허용하는 인바운드 소스 규칙과 함께 하나 이상의 보안 그룹이 필요합니다. AWS Glue 콘솔은 VPC에 인바운드 액세스를 보장하는 보안 그룹을 나열합니다. AWS Glue는 VPC 서브넷에 연결된 탄력적 네트워크 인터페이스를 통해 보안 그룹이 연결됩니다.

Azure Cosmos 연결

다음 속성을 사용하여 ETL 작업을 위한 Azure Cosmos 연결을 설정합니다. AWS Glue

Azure Cosmos DB 계정 엔드포인트 URI

Amazon Cosmos에 연결하는 데 사용된 엔드포인트. 자세한 내용은 Azure 설명서를 참조하십시오.

AWS 시크릿

비밀의 비밀 이름 AWS Secrets Manager. AWS Glue 시크릿 키를 사용하여 Azure Cosmos에 연결합니다.

AWS Glue SSL 연결 속성

다음은 Require SSL connection(SSL 연결 필요) 속성에 대한 세부 정보입니다.

SSL 연결이 필요하지 않은 경우 AWS Glue에서 SSL을 사용하여 데이터 스토어에 대한 연결을 암호화할 때 실패를 무시합니다. 구성 지침은 데이터 스토어의 문서를 참조하세요. 이 옵션을 선택하면 AWS Glue에서 연결할 수 없을 때 개발 엔드포인트의 작업 실행, 크롤러 또는 ETL 문이 실패합니다.

참고

Snowflake는 기본적으로 SSL 연결을 지원하므로 이 속성은 Snowflake에 적용되지 않습니다.

이 옵션은 AWS Glue 클라이언트 측에서 검증됩니다. JDBC 연결의 경우 AWS Glue는 인증서 및 호스트 이름 검증을 사용하여 SSL을 통해서만 연결합니다. SSL 연결 지원은 다음에 사용할 수 있습니다.

  • Oracle Database

  • Microsoft SQL Server

  • PostgreSQL

  • Amazon Redshift

  • MySQL(Amazon RDS 인스턴스만 해당)

  • Amazon Aurora MySQL(Amazon RDS 인스턴스만 해당)

  • Amazon Aurora PostgreSQL (Amazon RDS 인스턴스만 해당)

  • 카프카, 여기에는 다음이 포함됩니다. Amazon Managed Streaming for Apache Kafka

  • MongoDB

참고

Amazon RDS Oracle 데이터 스토어에서 [SSL 연결 필요(Require SSL connection)]를 사용할 수 있도록 하려면 옵션 그룹을 생성하여 Oracle 인스턴스에 연결해야 합니다.

  1. AWS Management Console 로그인하고 https://console.aws.amazon.com/rds/ 에서 Amazon RDS 콘솔을 엽니다.

  2. [옵션 그룹(Option group)]을 Amazon RDS Oracle 인스턴스에 추가합니다. Amazon RDS 콘솔에서 옵션 그룹을 추가하는 방법에 대한 자세한 내용은 옵션 그룹 생성을 참조하세요.

  3. 옵션을 SSL에 대한 옵션 그룹에 추가합니다. SSL에 대해 지정하는 [포트(Port)]는 나중에 Amazon RDS Oracle 인스턴스에 대한 AWS Glue JDBC 연결 URL을 생성할 때 사용됩니다. Amazon RDS 콘솔에서 옵션을 추가하는 방법에 대한 자세한 내용은 Amazon RDS User Guide의 Adding an Option to an Option Group을 참조하세요. Oracle SSL 옵션에 대한 자세한 내용은 Amazon RDS User Guide의 Oracle SSL을 참조하세요.

  4. AWS Glue 콘솔에서 Amazon RDS Oracle 인스턴스에 대한 연결을 생성합니다. 연결 정의에서 SSL 연결 필요를 선택합니다. 요청 시 Amazon RDS Oracle SSL 옵션에서 사용한 [포트(Port)]를 입력합니다.

연결에 대해 [SSL 연결 필요(Require SSL connection)]를 선택한 경우 다음과 같은 추가 선택적 속성을 사용할 수 있습니다.

S3의 사용자 지정 JDBC 인증서

현재 온프레미스 또는 클라우드 데이터베이스와의 SSL 통신에 사용 중인 인증서가 있는 경우 AWS Glue 데이터 원본 또는 대상에 대한 SSL 연결에 해당 인증서를 사용할 수 있습니다. 사용자 정의 루트 인증서가 포함된 Amazon Simple Storage Service(Amazon S3) 위치를 입력합니다. AWS Glue는 이 인증서를 사용하여 데이터베이스에 대한 SSL 연결을 설정합니다. AWS Glue는 X.509 인증서만 처리합니다. 인증서는 DER로 인코딩되고 base64 인코딩 PEM 형식으로 제공되어야 합니다.

이 필드를 비워두면 기본 인증서가 사용됩니다.

사용자 지정 JDBC 인증서 문자열

JDBC 데이터베이스에 특정한 인증서 정보를 입력합니다. 이 문자열은 도메인 일치 또는 고유 이름(DN) 일치에 사용됩니다. Oracle Database의 경우 이 문자열은 tnsnames.ora 파일의 보안 섹션에 있는 SSL_SERVER_CERT_DN 파라미터에 매핑됩니다. Microsoft SQL Server의 경우 이 문자열은 hostNameInCertificate로 사용됩니다.

다음은 Oracle Database SSL_SERVER_CERT_DN 파라미터의 예입니다.

cn=sales,cn=OracleContext,dc=us,dc=example,dc=com
Kafka 프라이빗 CA 인증서 위치

Kafka 데이터 스토어와의 SSL 통신에 현재 사용 중인 인증서가 있는 경우 해당 인증서를 AWS Glue 연결과 함께 사용할 수 있습니다. 이 옵션은 Kafka 데이터 스토어에는 필수이고 데이터 스토어에는 선택 사항입니다. Amazon Managed Streaming for Apache Kafka 사용자 정의 루트 인증서가 포함된 Amazon Simple Storage Service(Amazon S3) 위치를 입력합니다. AWS Glue는 이 인증서를 사용하여 Kafka 데이터 스토어에 대한 SSL 연결을 설정합니다. AWS Glue는 X.509 인증서만 처리합니다. 인증서는 DER로 인코딩되고 base64 인코딩 PEM 형식으로 제공되어야 합니다.

인증서 검증 건너뛰기

AWS Glue의 사용자 정의 인증서 검증을 건너뛰려면 [인증서 검증 건너뛰기(Skip certificate validation)] 확인란을 선택합니다. 검증하기로 한 경우, AWS Glue가 인증서의 서명 알고리즘 및 주제 퍼블릭 키 알고리즘을 검증합니다. 인증서가 검증에 실패하면, 연결을 사용하는 모든 ETL 작업 또는 크롤러가 실패합니다.

허용되는 유일한 서명 알고리즘은 SHA256withRSA, SHA384withRSA 또는 SHA512withRSA. 주제 퍼블릭 키 알고리즘의 경우, 키 길이는 2048 이상이어야 합니다.

Kafka 클라이언트 키 스토어 위치

Kafka 클라이언트 측 인증을 위한 클라이언트 키 스토어 파일의 Amazon S3 위치입니다. 경로는 s3://bucket/prefix/filename.jks 형식이어야 합니다. 파일 이름과 .jks 확장자로 끝나야 합니다.

Kafka 클라이언트 키 스토어 암호(선택 사항)

제공된 키 스토어에 액세스하기 위한 암호입니다.

Kafka 클라이언트 키 암호(선택 사항)

키 스토어는 여러 키로 구성 될 수 있으므로 Kafka 서버 측 키와 함께 사용할 클라이언트 키에 액세스하기 위한 암호입니다.

클라이언트 인증을 위한 Apache Kafka 연결 속성

AWS Glue는 Apache Kafka 연결을 생성할 때 인증을 위한 SASL(Simple Authentication and Security Layer) 프레임워크를 지원합니다. SASL 프레임워크는 다양한 인증 메커니즘을 지원하며, AWS Glue 는 SCRAM(사용자 이름 및 암호), GSSAPI(Kerberos 프로토콜), PLAIN 프로토콜을 제공합니다.

다음 클라이언트 인증 AWS Glue Studio 방법 중 하나를 구성하는 데 사용합니다. 자세한 내용은 사용 AWS Glue Studio 설명서의 커넥터 연결 만들기를 참조하십시오.

  • 없음(None) - 인증이 없습니다. 테스트 목적으로 연결을 생성하는 경우에 유용합니다.

  • SASL/SCRAM-SHA-512 - 이 인증 방법을 선택하면 인증 자격 증명을 지정할 수 있습니다. 두 가지 옵션을 사용할 수 있습니다.

    • AWS Secrets Manager 사용 (권장) - 이 옵션을 선택하면 사용자 이름과 암호를 AWS Secrets Manager에 저장하고 필요할 때 AWS Glue 액세스할 수 있습니다. SSL 또는 SASL 인증 자격 증명을 저장하는 보안 암호를 지정합니다. 자세한 정보는 AWS Secrets Manager에 연결 자격 증명 저장을 참조하세요.

    • 사용자 이름과 암호를 직접 제공합니다.

  • SASL/GSSAPI (Kerberos)(SASL/GSSAPI(Kerberos)) - 이 옵션을 선택하면 keytab 파일, krb5.conf 파일의 위치를 선택하고 Kerberos 보안 주체 이름과 Kerberos 서비스 이름을 입력할 수 있습니다. keytab 파일과 krb5.conf 파일의 위치는 Amazon S3 위치에 있어야 합니다. MSK는 아직 SASL/GSSAPI를 지원하지 않으므로 이 옵션은 고객 관리형 Apache Kafka 클러스터에만 사용할 수 있습니다. 자세한 내용은 MIT Kerberos Documentation: Keytab(MIT Kerberos 설명서: Keytab)을 참조하세요.

  • SASL/PLAIN - 인증 자격 증명을 지정하려면 이 인증 방법을 선택합니다. 두 가지 옵션을 사용할 수 있습니다.

    • AWS Secrets Manager 사용 (권장) - 이 옵션을 선택하면 자격 증명을 AWS Secrets Manager에 저장하고 필요할 때 정보에 AWS Glue 액세스할 수 있습니다. SSL 또는 SASL 인증 자격 증명을 저장하는 보안 암호를 지정합니다.

    • 사용자 이름 및 암호를 직접 제공합니다.

  • SSL 클라이언트 인증(SSL Client Authentication) - 이 옵션을 선택하면 Amazon S3를 검색하여 Kafka 클라이언트 키 스토어의 위치를 선택할 수 있습니다. 선택 사항으로 Kafka 클라이언트 키 스토어 암호와 Kafka 클라이언트 키 암호를 입력할 수 있습니다.

구글 BigQuery 커넥션

AWS Glue ETL 작업에 사용되는 Google BigQuery 연결을 설정하는 데 사용되는 속성은 다음과 같습니다. 자세한 정보는 BigQuery 연결을 참조하세요.

AWS 시크릿

비밀의 비밀 이름 AWS Secrets Manager. AWS Glue ETL 작업은 시크릿 credentials 키를 BigQuery 사용하여 Google에 연결됩니다.

Vertica 연결

다음 속성은 AWS Glue ETL 작업에 사용되는 Vertica 연결을 설정하는 데 사용됩니다. 자세한 내용은 수직 연결을(를) 참조하세요.