Spark 커넥터 사용 시 고려 사항 및 제한 사항 - Amazon EMR

Spark 커넥터 사용 시 고려 사항 및 제한 사항

Spark 커넥터는 자격 증명을 관리하고, 보안을 구성하며, 다른 AWS 서비스와 연결하는 다양한 방법을 지원합니다. 기능적이고 탄력적인 연결을 구성하려며 이 목록의 권장 사항을 숙지합니다.

  • Amazon EMR의 Spark에서 Amazon Redshift로의 JDBC 연결을 위해 SSL을 활성화하는 것이 좋습니다.

  • 모범 사례로 AWS Secrets Manager에서 Amazon Redshift 클러스터의 보안 인증을 관리하는 것이 좋습니다. 예제로 Using AWS Secrets Manager to retrieve credentials for connecting to Amazon Redshift를 참조하세요.

  • Amazon Redshift 인증 파라미터에 대해 aws_iam_role 파라미터를 사용하여 IAM 역할을 전달하는 것이 좋습니다.

  • 현재 tempformat 파라미터는 Parquet 형식을 지원하지 않습니다.

  • tempdir URI는 Amazon S3 위치를 가리킵니다. 이 임시 디렉터리는 자동으로 정리되지 않으므로, 추가 비용이 발생할 수 있습니다.

  • Amazon Redshift에 대한 다음 권장 사항을 고려합니다.

  • Amazon S3에 대한 다음 권장 사항을 고려합니다.

커넥터 사용 및 지원되는 파라미터에 대한 자세한 내용은 다음 리소스를 참조하세요.