Spark 커넥터 사용 시 고려 사항 및 제한 사항 - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Spark 커넥터 사용 시 고려 사항 및 제한 사항

  • Amazon EMR의 Spark에서 Amazon Redshift로의 JDBC 연결을 위해 SSL을 켜는 것이 좋습니다.

  • 모범 사례로 AWS Secrets Manager에서 Amazon Redshift 클러스터의 보안 인증을 관리하는 것이 좋습니다. 예제로 Using AWS Secrets Manager to retrieve credentials for connecting to Amazon Redshift를 참조하세요.

  • Amazon Redshift 인증 파라미터에 대해 aws_iam_role 파라미터를 사용하여 IAM 역할을 전달하는 것이 좋습니다.

  • 현재 tempformat 파라미터는 Parquet 형식을 지원하지 않습니다.

  • tempdir URI는 Amazon S3 위치를 가리킵니다. 이 임시 디렉터리는 자동으로 정리되지 않으므로, 추가 비용이 발생할 수 있습니다.

  • Amazon Redshift에 대한 다음 권장 사항을 고려합니다.

  • Amazon S3에 대한 다음 권장 사항을 고려합니다.

    • Amazon S3 버킷에 대한 퍼블릭 액세스를 차단하는 것이 좋습니다.

    • Amazon S3 서버 측 암호화를 사용하여 사용된 Amazon S3 버킷을 암호화하는 것이 좋습니다.

    • Amazon S3 수명 주기 정책을 사용하여 Amazon S3 버킷에 대한 보존 규칙을 정의하는 것이 좋습니다.

    • Amazon EMR은 오픈 소스에서 이미지로 가져온 코드를 항상 확인합니다. 보안을 위해 Spark에서 Amazon S3로의 다음 인증 방법은 지원되지 않습니다.

      • hadoop-env 구성 분류에서 AWS 액세스 키 설정

      • tempdir URI에서 AWS 액세스 키 인코딩

커넥터 사용 및 지원되는 파라미터에 대한 자세한 내용은 다음 리소스를 참조하세요.