로컬 Amazon EMR on Outposts를 사용하는 Amazon S3 on Outposts

Amazon EMR은 AWS에서 Apache Hadoop 및 Apache Spark와 같은 빅 데이터 프레임워크 실행을 단순화하여 방대한 양의 데이터를 처리하고 분석하는 관리형 클러스터 플랫폼입니다. 이러한 프레임워크 및 관련 오픈 소스 프로젝트를 사용하면 분석 목적 및 비즈니스 인텔리전스 워크로드용 데이터를 처리할 수 있습니다. 또한 Amazon EMR은 대량의 데이터를 다른 AWS 데이터 스토어 및 데이터베이스로 변환하고 이동하는 데 도움이 되며, Amazon S3 on Outposts를 지원합니다. Amazon EMR에 대한 자세한 내용은 Amazon EMR 관리 안내서의 Amazon EMR on Outposts를 참조하세요.

Amazon S3 on Outposts의 경우, Amazon EMR은 버전 7.0.0에서 Apache Hadoop S3A 커넥터를 지원하기 시작했습니다. 이전 버전의 Amazon EMR은 로컬 S3 on Outposts를 지원하지 않으며 EMR 파일 시스템(EMRFS)은 지원되지 않습니다.

지원되는 애플리케이션

Amazon S3 on Outposts를 사용하는 Amazon EMR은 다음과 같은 애플리케이션을 지원합니다.

자세한 내용은 Amazon EMR 릴리스 안내서를 참조하세요.

Amazon S3 on Outposts 버킷 생성 및 구성

Amazon EMR은 Amazon S3 on Outposts와 AWS SDK for Java를 사용하여 입력 데이터와 출력 데이터를 저장합니다. Amazon EMR 로그 파일은 사용자가 선택한 리전 Amazon S3 위치에 저장되며 Outpost에 로컬로 저장되지는 않습니다. 자세한 내용은 Amazon EMR 관리 안내서에서 Amazon EMR 로그를 참조하세요.

Amazon S3 및 DNS 요구 사항을 준수하기 위해 S3 on Outposts 버킷에는 이름 지정 제한 및 제한 사항이 있습니다. 자세한 내용은 S3 on Outposts 버킷 생성 단원을 참조하십시오.

Amazon EMR 버전 7.0.0 이상에서는 Amazon EMR을 S3 on Outposts 및 S3A 파일 시스템과 함께 사용할 수 있습니다.

사전 조건

S3 on Outposts 권한 - Amazon EMR 인스턴스 프로파일을 생성할 때 역할에 S3 on Outposts에 대한 AWS Identity and Access Management(IAM) 네임스페이스가 포함되어야 합니다. S3 on Outposts에는 자체 네임스페이스인 s3-outposts*가 있습니다. 이 네임스페이스를 사용하는 정책 예제는 S3 on Outposts로 IAM 설정 섹션을 참조하세요.

S3A 커넥터 - EMR 클러스터가 Amazon S3 on Outposts 버킷의 데이터에 액세스하도록 구성하려면 Apache Hadoop S3A 커넥터를 사용해야 합니다. 커넥터를 사용하려면 모든 S3 URI가 s3a 체계를 사용하는지 확인해야 합니다. 그렇지 않은 경우 S3 URI가 S3A 커넥터와 함께 작동하도록 EMR 클러스터에 사용하는 파일 시스템 구현을 구성할 수 있습니다.

S3A 커넥터와 함께 작동하도록 파일 시스템 구현을 구성하려면 file_scheme이 보유한 S3 URI 유형에 해당하는 EMR 클러스터의 fs.file_scheme.impl 및 fs.AbstractFileSystem.file_scheme.impl 구성 속성을 사용합니다. 다음 예시를 사용하려면 user input placeholders를 실제 정보로 대체하십시오. 예를 들어, 이 s3 체계를 사용하는 S3 URI의 파일 시스템 구현을 변경하려면 다음 클러스터 구성 속성을 지정합니다.

[
  {
"Classification": "core-site",
    "Properties": {
    "fs.s3.impl": "org.apache.hadoop.fs.s3a.S3AFileSystem",
    "fs.AbstractFileSystem.s3.impl": "org.apache.hadoop.fs.s3a.S3A"
    }
  }
]
    

S3A를 사용하려면 fs.file_scheme.impl 구성 속성을 org.apache.hadoop.fs.s3a.S3AFileSystem으로 설정하고 fs.AbstractFileSystem.file_scheme.impl 속성을 org.apache.hadoop.fs.s3a.S3A로 설정합니다.

예를 들어 경로 s3a://bucket/...에 액세스하는 경우 fs.s3a.impl 속성을 org.apache.hadoop.fs.s3a.S3AFileSystem으로 설정하고 fs.AbstractFileSystem.s3a.impl 속성을 org.apache.hadoop.fs.s3a.S3A로 설정합니다.

Amazon S3 on Outposts를 사용하여 Amazon EMR 사용 시작

다음 주제에서는 Amazon S3 on Outposts를 사용하여 Amazon EMR 사용을 시작하는 방법을 알아봅니다.

권한 정책 생성

Amazon S3 on Outposts를 사용하는 EMR 클러스터를 생성하기 전에 클러스터의 Amazon EC2 인스턴스 프로파일에 연결할 IAM 정책을 생성해야 합니다. 정책에는 S3 on Outposts의 액세스 포인트 Amazon 리소스 이름(ARN)에 대한 액세스 권한이 있어야 합니다. S3 on Outposts용 IAM 정책을 생성하는 방법에 대한 자세한 내용은 S3 on Outposts로 IAM 설정 섹션을 참조하세요.

다음 정책 예제에서는 필요한 권한을 부여하는 방법을 보여줍니다. 정책을 생성한 후에는 클러스터 생성 및 구성 섹션의 내용대로 정책을 EMR 클러스터를 생성하는 데 사용하는 인스턴스 프로파일 역할에 연결할 수 있습니다. 이 예제를 사용하려면 user input placeholders를 사용자의 정보로 대체합니다.

{
"Version":"2012-10-17", 
  "Statement": [
        {
  "Effect": "Allow",
            "Resource": "arn:aws:s3-outposts:us-west-2:111122223333:outpost/op-01ac5d28a6a232904/accesspoint/access-point-name,
            "Action": [
                "s3-outposts:*"
            ]
        }
    ]
    
 }

클러스터 생성 및 구성

S3 on Outposts를 사용하여 Spark를 실행하는 클러스터를 생성하려면 콘솔에서 다음 단계를 완료하세요.

구성 개요

다음 표에서는 Amazon EMR과 함께 S3 on Outposts를 사용하는 클러스터를 설정할 때 S3A 구성과 해당 파라미터에 지정할 값을 설명합니다.

다음 표에서는 Amazon EMR과 함께 S3 on Outposts를 사용하는 클러스터를 설정할 때 Spark 구성과 해당 파라미터에 지정할 값을 설명합니다.

고려 사항

Amazon EMR을 S3 on Outposts 버킷과 통합하는 경우에는 다음 사항을 고려하세요.