AWS Data Pipeline 신규 고객은 더 이상 이용할 수 없습니다. 의 기존 고객 AWS Data Pipeline 정상적으로 서비스를 계속 사용할 수 있습니다. 자세히 알아보기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

EmrCluster

Amazon EMR 클러스터의 구성을 나타냅니다. 이 객체는 EmrActivity 및 HadoopActivity에 의해 클러스터를 시작합니다.

스케줄러

스케줄러는 Hadoop 클러스터에서 리소스 할당 및 작업 우선 순위를 지정하는 방법을 제공합니다. 관리자 또는 사용자는 사용자 및 애플리케이션의 다양한 클래스에 대한 스케줄러를 선택할 수 있습니다. 스케줄러는 대기열을 사용하여 사용자 및 애플리케이션에 리소스를 할당할 수 있습니다. 클러스터를 생성할 때 이러한 대기열을 설정합니다. 그런 다음 특정 작업 유형 및 사용자에 우선순위를 설정할 수 있습니다. 이렇게 하면 클러스터 리소스를 효과적으로 사용할 수 있으며 둘 이상의 사용자가 클러스터에 작업을 제출할 수 있습니다. 세 가지 유형의 스케줄러를 사용할 수 있습니다.

아마존 EMR 릴리스 버전

Amazon EMR 릴리스는 빅 데이터 생태계의 오픈 소스 애플리케이션 세트입니다. 각 릴리스는 클러스터를 생성할 때 Amazon에서 EMR 설치 및 구성하도록 선택한 다양한 빅 데이터 애플리케이션, 구성 요소 및 기능으로 구성됩니다. 릴리스 레이블을 사용하여 릴리스 버전을 지정합니다. 릴리스 레이블은 emr-x.x.x 형식입니다. 예: emr-5.30.0. Amazon EMR 클러스터는 릴리스 레이블을 기반으로 emr-4.0.0 하며 나중에 이 releaseLabel 속성을 사용하여 EmrCluster 객체의 릴리스 레이블을 지정합니다. 이전 버전에서는 amiVersion 속성을 사용합니다.

고려 사항 및 제한

최신 버전의 Task Runner 사용

릴리스 레이블을 가지고 자체 관리형 EmrCluster 객체를 사용 중인 경우에는 최신 Task Runner를 사용합니다. 작업 실행기에 대한 정보는 Task Runner로 작업하기를 참조하십시오. 모든 Amazon EMR 구성 분류에 대한 속성 값을 구성할 수 있습니다. 자세한 내용은 Amazon EMR 릴리스 가이드의 애플리케이션 구성EmrConfiguration, 및 속성 객체 참조를 참조하십시오.

에 대한 지원 IMDSv2

이전 버전만 AWS Data Pipeline IMDSv1 지원되었습니다. 이제 아마존 EMR 5.23.1, 5.27.1, 5.32 이상과 아마존 6.2 IMDSv2 이상에서 AWS Data Pipeline 지원됩니다. EMR IMDSv2세션 지향 방법을 사용하여 인스턴스에서 메타데이터 정보를 검색할 때 인증을 더 잘 처리합니다. -2.0을 사용하여 사용자 관리 리소스를 생성하여 IMDSv2 호출하도록 인스턴스를 구성해야 합니다. TaskRunner

아마존 EMR 5.32 이상 및 아마존 EMR 6.x

Amazon EMR 5.32 이상 및 6.x 릴리스 시리즈는 하둡 버전 3.x를 사용합니다. 이 버전에서는 하둡 버전 2.x와 비교하여 하둡의 클래스 경로를 평가하는 방식이 크게 변경되었습니다. Joda-Time과 같은 일반 라이브러리는 클래스 경로에서 제거되었습니다.

EmrActivity 또는 HadoopActivity이(가) Hadoop 3.x에서 제거된 라이브러리에 대한 종속성이 있는 Jar 파일을 실행하는 경우, 단계는 오류 java.lang.NoClassDefFoundError 또는 java.lang.ClassNotFoundException이(가) 발생하면서 실패합니다. Amazon EMR 5.x 릴리스 버전을 사용하여 문제 없이 실행된 Jar 파일에서 이 문제가 발생할 수 있습니다.

문제를 해결하려면 EmrActivity 또는 HadoopActivity을(를) 시작하기 전에 Jar 파일 종속성을 EmrCluster 상의 객체의 Hadoop 클래스 경로에 복사해야 합니다. 이를 수행할 bash 스크립트를 제공합니다. bash 스크립트는 다음 위치에서 사용할 수 있습니다.MyRegion 예를 들어us-west-2, EmrCluster 개체가 실행되는 AWS 지역입니다.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh

스크립트 실행 방법은 자체 관리 리소스에서 실행되는지 EmrActivity 아니면 HadoopActivity 자체 관리 리소스에서 실행되는지에 따라 달라집니다. AWS Data Pipeline

에서 관리하는 AWS Data Pipeline리소스를 사용하는 경우 EmrCluster 객체에 bootstrapAction a를 추가하십시오. bootstrapAction은(는) 복사할 스크립트와 Jar 파일을 인수로 지정합니다. EmrCluster 객체당 최대 255개의 bootstrapAction 필드를 추가할 수 있으며 bootstrapAction 필드를 이미 부트스트랩 작업이 있는 EmrCluster 객체에 추가할 수 있습니다.

이 스크립트를 부트스트랩 작업으로 지정하려면 다음 구문을 사용합니다. 여기서 JarFileRegion 는 Jar 파일이 저장되는 지역과 각 구문을 사용합니다.MyJarFilen 하둡 클래스 경로로 복사할 Jar 파일의 Amazon S3의 절대 경로입니다. 기본적으로 Hadoop 클래스 경로에 있는 Jar 파일은 지정하지 마십시오.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]

다음 예제는 Amazon S3에 있는 Jar 파일 두 개(my-jar-file.jar 및 emr-dynamodb-tool-4.14.0-jar-with-dependencies.jar)를 복사하는 부트스트랩 작업을 지정합니다. 이 예에서 사용되는 리전은 us-west-2입니다.

{
  "id" : "MyEmrCluster",
  "type" : "EmrCluster",
  "keyPair" : "my-key-pair",
  "masterInstanceType" : "m5.xlarge",
  "coreInstanceType" : "m5.xlarge",
  "coreInstanceCount" : "2",
  "taskInstanceType" : "m5.xlarge",
  "taskInstanceCount": "2",
  "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"]
}

파이프라인을 저장하고 활성화해야 새 bootstrapAction에 대한 변경 사항이 적용됩니다.

자체 관리형 리소스를 사용하는 경우 클러스터 인스턴스에 스크립트를 다운로드하고 를 사용하여 명령줄에서 실행할 수 있습니다. SSH 스크립트는 /etc/hadoop/conf/shellprofile.d(이)라는 이름이 지정된 디렉터리와 해당 디렉터리에 datapipeline-jars.sh(이)라는 이름의 파일을 생성합니다. 명령줄 인수로 제공된 jar 파일은 스크립트에서 만든 /home/hadoop/datapipeline_jars(이)라는 디렉터리에 복사됩니다. 클러스터가 다르게 설정된 경우 스크립트를 다운로드한 후 적절하게 수정하십시오.

명령줄에서 스크립트를 실행하는 구문은 이전 예제에 표시된 bootstrapAction을(를) 사용하는 것과 약간 다릅니다. 다음 예제에서 볼 수 있듯이 같이 인수 간에 쉼표 대신 스페이스를 사용합니다.

./copy-jars-to-hadoop-classpath.sh us-west-2 s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar

아마존 EMR 권한

사용자 지정 IAM 역할을 생성할 때는 클러스터가 작업을 수행하는 데 필요한 최소 권한을 신중하게 고려하십시오. Amazon S3의 파일이나 AmazonRDS, Amazon Redshift 또는 DynamoDB의 데이터와 같은 필수 리소스에 대한 액세스 권한을 부여해야 합니다. visibleToAllUsers를 false로 설정하려면 역할에 적절한 해당 권한이 있어야 합니다. DataPipelineDefaultRole에는 해당 권한이 없음을 참조하십시오. EmrCluster 객체 역할로서 DataPipelineDefaultRole 역할 및 DefaultDataPipelineResourceRole 객체 역할의 조합을 제공하거나 이런 목적을 위해 직접 역할을 생성해야 합니다.

구문

참고