Amazon에서 Flink 구성 EMR

콘솔에서 Flink 및 Java 11 런타임이 포함된 클러스터를 생성하는 방법

1. 에 로그인 AWS Management Console하고 https://console.aws.amazon.com/emr에서 Amazon EMR 콘솔을 엽니다.

2. 탐색 창의 EMR에서 EC2 클러스터를 선택한 다음 클러스터 생성을 선택합니다.

3. Amazon EMR 릴리스 6.12.0 이상을 선택하고 Flink 애플리케이션을 설치하도록 선택합니다. 클러스터에 설치하려는 다른 애플리케이션을 모두 선택합니다.

4. 클러스터를 계속 설정합니다. 선택적 소프트웨어 설정 섹션에서 기본 구성 입력 옵션을 사용하고 다음 구성을 입력합니다.

   [
       {
         "Classification": "flink-conf",
         "Properties": {
           "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "env.java.home":"/usr/lib/jvm/jre-11"
         }
       }
   ]

5. 계속 설정하고 클러스터를 시작합니다.

에서 Flink 및 Java 11 런타임을 사용하여 클러스터를 생성하려면 CLI

1. Java 11을 사용하도록 Flink를 구성하는 구성 파일 configurations.json을 생성합니다.

   [
       {
         "Classification": "flink-conf",
         "Properties": {
           "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "env.java.home":"/usr/lib/jvm/jre-11"
         }
       }
   ]

2. 다음 예제와 같이에서 Amazon EMR 릴리스 6.12.0 이상을 사용하여 새 EMR 클러스터를 AWS CLI생성하고 Flink 애플리케이션을 설치합니다.

   aws emr create-cluster --release-label emr-6.12.0 \ 
   --applications Name=Flink \ 
   --configurations file://./configurations.json \ 
   --region us-east-1 \ 
   --log-uri s3://myLogUri \ 
   --instance-type m5.xlarge \ 
   --instance-count 2 \ 
   --service-role EMR_DefaultRole_V2 \ 
   --ec2-attributes KeyName=YourKeyName,InstanceProfile=EMR_EC2_DefaultRole
   

콘솔에서 Flink 및 Java 11 런타임으로 실행 중인 클러스터를 업데이트하는 방법

1. 에 로그인 AWS Management Console하고 https://console.aws.amazon.com/emr에서 Amazon EMR 콘솔을 엽니다.

2. 탐색 창의 EMR에서 EC2 클러스터를 선택한 다음 업데이트할 클러스터를 선택합니다.

   참고

   클러스터는 Java 11을 지원하려면 Amazon EMR 릴리스 6.12.0 이상을 사용해야 합니다.

3. 구성 탭을 선택합니다.

4. 인스턴스 그룹 구성 섹션에서 업데이트하려는 실행 중인 인스턴스 그룹을 선택한 다음, 목록 작업 메뉴에서 재구성을 선택합니다.

5. 다음과 같이 속성 편집 옵션을 사용하여 인스턴스 그룹을 재구성합니다. 각 항목 이후에 새 구성 추가를 선택합니다.

   분류	속성	값
   flink-conf	containerized.taskmanager.env.JAVA_HOME	/usr/lib/jvm/jre-11
   flink-conf	containerized.master.env.JAVA_HOME	/usr/lib/jvm/jre-11
   flink-conf	env.java.home	/usr/lib/jvm/jre-11

6. 변경 내용 저장을 선택하여 구성을 추가합니다.

에서 Flink 및 Java 11 런타임을 사용하도록 실행 중인 클러스터를 업데이트하려면 CLI

modify-instance-groups 명령을 사용하여 실행 중인 클러스터의 인스턴스 그룹에 대해 새 구성을 지정합니다.

1. 먼저 Java 11을 사용하도록 Flink를 구성하는 configurations.json 구성 파일을 생성합니다. 다음 예제에서는를 재구성하려는 인스턴스 그룹의 IDig-1xxxxxxx9로 바꿉니다. modify-instance-groups 명령을 실행하는 동일한 디렉터리에 파일을 저장합니다.

   [
      {
         "InstanceGroupId":"ig-1xxxxxxx9",
         "Configurations":[
            {
               "Classification":"flink-conf",
               "Properties":{
                 "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
                 "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
                 "env.java.home":"/usr/lib/jvm/jre-11"
               },
               "Configurations":[]
            }
         ]
      }
   ]

2. 에서 다음 명령을 AWS CLI실행합니다. 재구성하려는 인스턴스 그룹의 ID를 바꿉니다.

   aws emr modify-instance-groups --cluster-id j-2AL4XXXXXX5T9 \
   --instance-groups file://configurations.json