아마존에서 플링크 설정하기 EMR

콘솔에서 Flink 및 Java 11 런타임을 사용하여 클러스터를 만들려면

1. 에 AWS Management Console로그인하고 https://console.aws.amazon.com/emr 에서 아마존 EMR 콘솔을 엽니다.

2. 탐색 창에서 EMREC2on에서 클러스터를 선택한 다음 클러스터 생성을 선택합니다.

3. Amazon EMR 릴리스 6.12.0 이상을 선택하고 Flink 애플리케이션을 설치하도록 선택합니다. 클러스터에 설치하려는 다른 애플리케이션을 모두 선택합니다.

4. 클러스터를 계속 설정합니다. 선택적 소프트웨어 설정 섹션에서 기본 구성 입력 옵션을 사용하고 다음 구성을 입력합니다.

   [
       {
         "Classification": "flink-conf",
         "Properties": {
           "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "env.java.home":"/usr/lib/jvm/jre-11"
         }
       }
   ]

5. 계속 설정하고 클러스터를 시작합니다.

에서 Flink 및 Java 11 런타임을 사용하여 클러스터를 만들려면 CLI

1. Java 11을 사용하도록 Flink를 구성하는 구성 파일 configurations.json을 생성합니다.

   [
       {
         "Classification": "flink-conf",
         "Properties": {
           "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "env.java.home":"/usr/lib/jvm/jre-11"
         }
       }
   ]

2. 에서 Amazon EMR 릴리스 6.12.0 이상이 포함된 새 EMR 클러스터를 생성하고 다음 예와 같이 Flink 애플리케이션을 설치합니다. AWS CLI

   aws emr create-cluster --release-label emr-6.12.0 \ 
   --applications Name=Flink \ 
   --configurations file://./configurations.json \ 
   --region us-east-1 \ 
   --log-uri s3://myLogUri \ 
   --instance-type m5.xlarge \ 
   --instance-count 2 \ 
   --service-role EMR_DefaultRole_V2 \ 
   --ec2-attributes KeyName=YourKeyName,InstanceProfile=EMR_EC2_DefaultRole
   

콘솔에서 Flink 및 Java 11 런타임으로 실행 중인 클러스터를 업데이트하려면

1. 에 AWS Management Console로그인하고 https://console.aws.amazon.com/emr 에서 아마존 EMR 콘솔을 엽니다.

2. 탐색 창에서 [EMRon] EC2 에서 [Clusters] 를 선택한 다음 업데이트하려는 클러스터를 선택합니다.

   참고

   클러스터가 Java 11을 지원하려면 Amazon EMR 릴리스 6.12.0 이상을 사용해야 합니다.

3. 구성 탭을 선택합니다.

4. 인스턴스 그룹 구성 섹션에서 업데이트하려는 실행 중인 인스턴스 그룹을 선택한 다음, 목록 작업 메뉴에서 재구성을 선택합니다.

5. 다음과 같이 속성 편집 옵션을 사용하여 인스턴스 그룹을 재구성합니다. 각 항목 이후에 새 구성 추가를 선택합니다.

   분류	속성	값
   flink-conf	containerized.taskmanager.env.JAVA_HOME	/usr/lib/jvm/jre-11
   flink-conf	containerized.master.env.JAVA_HOME	/usr/lib/jvm/jre-11
   flink-conf	env.java.home	/usr/lib/jvm/jre-11

6. 변경 내용 저장을 선택하여 구성을 추가합니다.

Flink 및 Java 11 런타임을 사용하도록 실행 중인 클러스터를 업데이트하려면 CLI

modify-instance-groups 명령을 사용하여 실행 중인 클러스터의 인스턴스 그룹에 대해 새 구성을 지정합니다.

1. 먼저 Java 11을 사용하도록 Flink를 구성하는 configurations.json 구성 파일을 생성합니다. 다음 예제에서는 다음을 대체합니다.ig-1xxxxxxx9 재구성하려는 인스턴스 그룹의 ID를 입력합니다. modify-instance-groups 명령을 실행하는 동일한 디렉터리에 파일을 저장합니다.

   [
      {
         "InstanceGroupId":"ig-1xxxxxxx9",
         "Configurations":[
            {
               "Classification":"flink-conf",
               "Properties":{
                 "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
                 "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
                 "env.java.home":"/usr/lib/jvm/jre-11"
               },
               "Configurations":[]
            }
         ]
      }
   ]

2. 에서 AWS CLI다음 명령을 실행합니다. 재구성하려는 인스턴스 그룹의 ID를 바꿉니다.

   aws emr modify-instance-groups --cluster-id j-2AL4XXXXXX5T9 \
   --instance-groups file://configurations.json