Amazon での Flink の設定 EMR

コンソールで Flink と Java 11 ランタイムを使用してクラスターを作成するには

1. にサインインし AWS Management Console、https://console.aws.amazon.com/emr で Amazon EMRコンソールを開きます。

2. ナビゲーションペインの EMRの EC2 でクラスター を選択し、クラスター を作成します。

3. Amazon EMRリリース 6.12.0 以降を選択し、Flink アプリケーションのインストールを選択します。クラスターにインストールする他のアプリケーションを選択します。

4. クラスターの設定をそのまま進めます。オプションの [ソフトウェア設定] セクションで、デフォルトの [設定の入力] オプションを使用して、次の設定を入力します。

   [
       {
         "Classification": "flink-conf",
         "Properties": {
           "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "env.java.home":"/usr/lib/jvm/jre-11"
         }
       }
   ]

5. 続けてクラスターの設定と起動を行います。

から Flink と Java 11 ランタイムを使用してクラスターを作成するには CLI

1. Flink を Java 11 で実行する設定ファイル configurations.json を作成する

   [
       {
         "Classification": "flink-conf",
         "Properties": {
           "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "env.java.home":"/usr/lib/jvm/jre-11"
         }
       }
   ]

2. から AWS CLI、Amazon EMRリリース 6.12.0 以降で新しいEMRクラスターを作成し、次の例に示すように Flink アプリケーションをインストールします。

   aws emr create-cluster --release-label emr-6.12.0 \ 
   --applications Name=Flink \ 
   --configurations file://./configurations.json \ 
   --region us-east-1 \ 
   --log-uri s3://myLogUri \ 
   --instance-type m5.xlarge \ 
   --instance-count 2 \ 
   --service-role EMR_DefaultRole_V2 \ 
   --ec2-attributes KeyName=YourKeyName,InstanceProfile=EMR_EC2_DefaultRole
   

コンソールで Flink と Java 11 ランタイムを使用して実行中のクラスターを更新するには

1. にサインインし AWS Management Console、https://console.aws.amazon.com/emr で Amazon EMRコンソールを開きます。

2. ナビゲーションペインの EMRの EC2 でクラスターを選択し、更新するクラスターを選択します。

   注記

   クラスターは Java 11 をサポートするには、Amazon EMRリリース 6.12.0 以降を使用する必要があります。

3. [設定] タブを選択します。

4. [インスタンスグループ設定] セクションで、更新する [実行中] のインスタンスグループを選択し、リストアクションメニューから [再設定] を選択します。

5. [属性の編集] オプションを使用してインスタンスグループを次のように再設定します。各設定の後に、[新しい設定の追加] を選択します。

   分類	プロパティ	値
   flink-conf	containerized.taskmanager.env.JAVA_HOME	/usr/lib/jvm/jre-11
   flink-conf	containerized.master.env.JAVA_HOME	/usr/lib/jvm/jre-11
   flink-conf	env.java.home	/usr/lib/jvm/jre-11

6. [変更の保存] を選択して設定を追加します。

から Flink と Java 11 ランタイムを使用するように実行中のクラスターを更新するには CLI

modify-instance-groups コマンドを使用して、実行中のクラスター内のインスタンスグループに新しい設定を指定します。

1. 最初に、設定ファイル configurations.json を作成し、Java 11 を使用できるようにします。次の例では、ig-1xxxxxxx9 再設定するインスタンスグループの ID を指定します。そのファイルを、modify-instance-groups コマンドを実行するディレクトリに保存します。

   [
      {
         "InstanceGroupId":"ig-1xxxxxxx9",
         "Configurations":[
            {
               "Classification":"flink-conf",
               "Properties":{
                 "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
                 "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
                 "env.java.home":"/usr/lib/jvm/jre-11"
               },
               "Configurations":[]
            }
         ]
      }
   ]

2. から AWS CLI、次のコマンドを実行します。再設定するインスタンスグループの ID を置き換えます。

   aws emr modify-instance-groups --cluster-id j-2AL4XXXXXX5T9 \
   --instance-groups file://configurations.json