Amazon EMR で Flink を設定する

Flink を Java 11 ランタイム環境で実行するクラスターをコンソールで作成するには

1. AWS Management Consoleにサインインし、Amazon EMR コンソール (https://console.aws.amazon.com/emr) を開きます。

2. ナビゲーションペインの [EMR on EC2] で [クラスター] を選択し、[クラスターの作成] を選択します。

3. Amazon EMR リリース 6.12.0 以降を選択し、Flink アプリケーションのインストールを選択します。クラスターにインストールする他のアプリケーションを選択します。

4. クラスターの設定をそのまま進めます。オプションの [ソフトウェア設定] セクションで、デフォルトの [設定の入力] オプションを使用して、次の設定を入力します。

   [
       {
         "Classification": "flink-conf",
         "Properties": {
           "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "env.java.home":"/usr/lib/jvm/jre-11"
         }
       }
   ]

5. 続けてクラスターの設定と起動を行います。

Flink を Java 11 ランタイム環境で実行するクラスターを CLI から作成するには

1. Flink を Java 11 で実行する設定ファイル configurations.json を作成する

   [
       {
         "Classification": "flink-conf",
         "Properties": {
           "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "env.java.home":"/usr/lib/jvm/jre-11"
         }
       }
   ]

2. AWS CLI から、Amazon EMR リリース 6.12.0 以降で EMR クラスターを新規作成し、次の例に示すように Flink アプリケーションをインストールします。

   aws emr create-cluster --release-label emr-6.12.0 \ 
   --applications Name=Flink \ 
   --configurations file://./configurations.json \ 
   --region us-east-1 \ 
   --log-uri s3://myLogUri \ 
   --instance-type m5.xlarge \ 
   --instance-count 2 \ 
   --service-role EMR_DefaultRole_V2 \ 
   --ec2-attributes KeyName=YourKeyName,InstanceProfile=EMR_EC2_DefaultRole
   

Flink を Java 11 ランタイムで実行している稼働中のクラスターをコンソールで更新するには

1. AWS Management Consoleにサインインし、Amazon EMR コンソール (https://console.aws.amazon.com/emr) を開きます。

2. ナビゲーションペインの [EMR on EC2] で [クラスター] を選択し、更新するクラスターを選択します。

   注記

   クラスターで Java 11 をサポートするには、Amazon EMR リリース 6.12.0 以降を使用する必要があります。

3. [設定] タブを選択します。

4. [インスタンスグループ設定] セクションで、更新する [実行中] のインスタンスグループを選択し、リストアクションメニューから [再設定] を選択します。

5. [属性の編集] オプションを使用してインスタンスグループを次のように再設定します。各設定の後に、[新しい設定の追加] を選択します。

   分類	プロパティ	値
   flink-conf	containerized.taskmanager.env.JAVA_HOME	/usr/lib/jvm/jre-11
   flink-conf	containerized.master.env.JAVA_HOME	/usr/lib/jvm/jre-11
   flink-conf	env.java.home	/usr/lib/jvm/jre-11

6. [変更の保存] を選択して設定を追加します。

Flink を Java 11 ランタイムで実行している稼働中のクラスターを CLI から更新するには

modify-instance-groups コマンドを使用して、実行中のクラスター内のインスタンスグループに新しい設定を指定します。

1. 最初に、設定ファイル configurations.json を作成し、Java 11 を使用できるようにします。次の例にある ig-1xxxxxxx9 を、再設定するインスタンスグループの ID に置き換えます。そのファイルを、modify-instance-groups コマンドを実行するディレクトリに保存します。

   [
      {
         "InstanceGroupId":"ig-1xxxxxxx9",
         "Configurations":[
            {
               "Classification":"flink-conf",
               "Properties":{
                 "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
                 "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
                 "env.java.home":"/usr/lib/jvm/jre-11"
               },
               "Configurations":[]
            }
         ]
      }
   ]

2. AWS CLI から次のコマンドを実行します。再設定するインスタンスグループの ID を置き換えます。

   aws emr modify-instance-groups --cluster-id j-2AL4XXXXXX5T9 \
   --instance-groups file://configurations.json