Docker イメージをカスタマイズする方法

1. ベースイメージ URI を選択します。次の例で示されるように、イメージ URI は ECR-registry-account.dkr.ecr.Region.amazonaws.com/spark/container-image-tag の形式に従います。

   895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest

   ご利用のリージョンのベースイメージを選択するには、ベースイメージ URI の選択の詳細 を参照してください。

2. ベースイメージが保存されている Amazon ECR リポジトリにログインします。895885662937 と us-west-2 を、Amazon ECR レジストリアカウントと選択した AWS リージョンに置き換えます。

   aws ecr get-login-password --region us-west-2 | docker login --username AWS --password-stdin 895885662937.dkr.ecr.us-west-2.amazonaws.com

3. ベースイメージをローカルワークスペースにプルします。emr-6.6.0:latest を、選択したコンテナイメージタグに置き換えます。

   docker pull 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest

1. ローカルワークスペースで新しい Dockerfile を作成します。

2. 前の手順で作成した Dockerfile を編集し、以下のコンテンツを追加します。この Dockerfile は、895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest からプルしたコンテナイメージを使用します。

   FROM 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest
   USER root
   ### Add customization commands here ####
   USER hadoop:hadoop

3. Dockerfile にコマンドを追加して、ベースイメージをカスタマイズします。たとえば、次の Dockerfile で示すように、Python ライブラリをインストールするコマンドを追加します。

   FROM 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest
   USER root
   RUN pip3 install --upgrade boto3 pandas numpy // For python 3
   USER hadoop:hadoop

4. Dockerfile が作成されたディレクトリと同じディレクトリから、次のコマンドを実行して Docker イメージを作成します。Docker イメージの名前を指定します (例えば、emr6.6_custom など)。

   docker build -t emr6.6_custom .

カスタムイメージを検証するには、次のステップに従います。

1. Amazon EMR on EKS カスタムイメージ CLI をダウンロードしてインストールします。詳細については、Amazon EMR on EKS カスタムイメージ CLI インストールガイドを参照してください。

2. 以下のコマンドを実行して、インストールをテストします。

   emr-on-eks-custom-image --version

   出力の例を以下に示します。

   Amazon EMR on EKS Custom Image CLI
   Version: x.xx

3. 以下のコマンドを実行して、カスタムイメージを検証します。

   emr-on-eks-custom-image validate-image -i image_name -r release_version [-t image_type]

   • -i には、検証する必要のあるローカルイメージ URI を指定します。これには、イメージ URI や、イメージについて定義した任意の名前またはタグを指定できます。

   • -r には、ベースイメージの正確なリリースバージョンを指定します (たとえば、emr-6.6.0-latest など)。

   • -t には、イメージタイプを指定します。これが Spark イメージの場合は、spark を入力します。デフォルト値は spark です。現在の Amazon EMR on EKS カスタムイメージ CLI バージョンでは、Spark ランタイムイメージのみがサポートされています。

   コマンドが正常に実行され、カスタムイメージが必須のすべての設定とファイル構造を満たしている場合、以下の例で示すように、返される出力にはすべてのテストの結果が表示されます。

   Amazon EMR on EKS Custom Image Test
   Version: x.xx
   ... Checking if docker cli is installed
   ... Checking Image Manifest
   [INFO] Image ID: xxx
   [INFO] Created On: 2021-05-17T20:50:07.986662904Z
   [INFO] Default User Set to hadoop:hadoop : PASS
   [INFO] Working Directory Set to /home/hadoop : PASS
   [INFO] Entrypoint Set to /usr/bin/entrypoint.sh : PASS
   [INFO] SPARK_HOME is set with value: /usr/lib/spark : PASS
   [INFO] JAVA_HOME is set with value: /etc/alternatives/jre : PASS
   [INFO] File Structure Test for spark-jars in /usr/lib/spark/jars: PASS
   [INFO] File Structure Test for hadoop-files in /usr/lib/hadoop: PASS
   [INFO] File Structure Test for hadoop-jars in /usr/lib/hadoop/lib: PASS
   [INFO] File Structure Test for bin-files in /usr/bin: PASS
   ... Start Running Sample Spark Job
   [INFO] Sample Spark Job Test with local:///usr/lib/spark/examples/jars/spark-examples.jar : PASS
   -----------------------------------------------------------------
   Overall Custom Image Validation Succeeded.
   -----------------------------------------------------------------

   カスタムイメージが必須の設定またはファイル構造を満たしていない場合、エラーメッセージが表示されます。返される出力では、誤った設定またはファイル構造に関する情報が提供されます。

1. 次のコマンドを実行して、Docker イメージを保存するための Amazon ECR リポジトリを作成します。リポジトリの名前を入力します (例えば、emr6.6_custom_repo など)。us-west-2 を、ご利用のリージョンに置き換えます。

   aws ecr create-repository \
       --repository-name emr6.6_custom_repo \
       --image-scanning-configuration scanOnPush=true \
       --region us-west-2

   詳細については、Amazon ECR ユーザーガイドのリポジトリの作成を参照してください。

2. 次のコマンドを実行して、デフォルトレジストリに対して認証します。

   aws ecr get-login-password --region us-west-2 | docker login --username AWS --password-stdin aws_account_id.dkr.ecr.us-west-2.amazonaws.com

   詳細については、Amazon ECR ユーザーガイドのデフォルトレジストリに対して認証するを参照してください。

3. イメージにタグを付けて、作成した Amazon ECR リポジトリに公開します。

   イメージにタグを付けます。

   docker tag emr6.6_custom aws_account_id.dkr.ecr.us-west-2.amazonaws.com/emr6.6_custom_repo

   イメージをプッシュします。

   docker push aws_account_id.dkr.ecr.us-west-2.amazonaws.com/emr6.6_custom_repo

   詳細については、Amazon ECR ユーザーガイドのイメージを Amazon ECR にプッシュするを参照してください。