如何自定义 Docker 镜像

1. 选择基础镜像 URI。镜像 URI 遵循格式（ECR-registry-account.dkr.ecr.Region.amazonaws.com/spark/container-image-tag），示例如下。

   895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest

   要选择您所在区域的基础镜像，请参阅如何选择基础映像 URI 的详细信息。

2. 登录存储基础镜像的 Amazon ECR 存储库。用 Amazon ECR 注册账户和您选择的 AWS 地区替换895885662937和。us-west-2

   aws ecr get-login-password --region us-west-2 | docker login --username AWS --password-stdin 895885662937.dkr.ecr.us-west-2.amazonaws.com

3. 将基础镜像拉入本地 Workspace。emr-6.6.0:latest替换为您选择的容器镜像标签。

   docker pull 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest

1. 在您的本地 Workspace 上创建新的 Dockerfile。

2. 编辑您刚刚创建的 Dockerfile 并添加以下内容。该 Dockerfile 使用您从 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest 中提取的容器镜像。

   FROM 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest
   USER root
   ### Add customization commands here ####
   USER hadoop:hadoop

3. 将命令添加到 Dockerfile 以自定义基础镜像。例如，添加命令来安装 Python 库，如以下 Dockerfile 所示。

   FROM 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest
   USER root
   RUN pip3 install --upgrade boto3 pandas numpy // For python 3
   USER hadoop:hadoop

4. 在创建 Dockerfile 的同一目录中，请运行以下命令构建 Docker 镜像。提供 Docker 镜像的名称，emr6.6_custom例如。

   docker build -t emr6.6_custom .

可以执行以下步骤，验证您的自定义镜像。

1. 下载并安装 Amazon EMR on EKS 自定义镜像 CLI。有关更多信息，请参阅 Amazon EMR on EKS 自定义镜像 CLI 安装指南。

2. 运行以下命令以测试安装。

   emr-on-eks-custom-image --version

   下面是此类输出的示例。

   Amazon EMR on EKS Custom Image CLI
   Version: x.xx

3. 运行以下命令以验证您的自定义镜像。

   emr-on-eks-custom-image validate-image -i image_name -r release_version [-t image_type]

   • -i 指定需要验证的本地镜像 URI。它可以是镜像 URI，也可以是为镜像定义的任何名称或标签。

   • -r 为基础镜像指定确切的发布版本，例如 emr-6.6.0-latest。

   • -t 指定镜像类型。如果这是 Spark 镜像，请输入 spark。默认值为 spark。当前 Amazon EMR on EKS 自定义镜像 CLI 版本仅支持 Spark 运行时镜像。

   如果您成功运行命令并且自定义镜像满足所有必需的配置和文件结构，则返回的输出会显示所有测试结果，如以下示例所示。

   Amazon EMR on EKS Custom Image Test
   Version: x.xx
   ... Checking if docker cli is installed
   ... Checking Image Manifest
   [INFO] Image ID: xxx
   [INFO] Created On: 2021-05-17T20:50:07.986662904Z
   [INFO] Default User Set to hadoop:hadoop : PASS
   [INFO] Working Directory Set to /home/hadoop : PASS
   [INFO] Entrypoint Set to /usr/bin/entrypoint.sh : PASS
   [INFO] SPARK_HOME is set with value: /usr/lib/spark : PASS
   [INFO] JAVA_HOME is set with value: /etc/alternatives/jre : PASS
   [INFO] File Structure Test for spark-jars in /usr/lib/spark/jars: PASS
   [INFO] File Structure Test for hadoop-files in /usr/lib/hadoop: PASS
   [INFO] File Structure Test for hadoop-jars in /usr/lib/hadoop/lib: PASS
   [INFO] File Structure Test for bin-files in /usr/bin: PASS
   ... Start Running Sample Spark Job
   [INFO] Sample Spark Job Test with local:///usr/lib/spark/examples/jars/spark-examples.jar : PASS
   -----------------------------------------------------------------
   Overall Custom Image Validation Succeeded.
   -----------------------------------------------------------------

   如果自定义镜像不满足所需的配置或文件结构，则会出现错误消息。返回的输出提供了错误配置或文件结构相关信息。

1. 运行以下命令创建用于存储 Docker 镜像的 Amazon ECR 存储库。为仓库提供一个名称，例如emr6.6_custom_repo。将 us-west-2 替换为您的区域。

   aws ecr create-repository \
       --repository-name emr6.6_custom_repo \
       --image-scanning-configuration scanOnPush=true \
       --region us-west-2

   有关更多信息，请参阅《Amazon ECR 用户指南》中的创建存储库。

2. 运行以下命令对您的默认注册表进行身份验证。

   aws ecr get-login-password --region us-west-2 | docker login --username AWS --password-stdin aws_account_id.dkr.ecr.us-west-2.amazonaws.com

   有关更多信息，请参阅《Amazon ECR 用户指南》中的对您的默认注册表进行身份验证。

3. 标记镜像并将其发布到您创建的 Amazon ECR 存储库。

   标记镜像。

   docker tag emr6.6_custom aws_account_id.dkr.ecr.us-west-2.amazonaws.com/emr6.6_custom_repo

   推送镜像。

   docker push aws_account_id.dkr.ecr.us-west-2.amazonaws.com/emr6.6_custom_repo

   有关更多信息，请参阅《Amazon ECR 用户指南》中的将镜像推送到 Amazon ECR。