Consideraciones para personalizar imágenes - Amazon EMR

Consideraciones para personalizar imágenes

Al personalizar las imágenes de Docker, puede elegir el tiempo de ejecución exacto para su trabajo a un nivel granular. Tenga en cuenta estas prácticas recomendadas al utilizar esta característica. Estas incluyen consideraciones de seguridad, configuración y montaje de una imagen:

  • La seguridad es una responsabilidad compartida entre AWS y usted. Es responsable de aplicar los parches de seguridad a los archivos binarios que agregue a la imagen. Siga las Prácticas recomendadas de seguridad de Amazon EMR en EKS, especialmente Obtener las actualizaciones de seguridad más recientes para imágenes personalizadas y Aplicar el principio de privilegio mínimo.

  • Al personalizar una imagen base, debe cambiar el usuario de Docker a hadoop:hadoop para que los trabajos no se ejecuten con el usuario raíz.

  • Amazon EMR en EKS monta los archivos sobre las configuraciones de la imagen, como spark-defaults.conf, en tiempo de ejecución. Para anular estos archivos de configuración, le recomendamos que utilice el parámetro applicationOverrides durante el envío del trabajo y no modifique directamente los archivos de la imagen personalizada.

  • Amazon EMR en EKS monta determinadas carpetas en tiempo de ejecución. Las modificaciones que haga en estas carpetas no están disponibles en el contenedor. Si desea agregar una aplicación o sus dependencias para imágenes personalizadas, le recomendamos que elija un directorio que no forme parte de las siguientes rutas predefinidas:

    • /var/log/fluentd

    • /var/log/spark/user

    • /var/log/spark/apps

    • /mnt

    • /tmp

    • /home/hadoop

  • Puede cargar su imagen personalizada en cualquier repositorio compatible con Docker, como Amazon ECR, Docker Hub o un repositorio empresarial privado. Para obtener más información sobre cómo configurar la autenticación del clúster de Amazon EKS con el repositorio de Docker seleccionado, consulte Extraer una imagen de un registro privado.