Enlaces a las guías de prácticas recomendadas de Amazon EMR en EKS en GitHub

Hemos creado la Guía de prácticas recomendadas de Amazon EMR en EKS mediante la colaboración comunitaria de código abierto para poder iterar rápidamente y ofrecer recomendaciones para aspectos de creación y ejecución de un clúster virtual. Le recomendamos que utilice la Guía de prácticas recomendadas de Amazon EMR en EKS para las secciones. Elija los enlaces de cada sección para ir al sitio de GitHub.

Seguridad

Prácticas recomendadas de cifrado: cómo utilizar el cifrado para los datos en reposo y en tránsito.

En Administración de la seguridad de la red se describe cómo configurar grupos de seguridad para pods de Amazon EMR en EKS mientras se conecta a orígenes de datos alojados en Servicios de AWS, como Amazon RDS y Amazon Redshift.

Uso de AWS Secrets Manager para almacenar secretos.

Envío de trabajos de PySpark

Envío de trabajos de PySpark: especifica diferentes tipos de empaquetado para las aplicaciones de PySpark con formatos como zip, egg, wheel y pex.

Almacenamiento

Uso de volúmenes de EBS: cómo utilizar el aprovisionamiento estático y dinámico para los trabajos que necesitan volúmenes de EBS.

Uso de volúmenes de Amazon FSx para Lustre: cómo utilizar el aprovisionamiento estático y dinámico para trabajos que necesitan volúmenes de Amazon FSx para Lustre.

Uso de volúmenes de almacenes de instancias: cómo utilizar los volúmenes de almacenes de instancias para el procesamiento de trabajos.

Integración con metaalmacenes

Uso de metaalmacenes de Hive: ofrece diferentes formas de utilizar metaalmacenes de Hive.

Uso de AWS Glue: ofrece diferentes formas de configurar el catálogo de AWS Glue.

Debugging

Uso de la depuración de Spark: cómo cambiar el nivel de registro.

Conexión a la interfaz de usuario de Spark en el pod controlador.

Cómo utilizar el servidor de historial Spark autoalojado con Amazon EMR en EKS.

Solución de problemas de Amazon EMR en EKS

Solución de problemas.

Colocación de nodos

Uso de selectores de nodos de Kubernetes para single-az y otros casos de uso.

Uso de la colocación de nodos de Fargate.

Rendimiento

Uso de la asignación dinámica de recursos (DRA).

Prácticas recomendadas de EKS para el complemento Amazon VPC Container Network Interface (CNI), Cluster Autoscaler y Core DNS.

Optimización de costos

Uso de instancias de spot: prácticas recomendadas para las instancias de spot de Amazon EC2 y cómo utilizar la característica de desmantelamiento de nodos de Spark.

Uso de AWS Outposts

Ejecución de Amazon EMR en EKS mediante AWS Outposts