Configuración de spark-submit para Amazon EMR en EKS
Complete las siguientes tareas para llevar a cabo la configuración antes de poder ejecutar una aplicación con spark-submit en Amazon EMR en EKS. Si ya se registró en Amazon Web Services (AWS) y ha usado Amazon EKS, lo tiene todo casi listo para comenzar a utilizar Amazon EMR en EKS. Si ya ha completado alguno de los requisitos previos, puede omitirlos y pasar al siguiente.
-
Instale o actualice a la última versión de la AWS CLI: si ya ha instalado la AWS CLI, confirme que tiene la última versión.
-
Configure kubectl y eksctl : eksctl es una herramienta de línea de comandos que se utiliza para comunicarse con Amazon EKS.
-
Comience con Amazon EKS: eksctl : siga los pasos para crear un nuevo clúster de Kubernetes con nodos en Amazon EKS.
-
Seleccione un URI de imagen base de Amazon EMR (versión 6.10.0 o posterior): el comando
spark-submites compatible con las versiones 6.10.0 y posteriores de Amazon EMR. -
Confirme que la cuenta de servicio de controlador tiene los permisos adecuados para crear y supervisar los módulos ejecutores. Para obtener más información, consulte Verificación de los requisitos de seguridad de la cuenta de servicio del controlador de Spark para spark-submit.
-
Configure su perfil de credenciales de AWS local.
-
En la consola de Amazon EKS, elija su clúster de EKS y, a continuación, busque el punto de conexión del clúster de EKS, que se encuentra en Descripción general, Detalles y, a continuación, en el punto de conexión del servidor API.
