Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration de Spark-Submit pour Amazon sur EMR EKS
Effectuez les tâches suivantes pour vous configurer avant de pouvoir exécuter une application avec spark-submit sur Amazon EMR le. EKS Si vous êtes déjà inscrit à Amazon Web Services (AWS) et que vous avez utilisé AmazonEKS, vous êtes presque prêt à utiliser Amazon EMR surEKS. Si vous avez déjà rempli l'une des conditions préalables, vous pouvez l'ignorer et passer à la suivante.
-
Installation ou mise à jour vers la dernière version du AWS CLI — Si vous avez déjà installé le AWS CLI, vérifiez que vous disposez de la dernière version.
-
Configurer kubectl et eksctl — eksctl est un outil de ligne de commande que vous utilisez pour communiquer avec Amazon. EKS
-
Commencez avec Amazon EKS — eksctl — Suivez les étapes pour créer un nouveau cluster Kubernetes avec des nœuds dans Amazon. EKS
-
Sélectionnez une image de EMR base Amazon URI (version 6.10.0 ou supérieure). La
spark-submitcommande est prise en charge par les EMR versions 6.10.0 et supérieures d'Amazon. -
Confirmez que le compte de service du pilote dispose des autorisations nécessaires pour créer et surveiller les pods d'exécuteurs. Pour de plus amples informations, veuillez consulter Vérifiez les exigences de sécurité du compte Spark Driver Service pour Spark-Submit.
-
Configurez votre profil d'informations d'identification AWS local.
-
Dans la EKS console Amazon, choisissez votre EKS cluster, puis recherchez le point de terminaison du EKS cluster, situé sous Vue d'ensemble, Détails, puis point de terminaison API du serveur.
