Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration de l'autoscaling vertical pour Amazon sur EMR EKS
Cette rubrique vous aide à préparer votre EKS cluster Amazon à soumettre des tâches Amazon EMR Spark avec mise à l'échelle automatique verticale. Le processus de configuration nécessite que vous confirmiez ou effectuiez les tâches décrites dans les sections suivantes :
Rubriques
Prérequis
Effectuez les tâches ci-dessous avant d'installer l'opérateur Kubernetes de mise à l'échelle automatique verticale sur votre cluster. Si vous avez déjà rempli l'une des conditions préalables, vous pouvez l'ignorer et passer à la suivante.
-
Installation ou mise à jour vers la dernière version du AWS CLI — Si vous avez déjà installé le AWS CLI, vérifiez que vous disposez de la dernière version.
-
Installer kubectl — kubectl est un outil de ligne de commande que vous utilisez pour communiquer avec le serveur Kubernetes. API Vous avez besoin de kubectl pour installer et surveiller les artefacts liés à l'autoscaling vertical sur votre cluster Amazon. EKS
-
Installation de l'opérateur SDK
: Amazon EMR on EKS utilise l'opérateur SDK comme gestionnaire de packages pendant toute la durée de vie de l'opérateur de mise à l'échelle automatique vertical que vous installez sur votre cluster. -
Installation de Docker
: vous devez accéder au Docker CLI pour authentifier et récupérer les images Docker liées au redimensionnement automatique vertical à installer sur votre cluster Amazon. EKS -
Installation du serveur Kubernetes Metrics : vous devez d'abord installer le serveur de métriques afin que l'autoscaler vertical du pod puisse récupérer les métriques depuis le serveur Kubernetes. API
-
Commencez avec Amazon EKS — eksctl (version 1.24 ou supérieure) — L'autoscaling vertical est pris en charge par les EKS versions 1.24 et supérieures d'Amazon. Une fois le cluster créé, enregistrez-le pour l'utiliser auprès d'Amazon EMR.
-
Sélectionnez une image de EMR base Amazon URI (version 6.10.0 ou ultérieure) — La mise à l'échelle automatique verticale est prise en charge par les EMR versions 6.10.0 et supérieures d'Amazon.
Installez l'Operator Lifecycle Manager (OLM) sur votre EKS cluster Amazon
Utilisez l'opérateur SDK CLI pour installer l'Operator Lifecycle Manager (OLM) EMR sur le EKS cluster Amazon sur lequel vous souhaitez configurer l'autoscaling vertical, comme indiqué dans l'exemple suivant. Une fois que vous l'avez configuré, vous pouvez l'utiliser OLM pour installer et gérer le cycle de vie de l'opérateur d'autoscaling EMR vertical Amazon.
operator-sdk olm install
Pour valider l'installation, exécutez la commande olm status :
operator-sdk olm status
Vérifiez que la commande renvoie un résultat positif, similaire à l'exemple ci-dessous :
INFO[0007] Successfully got OLM status for version X.XXSi votre installation échoue, consultez Résolution des problèmes liés à EMR la mise à l'EKSéchelle automatique verticale d'Amazon.
Installer l'opérateur de mise à l'échelle automatique Amazon EMR on EKS vertical
Suivez les étapes suivantes pour installer l'opérateur de mise à l'échelle automatique verticale sur votre EKS cluster Amazon :
-
Configurez les variables d'environnement ci-dessous que vous utiliserez pour terminer l'installation :
-
$REGIONrenvoie à la Région AWS correspondant à votre cluster. Par exemple,us-west-2. -
$ACCOUNT_IDpointe vers l'identifiant du ECR compte Amazon de votre région. Pour de plus amples informations, veuillez consulter Comptes ECR de registre Amazon par région. -
$RELEASEpointe vers la EMR version d'Amazon que vous souhaitez utiliser pour votre cluster. Avec l'autoscaling vertical, vous devez utiliser Amazon EMR version 6.10.0 ou supérieure.
-
-
Ensuite, envoyez des jetons d'authentification dans le ECRregistre Amazon de l'opérateur.
aws ecr get-login-password \ --regionregion-id| docker login \ --username AWS \ --password-stdin $ACCOUNT_ID.dkr.ecr.region-id.amazonaws.com -
Installez l'opérateur Amazon EMR on EKS vertical autoscaling à l'aide de la commande suivante :
ECR_URL=$ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com && \ REPO_DEST=dynamic-sizing-k8s-operator-olm-bundle && \ BUNDLE_IMG=emr-$RELEASE-dynamic-sizing-k8s-operator && \ operator-sdk run bundle \ $ECR_URL/$REPO_DEST/$BUNDLE_IMG\:latestCela créera une version de l'opérateur de mise à l'échelle automatique verticale dans l'espace de noms par défaut de votre cluster AmazonEKS. Utilisez cette commande pour effectuer l'installation dans un autre espace de noms :
operator-sdk run bundle \ $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/dynamic-sizing-k8s-operator-olm-bundle/emr-$RELEASE-dynamic-sizing-k8s-operator:latest \ -noperator-namespaceNote
Si l'espace de noms que vous spécifiez n'existe pas, l'opérateur OLM n'est pas installé. Pour de plus amples informations, veuillez consulter L'espace de noms Kubernetes est introuvable.
-
Vérifiez que vous avez bien installé l'opérateur à l'aide de l'outil de ligne de commande kubectl de Kubernetes.
kubectl get csv -noperator-namespaceLa commande
kubectldoit renvoyer votre opérateur de mise à l'échelle automatique verticale nouvellement déployé avec un état de phase indiquant Réussi. Si vous rencontrez des difficultés lors de l'installation ou de la configuration, consultez Résolution des problèmes liés à EMR la mise à l'EKSéchelle automatique verticale d'Amazon.
