Connectez-vous au nœud principal du cluster Amazon EMR à l'aide de SSH - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Connectez-vous au nœud principal du cluster Amazon EMR à l'aide de SSH

SSH (Secure Shell) est un protocole de réseau que vous pouvez utiliser pour créer une connexion sécurisée à un ordinateur distant. Après avoir établi une connexion, le terminal de votre ordinateur local se comporte comme s'il s'exécutait sur l'ordinateur distant. Les commandes que vous émettez localement s'exécutent sur l'ordinateur distant, et la sortie de commande de l'ordinateur distant s'affiche dans la fenêtre de votre terminal.

Lorsque vous utilisez SSH avec AWS, vous vous connectez à une EC2 instance, qui est un serveur virtuel exécuté dans le cloud. Lorsque vous travaillez avec Amazon EMR, l'utilisation la plus courante de SSH consiste à se connecter à l' EC2 instance qui agit en tant que nœud principal du cluster.

Lorsque vous utilisez SSH pour vous connecter au nœud primaire, vous pouvez surveiller le cluster et interagir avec lui. Vous pouvez émettre des commandes Linux sur le nœud primaire, exécuter des applications telles que Hive et Pig de façon interactive, parcourir des annuaires, lire les fichiers journaux, et ainsi de suite. Vous pouvez également créer un tunnel dans votre connexion SSH pour afficher les interfaces Web hébergées sur le nœud primaire. Pour de plus amples informations, veuillez consulter Affichage des interfaces Web hébergées sur des clusters Amazon EMR.

Pour vous connecter au nœud primaire à l'aide de SSH, vous avez besoin du nom DNS public du nœud primaire. En outre, le groupe de sécurité rattaché au nœud primaire doit avoir une règle entrante qui autorise le trafic SSH (port TCP 22) à partir d'une source qui inclut le client depuis lequel la connexion SSH provient. Vous aurez peut-être besoin d'ajouter une règle pour autoriser une connexion SSH à partir de votre client. Pour plus d'informations sur la modification des règles des groupes de sécurité, consultez Contrôlez le trafic réseau avec des groupes de sécurité pour votre cluster Amazon EMR la section Ajouter des règles à un groupe de sécurité dans le guide de EC2 l'utilisateur Amazon.

Récupération du nom DNS public du nœud primaire

Vous pouvez récupérer le nom de serveur DNS public du nœud primaire à l'aide de la console Amazon EMR et de l'interface AWS CLI.

Console
Récupérer le nom DNS public du nœud primaire à l'aide de la nouvelle console
  1. Connectez-vous au et ouvrez la AWS Management Console console Amazon EMR à l'adresse /emr. https://console.aws.amazon.com

  2. Sous EMR activé EC2 dans le volet de navigation de gauche, choisissez Clusters, puis sélectionnez le cluster dans lequel vous souhaitez récupérer le nom DNS public.

  3. Notez la valeur DNS public du nœud primaire dans la section Récapitulatif de la page de détails du cluster.

CLI
Pour récupérer le nom DNS public du nœud principal à l'aide du AWS CLI
  1. Pour récupérer l'identifiant du cluster, tapez la commande suivante.

    aws emr list-clusters

    La sortie répertorie vos clusters, y compris le cluster IDs. Notez l'ID du cluster auquel vous vous connectez.

    "Status": { "Timeline": { "ReadyDateTime": 1408040782.374, "CreationDateTime": 1408040501.213 }, "State": "WAITING", "StateChangeReason": { "Message": "Waiting after step completed" } }, "NormalizedInstanceHours": 4, "Id": "j-2AL4XXXXXX5T9", "Name": "My cluster"
  2. Pour afficher les instances de cluster, y compris le nom de serveur DNS public du cluster, tapez l'une des commandes suivantes. Remplacez j-2AL4XXXXXX5T9 par l'ID de cluster renvoyé par la commande précédente.

    aws emr list-instances --cluster-id j-2AL4XXXXXX5T9

    Ou:

    aws emr describe-cluster --cluster-id j-2AL4XXXXXX5T9

    Vous obtenez la liste des instances de cluster, y compris les noms DNS et les adresses IP. Notez la valeur pour PublicDnsName.

    "Status": { "Timeline": { "ReadyDateTime": 1408040779.263, "CreationDateTime": 1408040515.535 }, "State": "RUNNING", "StateChangeReason": {} }, "Ec2InstanceId": "i-e89b45e7", "PublicDnsName": "ec2-###-##-##-###.us-west-2.compute.amazonaws.com" "PrivateDnsName": "ip-###-##-##-###.us-west-2.compute.internal", "PublicIpAddress": "##.###.###.##", "Id": "ci-12XXXXXXXXFMH", "PrivateIpAddress": "###.##.#.###"

Pour plus d'informations sur l'utilisation des commandes, consultez Commandes Amazon EMR dans l'interface AWS CLI.

Connectez-vous au nœud principal à l'aide de SSH et d'une clé EC2 privée Amazon sous Linux, Unix et Mac OS X

Pour créer une connexion SSH authentifiée à l'aide d'un fichier de clé privée, vous devez spécifier la clé privée de la paire de EC2 clés Amazon lorsque vous lancez un cluster. Pour plus d'informations sur l'accès à votre paire de clés, consultez la section relative aux paires de EC2 clés Amazon dans le guide de EC2 l'utilisateur Amazon.

Votre ordinateur Linux inclut très probablement un client SSH par défaut. Par exemple, OpenSSH est installé sur la plupart des systèmes d'exploitation Linux, Unix et macOS. Vous pouvez vérifier un client SSH en tapant ssh dans la ligne de commande. Si votre ordinateur ne reconnaît pas la commande, installez un client SSH pour vous connecter au nœud primaire. Le projet OpenSSH offre une implémentation gratuite de la suite entière des outils SSH. Pour plus d'informations, consultez le site Web OpenSSH.

Les instructions suivantes décrivent l'ouverture d'une connexion SSH sur le nœud primaire Amazon EMR sous Linux, Unix et Mac OS X.

Pour configurer les autorisations sur les fichiers de clé privée de paire de clés

Avant de pouvoir utiliser la EC2 clé privée de votre paire de clés Amazon pour créer une connexion SSH, vous devez définir des autorisations sur le .pem fichier afin que seul le propriétaire de la clé soit autorisé à accéder au fichier. Cela est nécessaire pour créer une connexion SSH à l'aide du terminal ou du AWS CLI.

  1. Assurez-vous d'avoir autorisé le trafic SSH entrant. Pour obtenir des instructions, consultez Avant de vous connecter à Amazon EMR : autorisez le trafic entrant.

  2. Recherchez votre fichier .pem. Ces instructions supposent que le fichier est nommé mykeypair.pem et qu'il est stocké dans le répertoire de base de l'utilisateur actuel.

  3. Pour définir les autorisations, saisissez la commande suivante. ~/mykeypair.pemRemplacez-le par le chemin complet et le nom du fichier de clé privée de votre paire de clés. Par exemple, C:/Users/<username>/.ssh/mykeypair.pem.

    chmod 400 ~/mykeypair.pem

    Si vous ne définissez pas d'autorisations sur le fichier .pem, vous recevez une erreur indiquant que votre fichier de clé n'est pas protégé et la clé sera rejetée. Pour vous connecter, il vous suffit de définir des autorisations sur le fichier de clé privée de paire de clés la première fois que vous l'utilisez.

Connexion au nœud primaire à l'aide du terminal
  1. Ouvrez une fenêtre du terminal. Sous Mac OS X, choisissez Applications > Utilities > Terminal (Applications > Services > Terminal). Sur d'autres distributions Linux, le terminal se trouve généralement sur Applications > Accessories > Terminal (Applications > Accessoires > Terminal).

  2. Pour établir une connexion au nœud primaire, tapez la commande suivante. ec2-###-##-##-###.compute-1.amazonaws.com.rproxy.goskope.comRemplacez-le par le nom DNS public principal de votre cluster et remplacez-le ~/mykeypair.pem par le chemin complet et le nom de fichier de votre .pem fichier. Par exemple, C:/Users/<username>/.ssh/mykeypair.pem.

    ssh hadoop@ec2-###-##-##-###.compute-1.amazonaws.com -i ~/mykeypair.pem
    Important

    Vous devez utiliser le nom de connexion hadoop lorsque vous vous connectez au nœud primaire Amazon EMR, sinon, une erreur similaire à Server refused our key peut s'afficher.

  3. Un avertissement indique que l'authenticité de l'hôte auquel vous vous connectez ne peut pas être vérifiée. Tapez yes pour continuer.

  4. Lorsque vous avez terminé d'utiliser le nœud primaire, tapez la commande suivante pour fermer la connexion SSH.

    exit

Si vous rencontrez des difficultés pour utiliser SSH lors de la connexion à votre nœud primaire, consultez Résoudre les problèmes de connexion à votre instance.

Connexion au nœud primaire à l'aide de SSH sous Windows

Les utilisateurs Windows peuvent utiliser un client SSH tel que PuTTY pour se connecter au nœud primaire. Avant de vous connecter au nœud principal Amazon EMR, vous devez télécharger et installer PuTTY et Pu. TTYgen Vous pouvez télécharger ces outils à partir de la page de téléchargement PuTTY.

PuTTY ne prend pas en charge de manière native le format de fichier de clé privée par paire de clés (.pem) généré par Amazon. EC2 Vous utilisez Pu TTYgen pour convertir votre fichier clé au format PuTTY requis ().ppk. Avant d'essayer de vous connecter au nœud primaire en utilisant PuTTY, vous devez convertir votre clé dans ce format (.ppk).

Pour plus d'informations sur la conversion de votre clé, consultez la section Conversion de votre clé privée à l'aide de Pu TTYgen dans le guide de EC2 l'utilisateur Amazon.

Connexion au nœud primaire à l'aide de PuTTY
  1. Assurez-vous d'avoir autorisé le trafic SSH entrant. Pour obtenir des instructions, consultez Avant de vous connecter à Amazon EMR : autorisez le trafic entrant.

  2. Ouvrir putty.exe. Vous pouvez également lancer PuTTY à partir de la liste des programmes Windows.

  3. Si nécessaire, dans la liste Category (Catégorie), choisissez Session.

  4. Pour le nom d'hôte (ou adresse IP), tapez hadoop@MasterPublicDNS. olpPar exemple : hadoop@ec2-###-##-##-###.compute-1.amazonaws.com.

  5. Dans la liste Category (Catégorie), sélectionnez Connection > SSH (Connexion > SSH), Auth.

  6. Pour Private key file for authentication (Fichier de clé privée pour l'authentification), choisissez Browse (Parcourir), puis sélectionnez le fichier .ppk que vous avez généré.

  7. Choisissez Ouvrir et Oui pour ignorer l'alerte de sécurité PuTTY.

    Important

    Lorsque vous vous connectez au nœud primaire, tapez hadoop si vous êtes invité à saisir un nom d'utilisateur.

  8. Lorsque vous avez terminé d'utiliser le nœud primaire, vous pouvez fermer la connexion SSH en fermant PuTTY.

    Note

    Pour éviter que la connexion SSH expire, vous pouvez choisir Connexion dans la liste Category (Catégorie) et sélectionner l'option Enable TCP_keepalives (Activer TCP_keepalives). Si vous disposez d'une session SSH active dans PuTTY, vous pouvez modifier vos paramètres en ouvrant le menu contextuel (clic droit) pour la barre de titre PuTTY et en choisissant Modifier les paramètres.

Si vous rencontrez des difficultés pour utiliser SSH lors de la connexion à votre nœud primaire, consultez Résoudre les problèmes de connexion à votre instance.

Connexion au nœud primaire à l'aide de l'interface AWS CLI

Vous pouvez créer une connexion SSH avec le nœud principal à l' AWS CLI aide de Windows et Linux, Unix et Mac OS X. Quelle que soit la plateforme, vous avez besoin du nom DNS public du nœud principal et de votre clé privée de paire de EC2 clés Amazon. Si vous utilisez AWS CLI le sous Linux, Unix ou Mac OS X, vous devez également définir des autorisations sur le fichier de clé privée (.pemou.ppk) comme indiqué dansPour configurer les autorisations sur les fichiers de clé privée de paire de clés.

Pour vous connecter au nœud principal à l'aide du AWS CLI
  1. Assurez-vous d'avoir autorisé le trafic SSH entrant. Pour obtenir des instructions, consultez Avant de vous connecter à Amazon EMR : autorisez le trafic entrant.

  2. Pour récupérer l'identifiant du cluster, tapez :

    aws emr list-clusters

    La sortie répertorie vos clusters, y compris le cluster IDs. Notez l'ID du cluster auquel vous vous connectez.

    "Status": { "Timeline": { "ReadyDateTime": 1408040782.374, "CreationDateTime": 1408040501.213 }, "State": "WAITING", "StateChangeReason": { "Message": "Waiting after step completed" } }, "NormalizedInstanceHours": 4, "Id": "j-2AL4XXXXXX5T9", "Name": "AWS CLI cluster"
  3. Tapez la commande suivante pour ouvrir une connexion SSH vers le nœud primaire. Dans l'exemple suivant, remplacez j-2AL4XXXXXX5T9 par l'ID du cluster et remplacez ~/mykeypair.key par le chemin complet et le nom de fichier de votre .pem fichier (pour Linux, Unix et Mac OS X) ou de votre .ppk fichier (pour Windows). Par exemple, C:\Users\<username>\.ssh\mykeypair.pem.

    aws emr ssh --cluster-id j-2AL4XXXXXX5T9 --key-pair-file ~/mykeypair.key
  4. Lorsque vous avez terminé de travailler sur le nœud principal, fermez la AWS CLI fenêtre.

    Pour plus d'informations sur l'utilisation des commandes, consultez Commandes Amazon EMR dans l'interface AWS CLI. Si vous rencontrez des difficultés pour utiliser SSH lors de la connexion à votre nœud primaire, consultez Résoudre les problèmes de connexion à votre instance.