Option 2, partie 2 : configurer les paramètres du proxy pour afficher les sites Web hébergés sur le nœud principal du EMR cluster Amazon - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Option 2, partie 2 : configurer les paramètres du proxy pour afficher les sites Web hébergés sur le nœud principal du EMR cluster Amazon

Si vous utilisez un SSH tunnel avec redirection de port dynamique, vous devez utiliser un module complémentaire de gestion de SOCKS proxy pour contrôler les paramètres de proxy dans votre navigateur. L'utilisation d'un outil de gestion de SOCKS proxy vous permet de filtrer automatiquement en URLs fonction de modèles de texte et de limiter les paramètres du proxy aux domaines qui correspondent à la forme du DNS nom public du nœud principal. Le module complémentaire du navigateur gère automatiquement l'activation et la désactivation du proxy lorsque vous basculez entre les sites Web hébergés sur le nœud primaire et ceux hébergés sur Internet. Pour gérer vos paramètres de proxy, configurez votre navigateur pour utiliser un module complémentaire tel que FoxyProxy ou SwitchyOmega.

Pour plus d'informations sur la création d'un SSH tunnel, consultezOption 2, partie 1 : configurer un SSH tunnel vers le nœud principal à l'aide de la redirection de port dynamique. Pour plus d'informations sur les interfaces Web disponibles, consultez Afficher les interfaces Web hébergées sur des EMR clusters Amazon.

Incluez les paramètres suivants lorsque vous configurez votre module complémentaire de proxy :

  • Utilisez localhost comme adresse d'hôte.

  • Utilisez le même numéro de port local que celui que vous avez sélectionné pour établir le SSH tunnel avec le nœud principalOption 2, partie 1 : configurer un SSH tunnel vers le nœud principal à l'aide de la redirection de port dynamique. Par exemple, port8157. Ce port doit également correspondre au numéro de port que vous utilisez dans Pu TTY ou dans tout autre émulateur de terminal que vous utilisez pour vous connecter.

  • Spécifiez le protocole SOCKSv5. SOCKSLa version 5 vous permet de configurer éventuellement l'autorisation des utilisateurs.

  • URLMotifs

    Les URL modèles suivants doivent être autorisés et spécifiés avec un type de modèle générique :

    • Le *ec2*. *compute*.amazonaws.com* et *10*.amazonaws.com* pour qu'ils correspondent au nom public des clusters dans les régions des États-Unis. DNS

    • Les modèles *ec2*.compute* et *10*.compute* doivent correspondre au nom public des clusters dans toutes les autres régions. DNS

    • Un 10. * modèle permettant d'accéder aux fichiers JobTracker journaux dans Hadoop. Modifiez ce filtre s'il est en conflit avec votre plan d'accès réseau.

    • Les modèles *.ec2.internal* et *.compute.internal* doivent correspondre aux DNS noms privés (internes) des clusters de la région et de toutes les autres régions, respectivement. us-east-1

Exemple : Configuration FoxyProxy pour Firefox

L'exemple suivant illustre une configuration FoxyProxy Standard (version 7.5.1) pour Mozilla Firefox.

FoxyProxy fournit un ensemble d'outils de gestion de proxy. Il vous permet d'utiliser un serveur proxy pour faire correspondre URLs les modèles correspondant aux domaines utilisés par les EC2 instances Amazon de votre EMR cluster Amazon.

Pour installer et configurer à FoxyProxy l'aide de Mozilla Firefox
  1. Dans Firefox, rendez-vous sur https://addons.mozilla.org/, recherchez FoxyProxy Standard et suivez les instructions pour ajouter FoxyProxy à Firefox.

  2. À l'aide d'un éditeur de texte, créez un JSON fichier nommé foxyproxy-settings.json à partir de l'exemple de configuration suivant.

    { "k20d21508277536715": { "active": true, "address": "localhost", "port": 8157, "username": "", "password": "", "type": 3, "proxyDNS": true, "title": "emr-socks-proxy", "color": "#0055E5", "index": 9007199254740991, "whitePatterns": [ { "title": "*ec2*.*compute*.amazonaws.com*", "active": true, "pattern": "*ec2*.*compute*.amazonaws.com*", "importedPattern": "*ec2*.*compute*.amazonaws.com*", "type": 1, "protocols": 1 }, { "title": "*ec2*.compute*", "active": true, "pattern": "*ec2*.compute*", "importedPattern": "*ec2*.compute*", "type": 1, "protocols": 1 }, { "title": "10.*", "active": true, "pattern": "10.*", "importedPattern": "http://10.*", "type": 1, "protocols": 2 }, { "title": "*10*.amazonaws.com*", "active": true, "pattern": "*10*.amazonaws.com*", "importedPattern": "*10*.amazonaws.com*", "type": 1, "protocols": 1 }, { "title": "*10*.compute*", "active": true, "pattern": "*10*.compute*", "importedPattern": "*10*.compute*", "type": 1, "protocols": 1 }, { "title": "*.compute.internal*", "active": true, "pattern": "*.compute.internal*", "importedPattern": "*.compute.internal*", "type": 1, "protocols": 1 }, { "title": "*.ec2.internal* ", "active": true, "pattern": "*.ec2.internal*", "importedPattern": "*.ec2.internal*", "type": 1, "protocols": 1 } ], "blackPatterns": [] }, "logging": { "size": 100, "active": false }, "mode": "patterns", "browserVersion": "68.12.0", "foxyProxyVersion": "7.5.1", "foxyProxyEdition": "standard" }
  3. Ouvrez la page Gérer vos extensions de Firefox (allez sur about:addons, puis choisissez Extensions).

  4. Choisissez FoxyProxy Standard, puis cliquez sur le bouton Autres options (le bouton qui ressemble à des points de suspension).

  5. Sélectionnez Options dans le menu déroulant.

  6. Choisissez Paramètres d'importation dans le menu de gauche.

  7. Sur la page Paramètres d'importation, choisissez Paramètres d'importation sous Paramètres d'importation à partir de la FoxyProxy version 6.0, naviguez jusqu'à l'emplacement du foxyproxy-settings.json fichier que vous avez créé, sélectionnez le fichier, puis choisissez Ouvrir.

  8. Cliquez sur OK lorsque vous êtes invité à remplacer les paramètres existants et à enregistrer votre nouvelle configuration.

Exemple : configuration SwitchyOmega pour Chrome

L'exemple suivant montre comment configurer l' SwitchyOmegaextension pour Google Chrome. SwitchyOmega vous permet de configurer, de gérer et de basculer entre plusieurs proxys.

Pour installer et configurer à SwitchyOmega l'aide de Google Chrome
  1. Accédez à https://chrome.google.com/webstore/catégorie/extensions, recherchez Proxy SwitchyOmega et ajoutez-le à Chrome.

  2. Choisissez Nouveau profil et entrez emr-socks-proxy comme nom de profil.

  3. Choisissez le PACprofil, puis Créer. Les fichiers de configuration automatique du proxy (PAC) vous aident à définir une liste d'autorisations pour les requêtes du navigateur qui doivent être transmises à un serveur proxy Web.

  4. Dans le champ PACScript, remplacez le contenu par le script suivant qui définit ce qui URLs doit être transféré via votre serveur proxy Web. Si vous avez spécifié un numéro de port différent lors de la configuration de votre SSH tunnel, remplacez-le 8157 par votre numéro de port.

    function FindProxyForURL(url, host) { if (shExpMatch(url, "*ec2*.*compute*.amazonaws.com*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*ec2*.compute*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "http://10.*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*10*.compute*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*10*.amazonaws.com*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*.compute.internal*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*ec2.internal*")) return 'SOCKS5 localhost:8157'; return 'DIRECT'; }
  5. Sous Actions, choisissez Appliquer les modifications pour enregistrer vos paramètres de proxy.

  6. Dans la barre d'outils Chrome, choisissez SwitchyOmega et sélectionnez le emr-socks-proxy profil.

Accédez à une interface Web dans le navigateur

Pour ouvrir une interface Web, entrez le DNS nom public de votre nœud principal ou principal suivi du numéro de port de l'interface choisie dans la barre d'adresse de votre navigateur. L'exemple suivant montre ce que URL vous devez saisir pour vous connecter au Spark HistoryServer.

http://master-public-dns-name:18080/

Pour obtenir des instructions sur la récupération du DNS nom public d'un nœud, consultezRécupérez le DNS nom public du nœud principal. Pour une liste complète des interfaces WebURLs, voirAfficher les interfaces Web hébergées sur des EMR clusters Amazon.