オプション 2、パート 2: Amazon EMRクラスターのプライマリノードでホストされているウェブサイトを表示するようにプロキシ設定を構成する - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

オプション 2、パート 2: Amazon EMRクラスターのプライマリノードでホストされているウェブサイトを表示するようにプロキシ設定を構成する

動的ポート転送で SSHトンネルを使用する場合は、SOCKSプロキシ管理アドオンを使用してブラウザのプロキシ設定を制御する必要があります。SOCKS プロキシ管理ツールを使用すると、テキストパターンURLsに基づいて自動的にフィルタリングし、プロキシ設定をプライマリノードのパブリックDNS名の形式に一致するドメインに制限できます。プライマリノードでホストされているウェブサイトとインターネットのウェブサイトの表示を切り替えると、ブラウザのアドオンで自動的にプロキシのオンとオフが切り替えられます。プロキシ設定を管理するには、 FoxyProxy や などのアドオンを使用するようにブラウザを設定します SwitchyOmega。

SSH トンネルの作成の詳細については、「」を参照してくださいオプション 2、パート 1: 動的ポート転送を使用してプライマリノードへの SSHトンネルを設定する。利用可能なウェブインターフェイスの詳細については、「Amazon EMRクラスターでホストされているウェブインターフェイスを表示する」を参照してください。

プロキシアドオンをセットアップするときに、次の設定を含めてください。

  • ホストアドレスとして localhost を使用します。

  • 選択したのと同じローカルポート番号を使用して、 のプライマリノードでSSHトンネルを確立しますオプション 2、パート 1: 動的ポート転送を使用してプライマリノードへの SSHトンネルを設定する。例えば、ポート です8157。このポートは、PuTTY で使用するポート番号、または接続に使用する他のターミナルエミュレータとも一致する必要があります。

  • SOCKS v5 プロトコルを指定します。v5 SOCKS では、オプションでユーザー認可を設定できます。

  • URL パターン

    次のURLパターンは、ワイルドカードパターンタイプで許可リストに登録して指定する必要があります。

    • 米国リージョンのクラスターのパブリックDNS名と一致する *ec2*.*compute*.amazonaws.com* および *10*.amazonaws.com* パターン。

    • 他のすべてのリージョンのクラスターのパブリックDNS名と一致する *ec2*.compute* パターンと *10*.compute* パターン。

    • Hadoop のJobTracker ログファイルへのアクセスを提供する 10.* パターン。ネットワークアクセスプランと競合する場合は、このフィルターを変更します。

    • リージョンおよび他のすべてのus-east-1リージョンのクラスターのプライベート (内部) DNS名にそれぞれ一致させる *.ec2.internal* パターンと *.compute.internal* パターン。

例: Firefox 用に を設定する FoxyProxy

次の例は、Mozilla Firefox の FoxyProxy 標準 (バージョン 7.5.1) 設定を示しています。

FoxyProxy には、一連のプロキシ管理ツールが用意されています。これにより、Amazon EMRクラスター内の Amazon EC2インスタンスが使用するドメインに対応するパターンURLsに一致するプロキシサーバーを に使用できます。

Mozilla Firefox FoxyProxy を使用してインストールおよび設定するには
  1. Firefox で、https://addons.mozilla.org/ に移動し、標準 を検索 FoxyProxyし、手順に従って Firefox FoxyProxy に追加します。

  2. テキストエディタを使用して、次の設定例foxyproxy-settings.jsonから という名前のJSONファイルを作成します。

    { "k20d21508277536715": { "active": true, "address": "localhost", "port": 8157, "username": "", "password": "", "type": 3, "proxyDNS": true, "title": "emr-socks-proxy", "color": "#0055E5", "index": 9007199254740991, "whitePatterns": [ { "title": "*ec2*.*compute*.amazonaws.com*", "active": true, "pattern": "*ec2*.*compute*.amazonaws.com*", "importedPattern": "*ec2*.*compute*.amazonaws.com*", "type": 1, "protocols": 1 }, { "title": "*ec2*.compute*", "active": true, "pattern": "*ec2*.compute*", "importedPattern": "*ec2*.compute*", "type": 1, "protocols": 1 }, { "title": "10.*", "active": true, "pattern": "10.*", "importedPattern": "http://10.*", "type": 1, "protocols": 2 }, { "title": "*10*.amazonaws.com*", "active": true, "pattern": "*10*.amazonaws.com*", "importedPattern": "*10*.amazonaws.com*", "type": 1, "protocols": 1 }, { "title": "*10*.compute*", "active": true, "pattern": "*10*.compute*", "importedPattern": "*10*.compute*", "type": 1, "protocols": 1 }, { "title": "*.compute.internal*", "active": true, "pattern": "*.compute.internal*", "importedPattern": "*.compute.internal*", "type": 1, "protocols": 1 }, { "title": "*.ec2.internal* ", "active": true, "pattern": "*.ec2.internal*", "importedPattern": "*.ec2.internal*", "type": 1, "protocols": 1 } ], "blackPatterns": [] }, "logging": { "size": 100, "active": false }, "mode": "patterns", "browserVersion": "68.12.0", "foxyProxyVersion": "7.5.1", "foxyProxyEdition": "standard" }
  3. Firefox で [拡張機能の管理] ページを開きます ([about:addons] に移動し、[拡張機能] を選択します)。

  4. Standard を選択しFoxyProxy 、さらに多くのオプションボタン (省略記号のようなボタン) を選択します。

  5. ドロップダウンから [Options] を選択します。

  6. 左のメニューから、[Import Settings] を選択します。

  7. 「設定のインポート」ページで、「設定のインポート」を FoxyProxy 「6.0 以降」で選択し、作成したfoxyproxy-settings.jsonファイルの場所を参照し、ファイルを選択して、「開く」を選択します。

  8. 既存の設定を上書きして新しい設定を保存するかどうかを確認するメッセージが表示されたら [OK] を選択します。

例: クローム SwitchyOmega 用に を設定する

次の例は、複数のプロキシを設定、管理、切り替える Google Chrome. SwitchyOmega lets の 拡張機能を設定する SwitchyOmega方法を示しています。

Google Chrome SwitchyOmega を使用してインストールおよび設定するには
  1. https://chrome.google.com/webstore/カテゴリ/拡張機能に移動し、プロキシ SwitchyOmegaを検索して、Chrome に追加します。

  2. [New profile] 選択し、プロファイル名として emr-socks-proxy を入力します。

  3. PAC プロファイルを選択し、作成します。Proxy Auto-Configuration (PAC) ファイルは、ウェブプロキシサーバーに転送する必要があるブラウザリクエストの許可リストを定義するのに役立ちます。

  4. PAC スクリプト フィールドで、ウェブプロキシサーバー経由で転送URLsする を定義する次のスクリプトでコンテンツを置き換えます。SSH トンネルの設定時に別のポート番号を指定した場合は、 をポート番号8157に置き換えます。

    function FindProxyForURL(url, host) { if (shExpMatch(url, "*ec2*.*compute*.amazonaws.com*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*ec2*.compute*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "http://10.*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*10*.compute*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*10*.amazonaws.com*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*.compute.internal*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*ec2.internal*")) return 'SOCKS5 localhost:8157'; return 'DIRECT'; }
  5. [Actions] の下で、[Apply changes] を選択して、プロキシ設定を保存します。

  6. Chrome ツールバーで、emr-socks-proxyプロファイル SwitchyOmega を選択して選択します。

ブラウザでウェブインターフェイスにアクセスする

ウェブインターフェイスを開くには、ブラウザのアドレスバーにプライマリノードまたはコアノードのパブリックDNS名を入力し、その後に選択したインターフェイスのポート番号を入力します。次の例は、Spark に接続するために入力URLする を示しています HistoryServer。

http://master-public-dns-name:18080/

ノードのパブリックDNS名を取得する手順については、「」を参照してくださいプライマリノードのパブリックDNS名を取得する。ウェブインターフェイス の完全なリストについてはURLs、「」を参照してくださいAmazon EMRクラスターでホストされているウェブインターフェイスを表示する