翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon EMR クラスターのトラブルシューティングに使用できるツールは何ですか。
クラスターのエラーを特定して修正するには、このページで取り上げるツールを利用すると良いでしょう。場合によっては、クラスターの起動時に一部のツールを初期化する必要があります。その他のツールは、デフォルトで、いずれのクラスターにも使用できます。
トピック
EMR クラスターの詳細を表示する
AWS Management Console、 AWS CLI、または EMR API を使用して、EMR クラスターとジョブ実行に関する詳細情報を取得できます。 AWS Management Console および の使用の詳細については AWS CLI、「」を参照してくださいAmazon EMR クラスターステータスと詳細の表示。
Amazon EMR コンソールの詳細ペイン
Amazon EMR コンソールの [クラスター] リストに、アカウントと AWS リージョン内の各クラスターのステータスに関する概要情報が表示されます。リストには、過去 2 か月間に起動したアクティブなクラスターと終了させたクラスターがすべて表示されます。[Clusters] リストから、クラスターの [Name] を選択するとクラスターの詳細を表示できます。この情報は、簡単に操作できるよう別々のカテゴリに分類されています。
クラスターの詳細ページで利用できる [アプリケーションユーザーインターフェイス] は、トラブルシューティングに役立ちます。YARN アプリケーションのステータスが表示されるほか、Spark アプリケーションなど一部では、ジョブ、ステージ、エグゼキューターなど、さまざまなメトリクスやファセットの詳細を表示できます。詳細については、「Amazon EMR アプリケーションの履歴を表示する」を参照してください。この機能は、Amazon EMR リリース 5.8.0 以降でのみ使用できます。
Amazon EMR コマンドラインインターフェイス
クラスターに関する詳細は、 --describe
引数 AWS CLI を使用して から見つけることができます。
Amazon EMR API
DescribeJobFlows
アクションを使用して、API からクラスターに関する情報を検索できます。
EMR クラスターエラーの詳細を表示する
EMR クラスターがエラーで終了すると、DescribeCluster
と ListClusters
の各 API からエラーコードとエラーメッセージが返ります。クラスターエラーによっては、ErrorDetail
データ配列が障害のトラブルシューティングに役立つ場合があります。
ErrorDetail
データを含むエラーコードのリストについては、Amazon EMR の ErrorDetail 情報を含むエラーコード を参照してください。
注記
適切な最新情報を得られるよう、エラーメッセージは継続的に改善されています。ErrorMessage
のテキストは、変更される可能性があるため、解析はお勧めしません。
スクリプトを実行し、Amazon EMR プロセスを設定する
トラブルシューティングプロセスの一環として、クラスターでのカスタムスクリプトの実行や、クラスタープロセスの表示と設定が有効な場合があります。
アプリケーションプロセスを表示して再起動する
潜在的な問題を診断するために、クラスターで実行中のプロセスを表示すると役立つことがあります。クラスターのマスターノードに接続して、クラスタープロセスを停止および再起動できます。詳細については、「Amazon EMR とアプリケーションプロセス (デーモン) を表示して再起動する」を参照してください。
SSH 接続なしでコマンドとスクリプトを実行する
クラスターでコマンドまたはスクリプトをステップとして実行するために、マスターノードへの SSH 接続を確立せずに、command-runner.jar
ツールまたは script-runner.jar
ツールを使用できます。詳細については、「Amazon EMR クラスターでコマンドとスクリプトを実行する」を参照してください。
ログファイルを表示する
Amazon EMR と Hadoop は両方とも、クラスターの実行時にログファイルを生成します。クラスターを起動したときの設定に応じて、さまざまなツールからログファイルにアクセスできます。詳細については、「Amazon EMR クラスターのログ記録とデバッグを設定する」を参照してください。
マスターノードのログファイル
すべてのクラスターは、マスターノードの /mnt/var/log/ ディレクトリにログファイルを発行します。ログファイルはクラスターが実行されている間のみ利用可能です。
Simple Storage Service (Amazon S3) にアーカイブされたログファイル
クラスターを起動して、Simple Storage Service (Amazon S3) のログパスを指定すると、クラスターはマスターノードの /mnt/var/log/ に保存されているログファイルを Simple Storage Service (Amazon S3) に 5 分間隔でコピーします。これによって、クラスターが終了された後でも確実にログファイルにアクセスできます。ファイルは 5 分間隔でアーカイブされるため、突然終了したクラスターの最後の数分は利用できない可能性があります。
EMR クラスターのパフォーマンスを監視する
Amazon EMR には、クラスターのパフォーマンスを監視するためのいくつかのツールが用意されています。
Hadoop ウェブインターフェイス
すべてのクラスターは、クラスターに関する情報を含むマスターノードに Web インターフェイス一式を発行します。SSH トンネルを使用してマスターノードの Web ページに接続することによって、これらの Web ページにアクセスできます。詳細については、「Amazon EMR クラスターでホストされているウェブインターフェイスを表示する」を参照してください。
CloudWatch メトリクス
すべてのクラスターが CloudWatch にメトリクスを報告します。CloudWatch はメトリクスを追跡するウェブサービスです。これを使用して、メトリクスにアラームを設定できます。詳細については、「CloudWatch で Amazon EMR のメトリクスをモニタリングする」を参照してください。