Amazon EMR クラスターステータスと詳細の表示 - Amazon EMR
AWS Management Consoleを使用してクラスターの詳細を表示するを使用してクラスターの詳細を表示する AWS CLI

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR クラスターステータスと詳細の表示

クラスターを作成すると、終了した後でもそのステータスを監視し、その実行と発生した可能性のあるエラーに関する詳細情報を取得できます。Amazon EMR は、終了したクラスターに関するメタデータを 2 か月間参照用に保存します。その後、メタデータは削除されます。クラスター履歴からクラスターを削除することはできませんが、 AWS Management Consoleで [Filter (フィルター)] と AWS CLIを使用し、オプションと list-clusters コマンドを使って対象のクラスターを注視できます。

クラスターに保存されたアプリケーション履歴は、クラスターが実行中であるか終了されたかにかかわらず、記録後 1 週間アクセスできます。さらに、永続アプリケーションユーザーインターフェイスは、クラスターが終了してから 30 日間、クラスター外にアプリケーション履歴を保存します。「アプリケーションの履歴を表示する」を参照してください。

待機中、実行中などの、クラスターの状態の詳細については、「クラスターライフサイクルについて」を参照してください。

AWS Management Consoleを使用してクラスターの詳細を表示する

https://console.aws.amazon.com/emr のクラスターリストには、終了したクラスターを含む、アカウントと AWS リージョン内のすべてのクラスターが一覧表示されます。このリストには、各クラスターについて、[名前] と [ID]、[ステータス] と [ステータスの詳細]、[作成時刻]、クラスターが実行されていた [経過時間]、クラスター内のすべての EC2 インスタンスで計上された [正規化インスタンス時間] が表示されます。このリストは、クラスターのステータスをモニタリングするための開始点であり、分析とトラブルシューティングのため、各クラスターの詳細にドリルダウンできるよう設計されています。

Console
コンソールを使用してクラスター情報を表示するには

  1. にサインインし AWS Management Console、https://console.aws.amazon.com/emr で Amazon EMR コンソールを開きます。

  2. 左側のナビゲーションペインの [EMR on EC2] で [クラスター] を選択し、表示するクラスターを選択します。

  3. [概要] パネルを使用して、クラスターのステータス、Amazon EMR がクラスターにインストールしたオープンソースアプリケーション、クラスターの作成に使用した Amazon EMR のバージョンなど、クラスター設定の基本情報を表示します。以下の表で説明するように、[概要] 配下の各タブを使用して情報を表示します。

を使用してクラスターの詳細を表示する AWS CLI

以下の例では、 AWS CLIを使用してクラスターの詳細を取得する方法を示します。使用可能なコマンドの詳細については、「Amazon EMR のAWS CLI コマンドリファレンス」を参照してください。ステータス、ハードウェアやソフトウェアの設定、VPC 設定、ブートストラップアクション、インスタンスグループなど、クラスターレベルの詳細を表示するには、describe-cluster コマンドを使用します。クラスターの状態の詳細については、「クラスターライフサイクルについて」を参照してください。次の例は、describe-cluster コマンドの使用と、それに続けて list-clusters コマンドの例を示しています。

例 クラスターステータスの表示

describe-cluster コマンドを使用するには、クラスター ID が必要です。この例では、特定の日付範囲内に作成されたクラスターの一覧を取得し、返されたクラスター ID の 1 つを使用して、個別のクラスターのステータスに関する詳細情報を表示する方法を示します。

次のコマンドは、クラスター ID で置き換えるクラスター j-1K48XXXXXXHCB を示します。

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

コマンドの出力は、次のようになります。

{
    "Cluster": {
        "Status": {
            "Timeline": {
                "ReadyDateTime": 1438281058.061, 
                "CreationDateTime": 1438280702.498
            }, 
            "State": "WAITING", 
            "StateChangeReason": {
                "Message": "Waiting for steps to run"
            }
        }, 
        "Ec2InstanceAttributes": {
            "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", 
            "IamInstanceProfile": "EMR_EC2_DefaultRole", 
            "Ec2KeyName": "myKey", 
            "Ec2AvailabilityZone": "us-east-1c", 
            "EmrManagedSlaveSecurityGroup": "sg-example"
        }, 
        "Name": "Development Cluster", 
        "ServiceRole": "EMR_DefaultRole", 
        "Tags": [], 
        "TerminationProtected": false, 
        "ReleaseLabel": "emr-4.0.0", 
        "NormalizedInstanceHours": 16, 
        "InstanceGroups": [
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281058.101, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "CORE", 
                "InstanceGroupType": "CORE", 
                "Id": "ig-2EEXAMPLEXXP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }, 
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281023.879, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "MASTER", 
                "InstanceGroupType": "MASTER", 
                "Id": "ig-2A1234567XP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }
        ], 
        "Applications": [
            {
                "Version": "1.0.0", 
                "Name": "Hive"
            }, 
            {
                "Version": "2.6.0", 
                "Name": "Hadoop"
            }, 
            {
                "Version": "0.14.0", 
                "Name": "Pig"
            }, 
            {
                "Version": "1.4.1", 
                "Name": "Spark"
            }
        ], 
        "BootstrapActions": [], 
        "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", 
        "AutoTerminate": false, 
        "Id": "j-jobFlowID", 
        "Configurations": [
            {
                "Properties": {
                    "hadoop.security.groups.cache.secs": "250"
                }, 
                "Classification": "core-site"
            }, 
            {
                "Properties": {
                    "mapreduce.tasktracker.reduce.tasks.maximum": "5", 
                    "mapred.tasktracker.map.tasks.maximum": "2", 
                    "mapreduce.map.sort.spill.percent": "90"
                }, 
                "Classification": "mapred-site"
            }, 
            {
                "Properties": {
                    "hive.join.emit.interval": "1000", 
                    "hive.merge.mapfiles": "true"
                }, 
                "Classification": "hive-site"
            }
        ]
    }
}
例 作成日に基づくクラスターの一覧表示

特定の日付範囲内に作成されたクラスターを取得するには、list-clusters コマンドと --created-after パラメータおよび --created-before パラメータを使用します。

次のコマンドは、2019 年 10 月 9 日～2019 年 10 月 12 日に作成されたすべてのクラスターを一覧表示します。

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00
例 状態に基づくクラスターの一覧表示

状態に基づいてクラスターの一覧を表示するには、list-clusters コマンドを使用し、--cluster-states パラメータを指定します。クラスターの有効な状態は、STARTING、BOOTSTRAPPING、RUNNING、WAITING、TERMINATING、TERMINATED、および TERMINATED_WITH_ERRORS です。

aws emr list-clusters --cluster-states TERMINATED

また、次のショートカットパラメータを使用して、指定された状態のすべてのクラスターを一覧表示することもできます。

  • --active は、状態が STARTING、BOOTSTRAPPING、RUNNING、WAITING、または TERMINATING であるクラスターだけをフィルタリングします。

  • --terminated は、状態が TERMINATED であるクラスターだけをフィルタリングします。

  • --failed は、状態が TERMINATED_WITH_ERRORS であるクラスターだけをフィルタリングします。

次のコマンドは同じ結果を返します。

aws emr list-clusters --cluster-states TERMINATED
aws emr list-clusters --terminated

クラスターの状態の詳細については、「クラスターライフサイクルについて」を参照してください。