Spark ユーザーおよびジョブのアクティビティをモニタリングするためのユーザー偽装の有効化 - Amazon EMR
Spark ユーザー偽装の設定Spark ジョブモニタリングウィジェットの使用

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Spark ユーザーおよびジョブのアクティビティをモニタリングするためのユーザー偽装の有効化

注記

EMR ノートブックは、 コンソールで EMR Studio Workspace として使用できます。コンソールの「ワークスペースの作成」ボタンを使用すると、新しいノートブックを作成できます。Workspace にアクセスまたは作成するには、EMRノートブックユーザーに追加のIAMロールアクセス許可が必要です。詳細については、「Amazon EMR Notebooks are Amazon EMR Studio Workspaces in the console and Amazon console」を参照してください。 EMR

EMR ノートブックでは、Spark クラスターでユーザー偽装を設定できます。この機能を使用すると、ノートブックエディタ内から開始されたジョブのアクティビティを追跡できます。さらに、EMRノートブックには、ノートブックエディタでクエリ出力とともに Spark ジョブの詳細を表示するための Jupyter Notebook ウィジェットが組み込まれています。ウィジェットはデフォルトで使用可能で、特別な設定は必要ありません。ただし、履歴サーバーを表示するには、プライマリノードでホストされている Amazon EMR ウェブインターフェイスを表示するようにクライアントを設定する必要があります。

Spark ユーザー偽装の設定

デフォルトでは、ノートブックエディタを使用してユーザーが送信する Spark ジョブは、不明瞭な livy ユーザー ID から発生しているように見えます。クラスターにユーザー偽装を設定して、代わりに、それらのジョブをコードを実行したユーザー ID に関連付けることができます。HDFS プライマリノードのユーザーディレクトリは、ノートブックでコードを実行するユーザー ID ごとに作成されます。例えば、ユーザー NbUser1 がノートブックエディタからコードを実行する場合、プライマリノードに接続して、hadoop fs -ls /user がディレクトリ /user/user_NbUser1 を示していることを確認できます。

core-site および livy-conf の設定分類でプロパティを設定して、この機能を有効にします。この機能は、Amazon がノートブックと一緒にクラスターEMRを作成する場合、デフォルトでは使用できません。設定分類を使用してアプリケーションをカスタマイズする方法の詳細については、「Amazon EMRリリースガイド」の「アプリケーションの設定」を参照してください。

ノートブックのユーザー偽装を有効にするには、次の設定分類と値を使用しますEMR。

[
    {
        "Classification": "core-site",
        "Properties": {
          "hadoop.proxyuser.livy.groups": "*",
          "hadoop.proxyuser.livy.hosts": "*"
        }
    },
    {
        "Classification": "livy-conf",
        "Properties": {
          "livy.impersonation.enabled": "true"
        }
    }
]

Spark ジョブモニタリングウィジェットの使用

EMR クラスターで Spark ジョブを実行するノートブックエディタでコードを実行すると、出力には Spark ジョブモニタリング用の Jupyter Notebook ウィジェットが含まれます。ウィジェットには、ジョブの詳細と、Spark の履歴サーバーページや Hadoop のジョブ履歴ページへの便利なリンクの他に、失敗したジョブに関する Amazon S3 内のジョブログへの便利なリンクがあります。

クラスタープライマリノードの履歴サーバーページを表示するには、必要に応じて SSHクライアントとプロキシを設定する必要があります。詳細については、「Amazon EMRクラスターでホストされているウェブインターフェイスを表示する」を参照してください。Amazon S3 内のログを表示するには、クラスターのログ記録を有効にする必要があります。この設定は新しいクラスターではデフォルトです。詳細については、「Amazon S3 にアーカイブされたログファイルを表示する」を参照してください。

以下は Spark ジョブモニタリングの例です。

alt_text