EMR Studio でアプリケーションとジョブをデバッグする

ノートブックファイルからクラスタ上の UI を起動する

Amazon EMRリリースバージョン 5.33.0 以降を使用すると、Workspace のノートブックから Spark ウェブユーザーインターフェイス (Spark UI または Spark History Server) を起動できます。

クラスター上の は PySpark、、Spark、または SparkR カーネルでUIs動作します。Spark イベントログまたはコンテナログの最大表示可能ファイルサイズは 10 MB です。ログファイルが 10 MB を超える場合は、ジョブをデバッグするためにクラスタ上の Spark UI ではなく、永続的な Spark History Server を使用することをお勧めします。

1. EMR Studio で、使用する Workspace を開き、 で実行されている Amazon EMRクラスターにアタッチされていることを確認しますEC2。手順については、EMR Studio Workspace にコンピューティングをアタッチする を参照してください。

2. ノートブックファイルを開き PySpark、、Spark、または SparkR カーネルを使用します。カーネルを選択するには、ノートブックツールバーの右上にあるカーネル名を選択し、[Select Kernel] (カーネルの選択) ダイアログボックスを開きます。カーネルが選択されていない場合、名前は [No Kernel!] (カーネルなし) として表示されます。

3. ノートブックコードを実行します。Spark コンテキストを開始すると、ノートブックに次のような出力が表示されます。表示されるまでに数秒かかることがあります。Spark コンテキストを開始した場合は、%%info コマンドを実行して、Spark UI へのリンクにいつでもアクセスできます。

   注記

   Spark UI リンクが機能しない、または数秒経っても表示されない場合は、新しいノートブックセルを作成し、%%info コマンドを実行してリンクを再生成します。

   

4. Spark UI を起動するには、[Spark UI] の [Link] (リンク) を選択します。Spark アプリケーションが実行されている場合、Spark UI が新しいタブで開きます。アプリケーションが完了している場合、代わりに Spark History Server が開きます。

   Spark UI を起動したら、ブラウザURLで を変更して、 YARN ResourceManager または Yarn Timeline Server を開くことができます。amazonaws.com の後に次のパスのいずれかを追加します。

   Web UI	パス	変更された例 URL
   YARN ResourceManager	/rm	https://j-examplebby5ij.emrappui-prod.eu-west-1.amazonaws.com/rm
   Yarn Timeline Server	/yts	https://j-examplebby5ij.emrappui-prod.eu-west-1.amazonaws.com/yts
   Spark History Server	/shs	https://j-examplebby5ij.emrappui-prod.eu-west-1.amazonaws.com/shs

EMR Studio UI から永続YARNタイムラインサーバー、Spark 履歴サーバー、または Tez UI を起動する

1. EMR Studio で、ページの左側EMRにある の Amazon EC2 を選択して、クラスターEMRの Amazon EC2 リストを開きます。

2. 検索ボックスに値を入力して、名前、状態、または ID でクラスターのリストをフィルタリングします。作成の時間範囲で検索することもできます。

3. クラスターを選択し、アプリケーションを起動UIsを選択してアプリケーションのユーザーインターフェイスを選択します。アプリケーション UI が新しいブラウザタブで開き、ロードにしばらく時間がかかる場合があります。