View a markdown version of this page

コンソールを使用した Amazon EMR クラスターの管理 - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

コンソールを使用した Amazon EMR クラスターの管理

コンソールには、Amazon EMR 環境を直感的に管理できる更新されたインターフェイスが用意されており、ドキュメント、製品情報、その他のリソースに簡単にアクセスできます。

コンソール機能

Amazon EMR コンソールは、次の URL で使用できます。

以下の表は、Amazon EMR コンソールの主要コンポーネントのステータスを示しています。

Amazon EMR コンソールコンポーネント コンソール

EMR Studio

✔

クラスターの作成と管理

✔

パブリックアクセスをブロックする 

✔

Amazon CloudWatch Events をモニタリングする

✔

セキュリティ設定

✔

仮想クラスター (Amazon EMR on EKS)

✔

Amazon Virtual Private Cloud サブネットの表示と管理 1 ✔

ノートブック 2

✔

1 コンソールでは、クラスターを作成するときに [ネットワーク] セクション内の Amazon VPC サブネットを表示および管理できます。

2 EMR Notebooks は、コンソールで EMR Studio Workspace として使用できます。コンソールの [ワークスペースの作成] ボタンを使用すると、新しいノートブックを作成できます。EMR Notebooks ユーザーが Workspace にアクセスしたり作成したりするには、追加の IAM ロール権限が必要です。詳細については、「Amazon EMR Notebooks are Amazon EMR Studio Workspaces in the console」および「Amazon EMR console」を参照してください。

相違点の要約

このセクションでは、Amazon EMR コンソールエクスペリエンスの機能の概要を説明します。これらの機能は以下のカテゴリに分類されます。

コンソールでのクラスターの互換性

場合によっては、作成したクラスターがコンソールと互換性がない可能性があります。以下のリストは、Amazon EMR コンソールの互換性要件を示しています。

  • コンソールは Amazon EMR リリース 5.20.1 以降で作成されたクラスターをサポートします。

  • コンソールでは自動スケーリングを使用するクラスターをクローンできますが、新しいクラスターを作成できるのは、クラスターを手動でスケールする場合やマネージドスケーリングを使用する場合のみです。

リリース 5.20.1 以前のクラスターを作成して操作するには、 AWS Command Line Interface (AWS CLI) または AWS SDK を使用できます。

クラスターの作成

機能 コンソール

用語: Amazon EMR クラスターノードタイプ

プライマリ、コア、タスク

Amazon EMR がサポートするリリース 1

Amazon EMR リリース 5.20.1 以降

クラスターをすばやく起動する

[概要] パネルの [クラスターの作成] ボタンを使用します。クラスター名に <、>、$、|、` (バックティック) の文字を含めることはできません。

スポットプロビジョニングタイムアウトの設定

クラスター内のフリートごとにインスタンスをプロビジョニングするためのタイムアウト期間を定義します。

サービスロールと Amazon EC2 インスタンスプロファイルロール

コンソールではデフォルトのロールは作成されません。IAM コンソールでロールを作成するか、作成済みの IAM ロールを選択する必要があります。

クラスターの可視化

Amazon EMR コンソール内では、クラスターをすべてのユーザーに表示することはできません。クラスターアクセスは IAM ポリシーによって決定されます。

ネットワーク - プライベートサブネットの設定

Amazon S3 エンドポイントと NAT ゲートウェイは、それぞれの Amazon S3 コンソールと Amazon VPC コンソールから設定する必要があります。

EMR ファイルシステムの整合性のあるビュー (EMRFS CV、EMR File System consistent view)

2020 年 12 月 1 日に Amazon S3 の強力な書き込み後の読み取り整合性がリリースされたため、EMR クラスターで EMRFS CV を使用する必要がなくなりました。

Debugging

クラスター詳細ページのアプリケーション UI インターフェイスを使用してジョブをデバッグできます。

1 コンソールでは Amazon EMR 5.20.1 より前のリリースを使用してクラスターを作成または編集することはできませんが、5.20.1 より前のリリースを使用して作成された既存のクラスターは引き続き機能します。5.20.1 より前の Amazon EMR リリースでクラスターを作成および編集するには、API または CLI を使用します。コンソールを使用してすべてのクラスターを表示できますが、5.20.1 より前に作成されたコンソールは、互換性のある新しい機能ではない可能性があります。

クラスターの表示と検索

次の表は、Amazon EMR コンソールを使用してクラスターを表示および検索する方法を示しています。

注記

クラスターリストにデータフィルターを適用すると、データベース全体がクエリされます。ただし、検索ボックスにテキスト文字列を入力すると、リストがクライアント側で読み込んだ結果にのみ検索が適用されます。

機能 コンソール

クラスターの詳細を表示する

[クラスター ID] を選択すると、設定オプション、永続アプリケーション UI、ログなど、クラスターの詳細をすべて表示できます。

クラスターの検索

1 つの検索フィールドを使用してテキスト検索クエリを入力し、「ステータス = すべてのアクティブステータス」のようなデータフィルターを作成して適用できます。

障害が発生したクラスターの検索

障害が発生したクラスターを検索するには、[ステータス] = [エラーで終了] フィルターを適用します。

クラスターの詳細の表示または編集

機能 コンソール

インスタンスグループとインスタンスフリート内のインスタンスを、スケーリング、プロビジョニング、サイズ変更、終了オプションと共に表示する

[インスタンス] タブで、インスタンスのオプションと詳細を表示します。[プロパティ] タブで、終了オプションを表示します。

アプリ UI、ログ、設定を表示する

(Apache Spark UI、Spark 履歴サービス、Apache Tez UI、YARN タイムラインサーバー)

[設定] タブで、クラスター設定を表示します。ライブの永続的なアプリケーション UI を起動して、[アプリケーション] タブからアプリケーションのログを確認します。

CLI へのクラスターのエクスポート

クラスターの詳細およびリストビューのアクションメニューから「クラスターのクローン作成コマンドを表示」として使用できるオプション

セキュリティ設定を操作する場合の相違点

機能 コンソール

セキュリティ設定のクローン作成

✔

Trino と Apache Ranger を使用したフェデレーテッドガバナンス

✔

ランタイムロールを使用してクラスターに作業を送信する 1

✔

EMR ファイルシステム (EMRFS) データへのアクセスの許可

Amazon S3 アクセスポイント

AWS Lake Formation アクセスコントロール

ランタイムロール

1 ステップの送信時にロールを渡すには、クラスターで IAM アクセス権限ポリシーがアタッチされたセキュリティ設定を使用する必要があります。これにより、ユーザーは承認されたロールのみを渡すことができ、ジョブは Amazon EMR リソースにアクセスできます。詳細については、「Amazon EMR ステップのランタイムロール」を参照してください。