EmrCluster

AWS Data Pipeline は、新規顧客には利用できなくなりました。の既存のお客様は、通常どおりサービスを AWS Data Pipeline 引き続き使用できます。詳細はこちら

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS Data Pipeline は、新規顧客には利用できなくなりました。の既存のお客様は、通常どおりサービスを AWS Data Pipeline 引き続き使用できます。詳細はこちら

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR クラスターの設定を表します。このオブジェクトは、EmrActivity および HadoopActivity によってクラスターを起動するために使用されます。

スケジューラ

スケジューラーは、Hadoop クラスター内のリソースの割り当てとジョブの優先順位付けを指定する方法を提供します。管理者またはユーザーは、ユーザーおよびアプリケーションのクラス別のスケジューラーを選択できます。スケジューラーは、キューを使用してユーザーおよびアプリケーションにリソースを割り当てることができます。キューは、クラスターを作成する際に設定します。次に、特定のタイプの作業やユーザー間の優先順位を設定できます。これにより、クラスターのリソースが効率的に使用され、複数のユーザーから作業をクラスターに送信できるようになります。次の 3 種類のスケジューラーを使用できます。

Amazon EMR リリースバージョン

Amazon EMR リリースは、ビッグデータエコシステムからの一連のオープンソースのアプリケーションです。各リリースは異なるビッグデータアプリケーション、コンポーネント、および機能で構成され、クラスターを作成するときに Amazon EMR でインストールして設定することを選択します。リリースラベルを使用してリリースバージョンを指定します。リリースラベルの形式は emr-x.x.x です。例えば、emr-5.30.0 と指定します。リリースラベル emr-4.0.0 以降に基づく Amazon EMR クラスターでは、releaseLabel プロパティを使用して、EmrCluster オブジェクトのリリースラベルを指定します。以前のバージョンでは、amiVersion プロパティを使用しています。

考慮事項と制約事項

最新バージョンの Task Runner の使用

リリースラベルを使用して自己管理型 EmrCluster オブジェクトを使用している場合は、最新の Task Runner を使用します。Task Runner の詳細については、「Task Runnerの操作」を参照してください。Amazon EMR 設定のすべての分類に対してプロパティ値を設定できます。詳細については、Amazon EMR リリース ガイドのアプリケーションの設定、EmrConfiguration、およびオブジェクトリファレンスの プロパティ を参照してください。

IMDSv2 のサポート

以前は、IMDSv1 のみ AWS Data Pipeline をサポートしていました。は、Amazon EMR 5.23.1、5.27.1、5.32 以降、および Amazon EMR 6.2 以降で IMDSv2 AWS Data Pipeline をサポートするようになりました。IMDSv2 では、セッション指向の方法を使用して、インスタンスからメタデータ情報を取得する際の認証をより適切に処理できます。TaskRunner-2.0 を使用してユーザーマネージドリソースを作成して、IMDSv2 呼び出しを行うようにインスタンスを設定する必要があります。

Amazon EMR 5.32 以降と Amazon EMR 6.x

Amazon EMR 5.32 以降と 6.x リリースシリーズでは Hadoop バージョン 3.x が使用されており、Hadoop バージョン 2.x と比較して Hadoop のクラスパスの評価方法に重要な変更が導入されました。Joda-Time のような一般的なライブラリがクラスパスから削除されました。

EmrActivity または HadoopActivity が Hadoop 3.x で削除されたライブラリに依存関係を持つ Jar ファイルを実行すると、ステップがエラー java.lang.NoClassDefFoundError または java.lang.ClassNotFoundException で失敗します。これは、Amazon EMR 5.x リリースバージョンを使用して問題なく実行された Jar ファイルで発生する可能性があります。

この問題を解決するには、EmrActivity または HadoopActivity を開始する前に、EmrCluster オブジェクトで Hadoop クラスパスに Jar ファイルの依存関係をコピーする必要があります。これを行うために bash スクリプトが提供されています。bash スクリプトは次の場所で使用できます。ここで、MyRegion はEmrClusterオブジェクトが実行される AWS リージョンです。例: us-west-2。

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh

スクリプトを実行する方法は、 EmrActivityまたは が によって管理されるリソースでHadoopActivity実行されるか、セルフマネージドリソースで実行される AWS Data Pipeline かによって異なります。

によって管理されるリソースを使用する場合は AWS Data Pipeline、 EmrCluster オブジェクトbootstrapActionに を追加します。bootstrapAction は、引数としてコピーするスクリプトと Jar ファイルを指定します。EmrCluster オブジェクトごとに最大 255 個の bootstrapAction フィールドを追加できます。また、ブートストラップアクションがすでに存在する EmrCluster オブジェクトに bootstrapAction フィールドを追加できます。

このスクリプトをブートストラップアクションとして指定するには、次の構文を使用します。ここで、JarFileRegion は Jar ファイルが保存されているリージョンであり、各 MyJarFilen は、Hadoop クラスパスにコピーする Jar ファイルの Amazon S3 の絶対パスです。デフォルトで Hadoop クラスパスにある Jar ファイルを指定しないでください。

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]

次の例では、Amazon S3 の 2 つの Jar ファイル (my-jar-file.jar と emr-dynamodb-tool-4.14.0-jar-with-dependencies.jar) をコピーするブートストラップアクションを指定します。この例で使用しているリージョンは、us-west-2 です。

{
  "id" : "MyEmrCluster",
  "type" : "EmrCluster",
  "keyPair" : "my-key-pair",
  "masterInstanceType" : "m5.xlarge",
  "coreInstanceType" : "m5.xlarge",
  "coreInstanceCount" : "2",
  "taskInstanceType" : "m5.xlarge",
  "taskInstanceCount": "2",
  "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"]
}

新しい bootstrapAction への変更を有効にするには、パイプラインを保存してアクティブ化する必要があります。

セルフマネージドリソースを使用する場合は、スクリプトをクラスターインスタンスにダウンロードし、SSH を使用してコマンドラインからそのスクリプトを実行できます。スクリプトは、/etc/hadoop/conf/shellprofile.d という名前のディレクトリを作成し、そのディレクトリ内に datapipeline-jars.sh という名前のファイルを作成します。コマンドライン引数として指定された jar ファイルは、スクリプトで作成された /home/hadoop/datapipeline_jars という名前のディレクトリにコピーされます。クラスターの設定が異なる場合は、ダウンロード後にスクリプトを適切に変更してください。

コマンドラインでスクリプトを実行するための構文は、前の例で示した bootstrapAction の使用と若干異なります。次の例に示すように、引数の間にはカンマではなくスペースを使用します。

./copy-jars-to-hadoop-classpath.sh us-west-2 s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar

Amazon EMR の許可

カスタム IAM ロールを作成する場合は、クラスターが作業を実行するために必要な最小限の許可を慎重に検討します。Amazon S3 のファイルや Amazon RDS、Amazon Redshift、DynamoDB のデータなど、必要なリソースへのアクセス権を確実に付与します。visibleToAllUsers を False に設定する場合は、そのために必要なアクセス権限がロールに必要です。DataPipelineDefaultRole には、これらのアクセス権限がないことに注意してください。EmrCluster オブジェクトのロールとして DefaultDataPipelineResourceRole と DataPipelineDefaultRole のロールの結合を指定するか、この目的で独自のロールを作成する必要があります。

構文

以下の資料も参照してください。