AWS Data Pipeline は、新規顧客には利用できなくなりました。の既存のお客様 AWS Data Pipeline は、通常どおりサービスを引き続き使用できます。詳細はこちら

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

EmrCluster

Amazon EMRクラスターの設定を表します。このオブジェクトは、EmrActivity および HadoopActivity によってクラスターを起動するために使用されます。

スケジューラ

スケジューラーは、Hadoop クラスター内のリソースの割り当てとジョブの優先順位付けを指定する方法を提供します。管理者またはユーザーは、ユーザーおよびアプリケーションのクラス別のスケジューラーを選択できます。スケジューラーは、キューを使用してユーザーおよびアプリケーションにリソースを割り当てることができます。キューは、クラスターを作成する際に設定します。次に、特定のタイプの作業やユーザー間の優先順位を設定できます。これにより、クラスターのリソースが効率的に使用され、複数のユーザーから作業をクラスターに送信できるようになります。次の 3 種類のスケジューラーを使用できます。

Amazon EMR リリースバージョン

Amazon EMRリリースは、ビッグデータエコシステムからの一連のオープンソースアプリケーションです。各リリースは、クラスターの作成時に Amazon がEMRインストールおよび設定するように選択した、さまざまなビッグデータアプリケーション、コンポーネント、および機能で構成されます。リリースラベルを使用してリリースバージョンを指定します。リリースラベルの形式は emr-x.x.x です。例えば、emr-5.30.0 と指定します。リリースラベル 以降に基づく Amazon EMRクラスターは、 releaseLabelプロパティemr-4.0.0を使用してEmrClusterオブジェクトのリリースラベルを指定します。以前のバージョンでは、amiVersion プロパティを使用しています。

考慮事項と制約事項

最新バージョンの Task Runner の使用

リリースラベルを使用して自己管理型 EmrCluster オブジェクトを使用している場合は、最新の Task Runner を使用します。Task Runner の詳細については、「Task Runnerの操作」を参照してください。すべての Amazon EMR設定分類にプロパティ値を設定できます。詳細については、「Amazon リリースガイド」の「アプリケーションの設定」、EmrConfiguration「」、およびプロパティ「 オブジェクトリファレンス」を参照してください。 EMR

のサポート IMDSv2

以前は、 のみが AWS Data Pipeline サポートされていましたIMDSv1。IMDSv2 では、Amazon EMR 5.23.1、5.27.1、5.32 以降、および Amazon 6.2 EMR 以降 AWS Data Pipeline がサポートされるようになりました。IMDSv2 は、セッション指向の方法を使用して、インスタンスからメタデータ情報を取得するときに認証をより適切に処理します。 TaskRunner-2.0 を使用してユーザー管理リソースを作成して、 をIMDSv2呼び出すようにインスタンスを設定する必要があります。

Amazon EMR 5.32 以降および Amazon EMR 6.x

Amazon 5EMR.32 以降および 6.x リリースシリーズでは、Hadoop バージョン 3.x が使用されており、Hadoop バージョン 2.x と比較して Hadoop のクラスパスの評価方法に重大な変更が加えられています。Joda-Time のような一般的なライブラリがクラスパスから削除されました。

EmrActivity または HadoopActivity が Hadoop 3.x で削除されたライブラリに依存関係を持つ Jar ファイルを実行すると、ステップがエラー java.lang.NoClassDefFoundError または java.lang.ClassNotFoundException で失敗します。これは、Amazon EMR5.x リリースバージョンを使用して問題なく実行された Jar ファイルで発生する可能性があります。

この問題を解決するには、EmrActivity または HadoopActivity を開始する前に、EmrCluster オブジェクトで Hadoop クラスパスに Jar ファイルの依存関係をコピーする必要があります。これを行うために bash スクリプトが提供されています。bash スクリプトは次の場所で使用できます。MyRegion は、EmrClusterオブジェクトが実行される AWS リージョンです。例えば、 ですus-west-2。

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh

スクリプトを実行する方法は、 が管理するリソースで EmrActivityまたは HadoopActivity を実行するか、セルフマネージドリソースで を実行する AWS Data Pipeline かによって異なります。

によって管理されるリソースを使用する場合は AWS Data Pipeline、 EmrCluster オブジェクトbootstrapActionに を追加します。bootstrapAction は、引数としてコピーするスクリプトと Jar ファイルを指定します。EmrCluster オブジェクトごとに最大 255 個の bootstrapAction フィールドを追加できます。また、ブートストラップアクションがすでに存在する EmrCluster オブジェクトに bootstrapAction フィールドを追加できます。

このスクリプトをブートストラップアクションとして指定するには、次の構文を使用します。ここで、 JarFileRegion は Jar ファイルが保存されているリージョンであり、各 は MyJarFilen は、Hadoop クラスパスにコピーされる Jar ファイルの Amazon S3 の絶対パスです。デフォルトで Hadoop クラスパスにある Jar ファイルを指定しないでください。

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]

次の例では、Amazon S3 の 2 つの Jar ファイル (my-jar-file.jar と emr-dynamodb-tool-4.14.0-jar-with-dependencies.jar) をコピーするブートストラップアクションを指定します。この例で使用しているリージョンは、us-west-2 です。

{
  "id" : "MyEmrCluster",
  "type" : "EmrCluster",
  "keyPair" : "my-key-pair",
  "masterInstanceType" : "m5.xlarge",
  "coreInstanceType" : "m5.xlarge",
  "coreInstanceCount" : "2",
  "taskInstanceType" : "m5.xlarge",
  "taskInstanceCount": "2",
  "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"]
}

新しい bootstrapAction への変更を有効にするには、パイプラインを保存してアクティブ化する必要があります。

セルフマネージドリソースを使用する場合は、スクリプトをクラスターインスタンスにダウンロードし、 を使用してコマンドラインから実行できますSSH。スクリプトは、/etc/hadoop/conf/shellprofile.d という名前のディレクトリを作成し、そのディレクトリ内に datapipeline-jars.sh という名前のファイルを作成します。コマンドライン引数として指定された jar ファイルは、スクリプトで作成された /home/hadoop/datapipeline_jars という名前のディレクトリにコピーされます。クラスターの設定が異なる場合は、ダウンロード後にスクリプトを適切に変更してください。

コマンドラインでスクリプトを実行するための構文は、前の例で示した bootstrapAction の使用と若干異なります。次の例に示すように、引数の間にはカンマではなくスペースを使用します。

./copy-jars-to-hadoop-classpath.sh us-west-2 s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar

Amazon アクセスEMR許可

カスタムIAMロールを作成するときは、クラスターが作業を実行するために必要な最小限のアクセス許可を慎重に検討してください。Amazon S3 内のファイルや Amazon 、Amazon RedshiftRDS、DynamoDB 内のデータなど、必要なリソースへのアクセスを必ず許可してください。visibleToAllUsers を False に設定する場合は、そのために必要なアクセス権限がロールに必要です。DataPipelineDefaultRole には、これらのアクセス権限がないことに注意してください。EmrCluster オブジェクトのロールとして DefaultDataPipelineResourceRole と DataPipelineDefaultRole のロールの結合を指定するか、この目的で独自のロールを作成する必要があります。

構文

以下の資料も参照してください。