AWS CLI からのジョブの実行

AWS CLI で個々のジョブを作成、説明、削除できます。すべてのジョブを一覧表示して一目で確認することもできます。

新しいジョブを送信するには、start-job-run を使用します。実行するアプリケーションの ID と、ジョブ固有のプロパティを指定します。Spark の例については、「Serverless ジョブの実行時に Spark EMR 設定を使用する」を参照してください。Hive の例については、「Serverless ジョブの実行時に Hive EMR 設定を使用する」を参照してください。このコマンドは application-id、ARN、および新しい job-id を返します。

各ジョブの実行には、タイムアウト時間が設定されています。ジョブの実行がこの時間を超える場合、EMR Serverless は自動的にジョブをキャンセルします。デフォルトのタイムアウトは 12 時間です。ジョブの実行を開始するときに、このタイムアウト設定をジョブの要件を満たす値に設定できます。executionTimeoutMinutes プロパティを使用してこの値を設定します。

aws emr-serverless start-job-run \
  --application-id application-id \
  --execution-role-arn job-role-arn \
  --execution-timeout-minutes 15 \
  --job-driver '{
    "hive": {
        "query": "s3://amzn-s3-demo-bucket/scripts/create_table.sql",
        "parameters": "--hiveconf hive.exec.scratchdir=s3://amzn-s3-demo-bucket/hive/scratch --hiveconf hive.metastore.warehouse.dir=s3://amzn-s3-demo-bucket/hive/warehouse"
    }
   }' \
  --configuration-overrides '{
    "applicationConfiguration": [{
        "classification": "hive-site",
        "properties": {
            "hive.client.cores": "2",
            "hive.client.memory": "4GIB"
        }
    }]
}'

ジョブを記述するには、get-job-run を使用します。このコマンドは、ジョブ固有の設定と新しいジョブの容量の設定を返します。

aws emr-serverless get-job-run \
--job-run-id job-id \
--application-id application-id

ジョブを一覧表示するには、list-job-runs を使用します。このコマンドは、ジョブタイプ、状態などの高レベル属性を含むプロパティの簡略版のセットを返します。すべてのジョブを表示しない場合は、表示するジョブの最大数を 50 個まで指定できます。次の例では、最後の 2 つのジョブ実行を表示するように指定しています。

aws emr-serverless list-job-runs \
--max-results 2 \
--application-id application-id

ジョブをキャンセルするには、cancel-job-run を使用します。キャンセルするジョブの application-id と job-id を指定します。

aws emr-serverless cancel-job-run \
--job-run-id job-id \
--application-id application-id 

AWS CLI からジョブを実行する方法の詳細については、「EMR Serverless API Reference」を参照してください。