正在运行来自的作业 AWS CLI - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

正在运行来自的作业 AWS CLI

您可以在上创建、描述和删除单个作业 AWS CLI。您还可以列出所有作业,以便一目了然地查看。

要提交新作业,请使用start-job-run。提供要运行的应用程序的 ID 以及特定于作业的属性。有关 Spark 的示例,请参阅Spark 职位。有关 Hive 示例,请参阅Hive 职位。此命令返回您的application-idARN、和新job-id的。

每次作业运行都有设定的超时持续时间。如果作业运行超过此持续时间,EMRServerless 将自动取消该任务。默认超时时间为 12 小时。开始运行作业时,可以将此超时设置配置为符合任务要求的值。使用executionTimeoutMinutes属性配置值。

aws emr-serverless start-job-run \ --application-id application-id \ --execution-role-arn job-role-arn \ --execution-timeout-minutes 15 \ --job-driver '{ "hive": { "query": "s3://amzn-s3-demo-bucket/scripts/create_table.sql", "parameters": "--hiveconf hive.exec.scratchdir=s3://amzn-s3-demo-bucket/hive/scratch --hiveconf hive.metastore.warehouse.dir=s3://amzn-s3-demo-bucket/hive/warehouse" } }' \ --configuration-overrides '{ "applicationConfiguration": [{ "classification": "hive-site", "properties": { "hive.client.cores": "2", "hive.client.memory": "4GIB" } }] }'

要描述工作,请使用get-job-run。此命令返回特定于作业的配置和新作业的设置容量。

aws emr-serverless get-job-run \ --job-run-id job-id \ --application-id application-id

要列出您的职位,请使用list-job-runs。此命令返回一组简短的属性,其中包括作业类型、状态和其他高级属性。如果您不想查看所有作业,则可以指定要查看的最大作业数,最多 50 个。以下示例指定您要查看最后两次作业的运行情况。

aws emr-serverless list-job-runs \ --max-results 2 \ --application-id application-id

要取消任务,请使用cancel-job-run。提供您要取消job-id的任务的 “application-id和”。

aws emr-serverless cancel-job-run \ --job-run-id job-id \ --application-id application-id

有关如何从中运行作业的更多信息 AWS CLI,请参阅EMR无服务器参API考