Executando trabalhos a partir do AWS CLI

Você pode criar, descrever e excluir trabalhos individuais no AWS CLI. Você também pode listar todos os seus trabalhos para visualizá-los rapidamente.

Para enviar um novo trabalho, usestart-job-run. Forneça o ID do aplicativo que você deseja executar, junto com as propriedades específicas do trabalho. Para exemplos do Spark, consulteTrabalhos do Spark. Para exemplos do Hive, consulteTrabalhos na Hive. Este comando retorna seuapplication-id,ARN, e novojob-id.

Cada execução de trabalho tem uma duração de tempo limite definida. Se a execução do trabalho exceder essa duração, o EMR Serverless o cancelará automaticamente. O tempo limite padrão é de 12 horas. Ao iniciar a execução do trabalho, você pode definir essa configuração de tempo limite para um valor que atenda aos requisitos do trabalho. Configure o valor com a executionTimeoutMinutes propriedade.

aws emr-serverless start-job-run \
  --application-id application-id \
  --execution-role-arn job-role-arn \
  --execution-timeout-minutes 15 \
  --job-driver '{
    "hive": {
        "query": "s3://amzn-s3-demo-bucket/scripts/create_table.sql",
        "parameters": "--hiveconf hive.exec.scratchdir=s3://amzn-s3-demo-bucket/hive/scratch --hiveconf hive.metastore.warehouse.dir=s3://amzn-s3-demo-bucket/hive/warehouse"
    }
   }' \
  --configuration-overrides '{
    "applicationConfiguration": [{
        "classification": "hive-site",
        "properties": {
            "hive.client.cores": "2",
            "hive.client.memory": "4GIB"
        }
    }]
}'

Para descrever um trabalho, useget-job-run. Esse comando retorna as configurações específicas do trabalho e a capacidade definida para seu novo trabalho.

aws emr-serverless get-job-run \
--job-run-id job-id \
--application-id application-id

Para listar seus trabalhos, uselist-job-runs. Esse comando retorna um conjunto abreviado de propriedades que inclui tipo de tarefa, estado e outros atributos de alto nível. Se você não quiser ver todos os seus trabalhos, você pode especificar o número máximo de trabalhos que deseja ver, até 50. O exemplo a seguir especifica que você deseja ver seus dois últimos trabalhos executados.

aws emr-serverless list-job-runs \
--max-results 2 \
--application-id application-id

Para cancelar um trabalho, usecancel-job-run. Forneça o application-id job-id e o trabalho que você deseja cancelar.

aws emr-serverless cancel-job-run \
--job-run-id job-id \
--application-id application-id 

Para obter mais informações sobre como executar trabalhos a partir do AWS CLI, consulte a Referência EMRsem servidor API.