Execução de trabalhos no console do EMR Studio - Amazon EMR
Enviar um trabalhoVisualizar execuções de trabalhos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Execução de trabalhos no console do EMR Studio

Você pode enviar execuções de trabalhos para aplicações do EMR Sem Servidor e exibir os trabalhos no console do EMR Studio. Para criar ou navegar até a aplicação do EMR Sem Servidor no console do EMR Studio, siga as instruções em Getting started from the console.

Enviar um trabalho

Na página Enviar trabalho, você pode enviar um trabalho a uma aplicação do EMR Sem Servidor da forma mostrada a seguir.

Spark

  1. No campo Nome, insira um nome para a execução do trabalho.

  2. No campo Perfil de runtime, insira o nome do perfil do IAM que a aplicação do EMR Sem Servidor pode assumir para a execução do trabalho. Para saber mais sobre perfis de runtime, consulte Perfis de runtime do trabalho para o Amazon EMR Sem Servidor.

  3. No campo Localização do script, insira a localização do Amazon S3 do script ou JAR que você deseja executar. Em trabalhos do Spark, o script pode ser um arquivo Python (.py) ou um arquivo JAR (.jar).

  4. Se a localização do script for um arquivo JAR, insira o nome da classe que é o ponto de entrada do trabalho no campo Classe principal.

  5. (Opcional) Insira valores nos campos restantes.

    • Argumentos do script: insira os argumentos que você deseja passar ao script JAR ou Python principal. Seu código lê esses parâmetros. Separe cada argumento da matriz por uma vírgula.

    • Propriedades do Spark: expanda a seção de propriedades do Spark e insira quaisquer parâmetros de configuração do Spark nesse campo.

      nota

      Se você especificar os tamanhos do driver e do executor do Spark, deverá considerar a sobrecarga de memória. Especifique os valores de sobrecarga de memória nas propriedades spark.driver.memoryOverhead e spark.executor.memoryOverhead. A sobrecarga de memória tem um valor padrão de 10% da memória do contêiner, com um mínimo de 384 MB. Juntas, a memória do executor e a sobrecarga de memória não podem exceder a memória do trabalhador. Por exemplo, a spark.executor.memory máxima em um trabalhador de 30 GB deve ser 27 GB.

    • Configuração de trabalho: especifique qualquer configuração de trabalho nesse campo. Você pode usar essas configurações de trabalho para substituir as configurações padrão de aplicações.

    • Configurações adicionais: ative ou desative o AWS Glue Data Catalog como uma metastore e modifique as configurações de log da aplicação. Para saber mais sobre configurações da metastore, consulte Configuração da metastore para EMR Sem Servidor. Para saber mais sobre as opções de registro em log de aplicações, consulte Armazenamento de logs.

    • Tags: atribua tags personalizadas à aplicação.

  6. Escolha Enviar trabalho.

Hive

  1. No campo Nome, insira um nome para a execução do trabalho.

  2. No campo Perfil de runtime, insira o nome do perfil do IAM que a aplicação do EMR Sem Servidor pode assumir para a execução do trabalho.

  3. No campo Localização do script, insira a localização do Amazon S3 do script ou JAR que você deseja executar. Em trabalhos do Hive, o script deve ser um arquivo do Hive (.sql).

  4. (Opcional) Insira valores nos campos restantes.

    • Localização do script de inicialização: insira a localização do script que inicializa as tabelas antes da execução do script do Hive.

    • Propriedades do Hive: expanda a seção Propriedades do Hive e insira quaisquer parâmetros de configuração do Hive nesse campo.

    • Configuração de trabalho: especifique qualquer configuração de trabalho. Você pode usar essas configurações de trabalho para substituir as configurações padrão de aplicações. Em trabalhos do Hive, hive.exec.scratchdir e hive.metastore.warehouse.dir são propriedades obrigatórias na configuração hive-site.

      {
    "applicationConfiguration": [
        {
            "classification": "hive-site",
            "configurations": [],
            "properties": {
                "hive.exec.scratchdir": "s3://DOC-EXAMPLE_BUCKET/hive/scratch",
                "hive.metastore.warehouse.dir": "s3://DOC-EXAMPLE_BUCKET/hive/warehouse"
            }
        }
    ],
    "monitoringConfiguration": {}
}

    • Configurações adicionais — Ative ou desative o AWS Glue Data Catalog como um metastore e modifique as configurações de registro do aplicativo. Para saber mais sobre configurações da metastore, consulte Configuração da metastore para EMR Sem Servidor. Para saber mais sobre as opções de registro em log de aplicações, consulte Armazenamento de logs.

    • Tags: atribua quaisquer tags personalizadas à aplicação.

  5. Escolha Enviar trabalho.

Visualizar execuções de trabalhos

Na guia Execuções de trabalhos na página Detalhes de uma aplicação, você pode exibir execuções de trabalhos e realizar as ações a seguir para execuções de trabalhos.

Cancelar trabalho: para cancelar a execução de um trabalho que esteja no estado RUNNING, escolha essa opção. Para saber mais sobre as transições de execução de trabalhos, consulte Estados de execução de trabalho.

Clonar trabalho: para clonar uma execução de trabalho anterior e reenviá-la, escolha essa opção.