Envio de trabalhos para um cluster do Amazon EMR - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Envio de trabalhos para um cluster do Amazon EMR

Esta seção descreve os métodos que você pode usar para enviar trabalhos a um cluster do Amazon EMR. Para enviar trabalhos, é possível adicionar etapas ou enviar trabalhos do Hadoop de forma interativa para o nó primário.

Considere estas regras de comportamento de etapas ao enviar etapas para um cluster:

  • Um ID de etapa pode conter até 256 caracteres.

  • Pode haver até 256 etapas PENDING e RUNNING em um cluster.

  • Mesmo com 256 etapas ativas em execução no cluster, é possível enviar trabalhos de forma interativa ao nó primário. Você pode enviar um número ilimitado de etapas durante a vida útil de um cluster de execução prolongada, mas apenas 256 etapas podem estar no estado RUNNING ou PENDING em um determinado momento.

  • Com as versões 4.8.0 e posteriores do Amazon EMR, exceto a versão 5.0.0, você pode cancelar etapas pendentes. Para obter mais informações, consulte Cancelamento de etapas ao enviar trabalho para um cluster do Amazon EMR.

  • Com o Amazon EMR 5.28.0 e versões posteriores, você pode cancelar as etapas pendentes e em execução. Você também pode optar por executar várias etapas em paralelo para melhorar a utilização de cluster e economizar custos. Para obter mais informações, consulte Considerações sobre a execução de várias etapas em paralelo ao enviar trabalhos para o Amazon EMR.

nota

Para obter o melhor desempenho, recomendamos que você armazene ações de bootstrap, scripts e outros arquivos personalizados que você deseja usar com o Amazon EMR em um bucket do Amazon S3 que esteja no Região da AWS mesmo que seu cluster.

Tópicos