AWS Data Pipeline não está mais disponível para novos clientes. Os clientes existentes do AWS Data Pipeline podem continuar usando o serviço normalmente. Saiba mais

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

EmrCluster

Representa a configuração de um cluster do Amazon EMR. Esse objeto é usado por EmrActivity e HadoopActivity para iniciar um cluster.

Programadores

Os programadores fornecem uma maneira de especificar a alocação de recursos e a priorização de trabalhos dentro de um cluster Hadoop. Administradores ou usuários podem escolher um programador para várias classes de usuários e aplicativos. Um programador pode usar filas para alocar recursos para usuários e aplicativos. Você configura essas filas ao criar o cluster. Em seguida, você pode configurar a prioridade de certos tipos de trabalhos e usuários. Com isso, é possível usar recursos de cluster de maneira eficiente enquanto mais de um usuário envia trabalhos ao cluster. Existem três tipos de programadores disponíveis:

Versão de lançamento do Amazon EMR

Uma versão do Amazon EMR corresponde a um conjunto de aplicações de código aberto do ecossistema de big data. Cada versão contém diferentes aplicações de big data, componentes e recursos que você seleciona para que o Amazon EMR instale e configure quando você criar um cluster. Especificar a versão usando o rótulo da versão. Os rótulos de versão estão no formato emr-x.x.x. Por exemplo, emr-5.30.0. Os clusters do Amazon EMR baseados no rótulo de versão emr-4.0.0 e posterior usam a propriedade releaseLabel para especificar o rótulo de versão de um objeto EmrCluster. Versões anteriores usam a propriedade amiVersion.

Condições e limitações

Use a versão mais recente do Task Runner

Se você estiver usando um objeto EmrCluster autogerenciado com um rótulo de release, use o Task Runner mais atual. Para mais informações sobre o Task Runner, consulte Trabalhar com o Task Runner. Você pode configurar valores de propriedade para todas as classificações de configuração do Amazon EMR. Para obter mais informações, consulte Configurar aplicativos no Guia de apresentação do Amazon EMR e nas referências de objeto EmrConfiguration e Propriedade.

Support for IMDSv2

Anteriormente, somente AWS Data Pipeline suportado IMDSv1. Agora, AWS Data Pipeline oferece suporte IMDSv2 no Amazon EMR 5.23.1, 5.27.1 e 5.32 ou posterior e no Amazon EMR 6.2 ou posterior. IMDSv2 usa um método orientado à sessão para lidar melhor com a autenticação ao recuperar informações de metadados das instâncias. Você deve configurar suas instâncias para fazer IMDSv2 chamadas criando recursos gerenciados pelo usuário usando TaskRunner -2.0.

Amazon EMR 5.32 ou posterior e Amazon EMR 6.x

As séries de lançamento do Amazon EMR 5.32 ou posterior e Amazon EMR 6.x usam o Hadoop versão 3.x, que introduziu mudanças significativas na forma como o classpath do Hadoop é avaliado em comparação com a versão 2.x do Hadoop. Bibliotecas comuns como Joda-Time foram removidas do classpath.

Se EmrActivity ou HadoopActivity executa um arquivo Jar que tem dependências em uma biblioteca que foi removida no Hadoop 3.x, a etapa falhará com o erro java.lang.NoClassDefFoundError ou java.lang.ClassNotFoundException. Isso pode acontecer para os arquivos Jar executados sem problemas usando as versões de lançamento 5.x do Amazon EMR.

Para corrigir o problema, você deve copiar as dependências do arquivo Jar para o classpath do Hadoop em um objeto EmrCluster antes de iniciar o EmrActivity ou o HadoopActivity. Fornecemos um script bash para isso. O script bash está disponível no seguinte local, onde MyRegion é a AWS região em que seu EmrCluster objeto é executado, por exemplous-west-2.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh

A forma de executar o script depende se ele EmrActivity HadoopActivity é executado em um recurso gerenciado AWS Data Pipeline ou executado em um recurso autogerenciado.

Se você usa um recurso gerenciado por AWS Data Pipeline, adicione um bootstrapAction ao EmrCluster objeto. O bootstrapAction especifica o script e os arquivos Jar a serem copiados como argumentos. Você pode adicionar até 255 campos bootstrapAction por objeto EmrCluster e adicionar um campo bootstrapAction a um objeto EmrCluster que já tenha ações de bootstrap.

Para especificar esse script como uma ação de bootstrap, use a seguinte sintaxe, onde JarFileRegion é a região em que o arquivo Jar é salvo e cada um MyJarFilen é o caminho absoluto no Amazon S3 de um arquivo Jar a ser copiado para o classpath do Hadoop. Não especifique arquivos Jar que estão no classpath do Hadoop por padrão.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]

O exemplo a seguir especifica uma ação de bootstrap que copia dois arquivos Jar no Amazon S3: my-jar-file.jar e o emr-dynamodb-tool-4.14.0-jar-with-dependencies.jar. A Região usada no exemplo é us-west-2.

{
  "id" : "MyEmrCluster",
  "type" : "EmrCluster",
  "keyPair" : "my-key-pair",
  "masterInstanceType" : "m5.xlarge",
  "coreInstanceType" : "m5.xlarge",
  "coreInstanceCount" : "2",
  "taskInstanceType" : "m5.xlarge",
  "taskInstanceCount": "2",
  "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"]
}

Você precisa salvar e ativar o pipeline para que a alteração no novo bootstrapAction seja habilitada.

Se você usa um recurso autogerenciado, pode baixar o script para a instância do cluster e executá-lo na linha de comando usando SSH. O script cria um diretório chamado /etc/hadoop/conf/shellprofile.d e um arquivo chamado datapipeline-jars.sh nesse diretório. Os arquivos jar fornecidos como argumentos de linha de comando são copiados para um diretório que o script cria chamado /home/hadoop/datapipeline_jars. Se seu cluster estiver configurado de forma diferente, modifique o script adequadamente após baixá-lo.

A sintaxe para executar o script na linha de comando é um pouco diferente de usar a bootstrapAction exibida no exemplo anterior. Use espaços ao invés de vírgulas entre os argumentos, conforme mostrado no exemplo a seguir.

./copy-jars-to-hadoop-classpath.sh us-west-2 s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar

Permissões do Amazon EMR

Ao criar um perfil do IAM personalizado, considere cuidadosamente as permissões mínimas necessárias para que seu cluster realize os trabalhos. Certifique-se de conceder acesso aos recursos necessários, como arquivos no Amazon S3 ou dados no Amazon RDS, Amazon Redshift ou DynamoDB. Se você quiser definir visibleToAllUsers como "False", sua função precisará das permissões adequadas. DataPipelineDefaultRole não tem essas permissões. Você precisa fornecer uma união das funções DefaultDataPipelineResourceRole e DataPipelineDefaultRole como a função de objeto EmrCluster ou criar sua própria função para essa finalidade.

Sintaxe

Consulte também