Configurar um local para a saída do EMR cluster da Amazon - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurar um local para a saída do EMR cluster da Amazon

O formato de saída mais comum de um EMR cluster da Amazon é como arquivos de texto, compactados ou não compactados. Normalmente, esse arquivo é gravado em um bucket do Amazon S3. Esse bucket deve ser criado antes de você iniciar o cluster. Você especifica o bucket do S3 como o local de saída quando inicia o cluster.

Para obter mais informações, consulte os tópicos a seguir.

Criar e configurar um bucket do Amazon S3

A Amazon EMR (AmazonEMR) usa o Amazon S3 para armazenar dados de entrada, arquivos de log e dados de saída. O Amazon S3 se refere a esses locais de armazenamento como bucket. Os buckets têm certas restrições e limitações para se adequarem aos requisitos e aos requisitos do Amazon DNS S3. Para obter mais informações, acesse Restrições e limitações de bucket no Guia do desenvolvedor do Amazon Simple Storage Service.

Para criar um bucket do Amazon S3, siga as instruções da página Criação de um bucket no Guia do desenvolverdor do Amazon Simple Storage Service.

nota

Se você habilitar o registro em log no assistente Create a Bucket (Criar um bucket), ele só permitirá logs de acesso do bucket, e não logs de cluster.

nota

Para obter mais informações sobre a especificação de buckets específicos da região, consulte Buckets and Regions no Amazon Simple Storage Service Developer Guide e os endpoints regionais disponíveis para o. AWS SDKs

Depois de criar o bucket, você poderá definir as permissões apropriadas. Normalmente, você atribui a si (o proprietário) acesso de leitura e gravação. É altamente recomendável seguir as Práticas recomendadas de segurança para o Amazon S3 ao configurar o bucket.

Os buckets do Amazon S3 obrigatórios devem existir para que você possa criar um cluster. Você deve carregar todos os scripts necessários ou dados referenciados no cluster no Amazon S3. A tabela a seguir descreve dados de exemplo, scripts e locais de arquivo de log.

Informações Exemplo de local no Amazon S3
script ou programa s3://amzn-s3-demo-bucket1/script/MapperScript.py
arquivos de log s3://amzn-s3-demo-bucket1/logs
dados de entrada s3://amzn-s3-demo-bucket1/input
dados de saída s3://amzn-s3-demo-bucket1/output