Amazon S3 no Outposts com Amazon EMR no Outposts local

O Amazon EMR é uma plataforma de cluster gerenciada que simplifica a execução de frameworks de big data, como Apache Hadoop e Apache Spark, na AWS a fim de processar e analisar grandes volumes de dados. Ao usar essas estruturas e projetos de código aberto relacionados, é possível processar dados para finalidades analíticas e workloads de inteligência de negócios. O Amazon EMR também ajuda a transformar e mover grandes volumes de dados para dentro e para fora de outros datastores e bancos de dados da AWS, além de oferecer suporte ao Amazon S3 no Outposts. Para obter mais informações sobre o Amazon EMR, consulte Amazon EMR no Outposts no Guia de gerenciamento do Amazon EMR.

Para o Amazon S3 no Outposts, o Amazon EMR começou a oferecer suporte ao conector S3A do Apache Hadoop na versão 7.0.0. As versões anteriores do Amazon EMR não oferecem suporte ao S3 no Outposts local e o EMR File System (EMRFS) não é compatível.

Aplicações compatíveis

O Amazon EMR com o Amazon S3 no Outposts é compatível com as seguintes aplicações:

Para obter mais informações, consulte o Guia de versão do Amazon EMR.

Criar e configurar um bucket do Amazon S3 no Outposts

O Amazon EMR usa o AWS SDK for Java com o Amazon S3 no Outposts para armazenar dados de entrada e dados de saída. Seus arquivos de log do Amazon EMR são armazenados em um local regional do Amazon S3 selecionado por você e não são armazenados localmente no Outpost. Para obter mais informações, consulte Logs do Amazon EMR no Guia de gerenciamento do Amazon EMR.

Para estar em conformidade com os requisitos do Amazon S3 e de DNS, os buckets do S3 no Outposts têm restrições e limitações de nomenclatura. Para ter mais informações, consulte Criar um bucket do S3 on Outposts.

Com o Amazon EMR versão 7.0.0 e posterior, você pode usar o Amazon EMR com o S3 no Outposts e o sistema de arquivos S3A.

Pré-requisitos

Permissões do S3 no Outposts: ao criar um perfil de instância do Amazon EMR, esse perfil deve conter o namespace do AWS Identity and Access Management (IAM) para o S3 no Outposts. O S3 no Outposts tem seu próprio namespace: s3-outposts*. Para conferir um exemplo de política que usa esse namespace, consulte Configurar o IAM com o S3 on Outposts.

Conector S3A: para configurar um cluster do EMR para acessar dados de um bucket do Amazon S3 no Outposts, você deve usar o conector S3A do Apache Hadoop. Para usar o conector, garanta que todos os URIs do S3 usem o esquema do s3a. Caso contrário, você pode configurar a implementação do sistema de arquivos utilizado para o cluster do EMR de modo que os URIs do S3 funcionem com o conector S3A.

Para configurar a implementação do sistema de arquivos de modo que funcione com o conector S3A, use as propriedades de configuração fs.file_scheme.impl e fs.AbstractFileSystem.file_scheme.impl para o cluster do EMR, em que file_scheme corresponde ao tipo de URIs do S3 que você tem. Para usar o exemplo a seguir, substitua os user input placeholders por suas próprias informações. Por exemplo, para alterar a implementação do sistema de arquivos para URIs do S3 que usam o esquema s3, especifique as seguintes propriedades de configuração do cluster:

[
  {
"Classification": "core-site",
    "Properties": {
    "fs.s3.impl": "org.apache.hadoop.fs.s3a.S3AFileSystem",
    "fs.AbstractFileSystem.s3.impl": "org.apache.hadoop.fs.s3a.S3A"
    }
  }
]
    

Para usar o S3A, defina a propriedade de configuração fs.file_scheme.impl como org.apache.hadoop.fs.s3a.S3AFileSystem e defina a propriedade fs.AbstractFileSystem.file_scheme.impl como org.apache.hadoop.fs.s3a.S3A.

Por exemplo, se você estiver acessando o caminho s3a://bucket/..., defina a propriedade fs.s3a.impl como org.apache.hadoop.fs.s3a.S3AFileSystem e defina a propriedade fs.AbstractFileSystem.s3a.impl como org.apache.hadoop.fs.s3a.S3A.

Conceitos básicos do Amazon EMR com o Amazon S3 no Outposts

Os tópicos a seguir explicam como começar a usar o Amazon EMR com o Amazon S3 no Outposts.

Criação de uma política de permissões

Antes de criar um cluster do EMR que use o Amazon S3 on Outposts, é necessário criar uma política do IAM para anexar ao perfil de instância do Amazon EC2 para o cluster. A política deve ter permissões para acessar o nome do recurso da Amazon (ARN) do ponto de acesso do S3 no Outposts. Para obter mais informações sobre como criar políticas do IAM para o S3 no Outposts, consulte Configurar o IAM com o S3 on Outposts.

O exemplo de política a seguir mostra como conceder as permissões necessárias. Após criar a política, anexe-a à função do perfil de instância usada para criar seu cluster do EMR, conforme descrito na seção Criação e configuração de um cluster. Para usar esse exemplo, substitua os user input placeholders por suas próprias informações.

{
"Version":"2012-10-17", 
  "Statement": [
        {
  "Effect": "Allow",
            "Resource": "arn:aws:s3-outposts:us-west-2:111122223333:outpost/op-01ac5d28a6a232904/accesspoint/access-point-name,
            "Action": [
                "s3-outposts:*"
            ]
        }
    ]
    
 }

Criação e configuração de um cluster

Para criar um cluster que execute o Spark com o S3 no Outposts, conclua as etapas a seguir no console.

Visão geral das configurações

A tabela a seguir descreve as configurações do S3A e os valores a serem especificados para os respectivos parâmetros ao configurar um cluster que usa o S3 no Outposts com o Amazon EMR.

A tabela a seguir descreve as configurações do Spark e os valores a serem especificados para os respectivos parâmetros ao configurar um cluster que usa o S3 no Outposts com o Amazon EMR.

Considerações

Considere os seguintes pontos ao integrar o Amazon EMR a buckets do S3 no Outposts: