Considerações para personalizar imagens - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Considerações para personalizar imagens

Ao personalizar imagens do Docker, é possível escolher o runtime exato para seu trabalho em um nível granular. Considere estas práticas recomendadas ao usar esse recurso. Isso inclui considerações sobre segurança, configuração e montagem de uma imagem:

  • A segurança é uma responsabilidade compartilhada entre você AWS e você. Você é responsável pela aplicação de patches de segurança nos binários adicionados à imagem. Siga as Práticas recomendadas de segurança para o Amazon EMR no EKS, especialmente o que é colocado em Obtenção das atualizações de segurança mais recentes para as imagens personalizadas e Aplicação do princípio de privilégio mínimo.

  • Ao personalizar uma imagem base, você deve alterar o usuário do Docker para hadoop:hadoop com a finalidade de que os trabalhos não sejam executados com o usuário raiz.

  • O Amazon EMR on EKS monta arquivos sobre as configurações da imagem, como ospark-defaults.conf, em tempo de execução. Para substituir esses arquivos de configuração, recomendamos usar o parâmetro applicationOverrides durante o envio do trabalho e não modificar diretamente os arquivos na imagem personalizada.

  • A Amazon EMR on EKS monta determinadas pastas em tempo de execução. Quaisquer modificações feitas nessas pastas não estarão disponíveis no contêiner. Se você desejar adicionar uma aplicação ou suas dependências para as imagens personalizadas, recomendamos escolher um diretório que não faça parte dos seguintes caminhos definidos previamente:

    • /var/log/fluentd

    • /var/log/spark/user

    • /var/log/spark/apps

    • /mnt

    • /tmp

    • /home/hadoop

  • Você pode carregar sua imagem personalizada em qualquer repositório compatível com Docker, como AmazonECR, Docker Hub ou um repositório corporativo privado. Para obter mais informações sobre como configurar a autenticação de EKS cluster da Amazon com o repositório Docker selecionado, consulte Puxar uma imagem de um registro privado.