As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
O que acontece quando você envia trabalhos para um cluster virtual do Amazon EMR no EKS
O registro do Amazon EMR com um namespace do Kubernetes no Amazon EKS cria um cluster virtual. O Amazon EMR passará a poder executar workloads de analytics nesse namespace. Quando você usa o Amazon EMR no EKS para enviar trabalhos do Spark ao cluster virtual, o Amazon EMR no EKS solicita que o programador do Kubernetes no Amazon EKS programe pods.
As seguintes etapas e o diagrama abaixo ilustram o fluxo de trabalho do Amazon EMR no EKS:
-
Uso de um cluster existente do Amazon EKS ou criação um cluster ao usar o utilitário de linha de comando eksctl ou o console do Amazon EKS.
-
Criação de um cluster virtual ao registrar o Amazon EMR com um namespace em um cluster do EKS.
-
Envio do seu trabalho para o cluster virtual usando a AWS CLI ou o SDK.
Para cada trabalho executado, o Amazon EMR no EKS cria um contêiner com uma imagem base do Amazon Linux 2, o Apache Spark e as dependências associadas. Cada execução de trabalho ocorre em um pod que faz download do contêiner e começa a executá-lo. O pod é encerrado após o término do trabalho. Se a imagem de contêiner tiver sido implantada anteriormente no nó, uma imagem em cache será usada e o download será ignorado. Os contêineres sidecar, como encaminhadores de log ou de métricas, podem ser implantados no pod. Após o término do trabalho, você ainda poderá depurá-lo usando a interface do usuário da aplicação do Spark no console do Amazon EMR.
