As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Configuração do spark-submit para o Amazon EMR no EKS
Conclua as tarefas apresentadas a seguir para se preparar antes de executar uma aplicação com spark-submit no Amazon EMR no EKS. Se você já se inscreveu na Amazon Web Services (AWS) e usou o Amazon EKS, está com quase tudo pronto para usar o Amazon EMR no EKS. Se você já completou algum dos pré-requisitos, pode ignorá-los e passar para os próximos.
-
Instale ou atualize para a versão mais recente da AWS CLI: se você já instalou a AWS CLI, confirme se tem a versão mais recente.
-
Instale o kubectl e o eksctl : o eksctl é uma ferramenta de linha de comando que você usa para se comunicar com o Amazon EKS.
-
Comece a usar o Amazon EKS (eksctl): siga as etapas para criar um cluster do Kubernetes com nós no Amazon EKS.
-
Selecione um URI de imagem base do Amazon EMR (versão 6.10.0 ou superiores): o comando
spark-submité compatível com as versões 6.10.0 e superiores do Amazon EMR. -
Confirme se a conta de serviço do driver tem permissões apropriadas para criar e monitorar os pods de executores. Para ter mais informações, consulte Verificação dos requisitos de segurança da conta de serviço do driver do Spark para spark-submit.
-
Configure seu perfil de credenciais locais da AWS.
-
No console do Amazon EKS, escolha seu cluster do EKS e encontre o endpoint do cluster do EKS, localizado em Visão geral, Detalhes e, em seguida, Endpoint do servidor de API.
