As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Noções básicas de conceitos e terminologia do Amazon EMR no EKS
O Amazon EMR no EKS oferece uma opção de implantação para o Amazon EMR que permite executar estruturas de big data de código aberto no Amazon Elastic Kubernetes Service (Amazon EKS). Este tópico fornece contexto sobre algumas das terminologias comuns para isso, incluindo namespaces, clusters virtuais e execuções de trabalhos, que são unidades de trabalho enviadas para processamento.
Namespace do Kubernetes
O Amazon EKS usa namespaces do Kubernetes para dividir os recursos de cluster entre diversos usuários e aplicações. Esses namespaces são a base para ambientes multilocatários. Um namespace do Kubernetes pode ter o Amazon EC2 ou o AWS Fargate como o provedor de computação. Essa flexibilidade oferece diferentes opções de performance e de custos para a execução de seus trabalhos.
Cluster virtual
Um cluster virtual corresponde a um namespace do Kubernetes no qual o Amazon EMR está registrado. O Amazon EMR usa clusters virtuais para executar trabalhos e hospedar endpoints. Diversos clusters virtuais podem ser apoiados pelo mesmo cluster físico. No entanto, cada cluster virtual é mapeado para um namespace em um cluster do EKS. Os clusters virtuais não criam quaisquer recursos ativos que contribuam para o seu faturamento ou que requeiram gerenciamento do ciclo de vida de forma externa ao serviço.
Execução de trabalho
Uma execução de trabalho é uma unidade de trabalho, como um JAR do Spark, um script do PySpark ou uma consulta do Spark SQL, que você envia ao Amazon EMR no EKS. Um trabalho pode ter várias execuções de trabalhos. Ao enviar uma execução de trabalho, você inclui as seguintes informações:
-
Um cluster virtual no qual o trabalho deve ser executado.
-
Um nome do trabalho para a identificação do trabalho.
-
O perfil de execução, que é um perfil do IAM com escopo definido que executa o trabalho e permite especificar quais recursos podem ser acessados pelo trabalho.
-
O rótulo de versão do Amazon EMR que especifica a versão das aplicações de código aberto a serem usadas.
-
Os artefatos a serem usados ao enviar seu trabalho, como os parâmetros spark-submit.
Por padrão, os logs são carregados no servidor de histórico do Spark e podem ser acessados do AWS Management Console. Você também pode enviar logs de eventos, logs de execução e métricas para o Amazon S3 e para o Amazon CloudWatch.
Contêineres do Amazon EMR
Os contêineres do Amazon EMR correspondem ao nome da API do Amazon EMR no EKS. O prefixo emr-containers é usado nos seguintes cenários:
-
É o prefixo nos comandos da CLI para o Amazon EMR no EKS. Por exemplo,
aws emr-containers start-job-run. -
É o prefixo antes das ações de política do IAM para o Amazon EMR no EKS. Por exemplo,
"Action": [ "emr-containers:StartJobRun"]. Para obter mais informações, consulte Ações de políticas para o Amazon EMR no EKS. -
É o prefixo usado nos endpoints de serviço do Amazon EMR no EKS. Por exemplo,
emr-containers.us-east-1.amazonaws.com. Para obter mais informações, consulte Endpoints de serviço do Amazon EMR no EKS.
