EKSKonzepte und Terminologie von Amazon EMR verstehen - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

EKSKonzepte und Terminologie von Amazon EMR verstehen

Amazon EMR on EKS bietet eine Bereitstellungsoption für AmazonEMR, mit der Sie Open-Source-Big-Data-Frameworks auf Amazon Elastic Kubernetes Service (Amazon) ausführen können. EKS In diesem Thema finden Sie Hintergrundinformationen zu einigen der dafür gebräuchlichen Begriffe, darunter Namespaces, virtuelle Cluster und Job Runs, also Arbeitseinheiten, die Sie zur Bearbeitung einreichen.

Kubernetes-Namespace

Amazon EKS verwendet Kubernetes-Namespaces, um Cluster-Ressourcen auf mehrere Benutzer und Anwendungen aufzuteilen. Diese Namespaces bilden die Grundlage für Multi-Tenant-Umgebungen. Ein Kubernetes-Namespace kann entweder Amazon EC2 oder AWS Fargate als Rechenanbieter haben. Diese Flexibilität bietet Ihnen verschiedene Leistungs- und Kostenoptionen für die Ausführung Ihrer Aufträge.

Virtueller Cluster

Ein virtueller Cluster ist ein Kubernetes-Namespace, bei dem Amazon registriert EMR ist. Amazon EMR verwendet virtuelle Cluster, um Jobs auszuführen und Endpunkte zu hosten. Mehrere virtuelle Cluster können durch denselben physischen Cluster unterstützt werden. Jeder virtuelle Cluster ist jedoch einem Namespace auf einem EKS Cluster zugeordnet. Virtuelle Cluster erzeugen keine aktiven Ressourcen, die zu Ihrer Rechnung beitragen oder für die ein Lebenszyklus-Management außerhalb des Services erforderlich ist.

Aufgabenausführung

Eine Auftragsausführung ist eine Arbeitseinheit, z. B. eine Spark-Jar, ein PySpark Skript oder eine SQL Spark-Abfrage, die Sie EMR an Amazon sendenEKS. Ein Auftrag kann mehrere Auftragsausführungen haben. Wenn Sie eine Aufgabenausführung einreichen, geben Sie die folgenden Informationen an:

  • Ein virtueller Cluster, in dem der Auftrag ausgeführt werden soll.

  • Ein Auftragsname zur Identifizierung des Aufträge.

  • Die Ausführungsrolle — eine bereichsspezifische IAM Rolle, die den Job ausführt und es Ihnen ermöglicht, anzugeben, auf welche Ressourcen der Job zugreifen kann.

  • Das EMR Amazon-Release-Label, das die Version der zu verwendenden Open-Source-Anwendungen angibt.

  • Die Artefakte, die Sie beim Absenden Ihres Aufträge verwenden sollen, z. B. Spark-Submit-Parameter.

Standardmäßig werden Protokolle auf den Spark-History-Server hochgeladen und sind über AWS Management Console zugänglich. Sie können auch Ereignisprotokolle, Ausführungsprotokolle und Metriken an Amazon S3 und Amazon übertragen CloudWatch.

EMRAmazon-Behälter

Amazon EMR Containers ist der APIName für Amazon EMR On EKS. Das emr-containers-Präfix wird in den folgenden Szenarien verwendet:

  • Es ist das Präfix in den CLI Befehlen für Amazon EMR onEKS. Beispiel, aws emr-containers start-job-run.

  • Es ist das Präfix vor IAM politischen Maßnahmen für Amazon EMR amEKS. Beispiel, "Action": [ "emr-containers:StartJobRun"]. Weitere Informationen finden Sie unter Richtlinienmaßnahmen für Amazon EMR am EKS.

  • Es ist das Präfix, das in Amazon EMR auf EKS Service-Endpunkten verwendet wird. Beispiel, emr-containers.us-east-1.amazonaws.com. Weitere Informationen finden Sie unter Amazon EMR on EKS Service Endpoints.