Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Voraussetzungen für die Erstellung eines interaktiven Endpunkts auf Amazon EMR am EKS
In diesem Abschnitt werden die Voraussetzungen für die Einrichtung eines interaktiven Endpunkts beschrieben, mit dem EMR Studio eine Verbindung zu einem EMR EKS Amazon-On-Cluster herstellen und interaktive Workloads ausführen kann.
AWS CLI
Folgen Sie den Schritten unter Installieren oder Aktualisieren Sie auf die neueste Version von AWS CLI, um die neueste Version von AWS Command Line Interface (AWS CLI) zu installieren.
Installation von eksctl
Folgen Sie den Schritten unter Kubectl installieren, um die neueste Version von eksctl zu installieren. Wenn Sie Kubernetes Version 1.22 oder höher für Ihren EKS Amazon-Cluster verwenden, verwenden Sie eine eksctl-Version größer als 0.117.0.
EKSAmazon-Cluster
Erstellen Sie einen EKS Amazon-Cluster. Registrieren Sie den Cluster als virtuellen Cluster bei Amazon EMR onEKS. Nachfolgend werden Anforderungen und Überlegungen für diesen Cluster aufgeführt:
-
Der Cluster muss sich in derselben Amazon Virtual Private Cloud (VPC) wie Ihr EMR Studio befinden.
-
Der Cluster muss über mindestens ein privates Subnetz verfügen, um interaktive Endpunkte zu aktivieren, Git-basierte Repositorys zu verknüpfen und den Application Load Balancer im privaten Modus zu starten.
-
Ihr EMR Studio und der EKS Amazon-Cluster, den Sie zur Registrierung Ihres virtuellen Clusters verwenden, müssen mindestens ein gemeinsames privates Subnetz haben. Dadurch wird sichergestellt, dass Ihr interaktiver Endpunkt als Option in Ihren Studio-Workspaces angezeigt wird, und die Konnektivität von Studio zum Application Load Balancer aktiviert.
Es gibt zwei Methoden, aus denen Sie wählen können, um Ihr Studio und Ihren EKS Amazon-Cluster zu verbinden:
-
Erstellen Sie einen EKS Amazon-Cluster und verknüpfen Sie ihn mit den Subnetzen, die zu Ihrem EMR Studio gehören.
-
Alternativ können Sie ein EMR Studio erstellen und die privaten Subnetze für Ihren EKS Amazon-Cluster angeben.
-
-
EKSAmazon-optimiertes ARM Amazon Linux AMIs wird für Amazon EMR auf EKS interaktiven Endpunkten nicht unterstützt.
-
Interaktive Endpunkte funktionieren mit EKS Amazon-Clustern, die Kubernetes-Versionen bis 1.30 verwenden.
-
Es werden nur von Amazon EKS verwaltete Knotengruppen unterstützt.
Cluster-Zugriff für Amazon gewähren EMR auf EKS
Gehen Sie wie unter Grant Cluster Access for Amazon EMR on beschrieben vor EKS, um Amazon EKS On-Zugriff EMR auf einen bestimmten Namespace in Ihrem Cluster zu gewähren.
IRSAAuf dem EKS Amazon-Cluster aktivieren
Um IAM Rollen für Service Accounts (IRSA) auf dem EKS Amazon-Cluster zu aktivieren, folgen Sie den Schritten unter IAMRollen für Service Accounts aktivieren (IRSA).
Erstellen Sie eine Rolle für die IAM Auftragsausführung
Sie müssen eine IAM Rolle erstellen, um Workloads auf Amazon EMR auf EKS interaktiven Endpunkten auszuführen. In dieser Dokumentation bezeichnen wir diese IAM Rolle als Jobausführungsrolle. Diese IAM Rolle wird sowohl dem interaktiven Endpunkt-Container als auch den eigentlichen Ausführungscontainern zugewiesen, die erstellt werden, wenn Sie Jobs mit EMR Studio einreichen. Sie benötigen den Amazon-Ressourcennamen (ARN) Ihrer Jobausführungsrolle für Amazon EMR onEKS. Dazu sind zwei Schritte erforderlich:
Gewähren Sie Benutzern Zugriff EMR auf Amazon auf EKS
Die IAM Entität (Benutzer oder Rolle), die die Anfrage zur Erstellung eines interaktiven Endpunkts stellt, muss außerdem über die folgenden Amazon EC2 - und emr-containers Berechtigungen verfügen. Folgen Sie den unter beschriebenen Schritten, Gewähren Sie Benutzern Zugriff EMR auf Amazon auf EKS um diese Berechtigungen zu gewähren, die es EMR Amazon ermöglichen, die Sicherheitsgruppen EKS zu erstellen, zu verwalten und zu löschen, die den eingehenden Datenverkehr auf den Load Balancer Ihres interaktiven Endpunkts beschränken.
Die folgenden emr-containers-Berechtigungen ermöglichen es dem Benutzer, grundlegende interaktive Endpunktoperationen durchzuführen:
"ec2:CreateSecurityGroup", "ec2:DeleteSecurityGroup", "ec2:AuthorizeSecurityGroupEgress", "ec2:AuthorizeSecurityGroupIngress", "ec2:RevokeSecurityGroupEgress", "ec2:RevokeSecurityGroupIngress" "emr-containers:CreateManagedEndpoint", "emr-containers:ListManagedEndpoints", "emr-containers:DescribeManagedEndpoint", "emr-containers:DeleteManagedEndpoint"
Registrieren Sie den EKS Amazon-Cluster bei Amazon EMR
Richten Sie einen virtuellen Cluster ein und ordnen Sie ihn dem Namespace im EKS Amazon-Cluster zu, in dem Sie Ihre Jobs ausführen möchten. Verwenden Sie AWS Fargate für reine Cluster denselben Namespace sowohl für den Amazon EMR on EKS Virtual Cluster als auch für das Fargate-Profil.
Informationen zur Einrichtung eines Amazon EMR on EKS Virtual Clusters finden Sie unterRegistrieren Sie den EKS Amazon-Cluster bei Amazon EMR.
AWS Load Balancer Controller im EKS Amazon-Cluster bereitstellen
Für Ihren EKS Amazon-Cluster ist ein AWS Application Load Balancer erforderlich. Sie müssen nur einen Application Load Balancer Balancer-Controller pro EKS Amazon-Cluster einrichten. Informationen zur Einrichtung des AWS Application Load Balancer Balancer-Controllers finden Sie unter Installation des Load AWS Balancer Controller-Add-ons im EKSAmazon-Benutzerhandbuch.
