Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Spark-Submit für Amazon einrichten am EMR EKS
Führen Sie die folgenden Aufgaben durch, um alles einzurichten, bevor Sie eine Anwendung mit spark-submit bei Amazon EMR on ausführen können. EKS Wenn Sie sich bereits für Amazon Web Services (AWS) angemeldet und Amazon verwendet habenEKS, sind Sie fast bereit, Amazon EMR auf zu verwendenEKS. Wenn Sie bereits eine der Voraussetzungen erfüllt haben, können Sie diese überspringen und mit der nächsten fortfahren.
-
Installieren oder aktualisieren Sie auf die neueste Version von AWS CLI— Falls Sie die bereits installiert haben, vergewissern Sie sich AWS CLI, dass Sie über die neueste Version verfügen.
-
Richten Sie kubectl und eksctl ein — eksctl ist ein Befehlszeilentool, das Sie für die Kommunikation mit Amazon verwenden. EKS
-
Erste Schritte mit Amazon EKS — eksctl — Folgen Sie den Schritten, um einen neuen Kubernetes-Cluster mit Knoten in Amazon zu erstellen. EKS
-
Wählen Sie ein EMR Amazon-Basis-Image URI (Version 6.10.0 oder höher) aus — der
spark-submitBefehl wird mit EMR Amazon-Versionen 6.10.0 und höher unterstützt. -
Bestätigen Sie, dass das Treiberservicekonto über die entsprechenden Berechtigungen zum Erstellen und Überwachen von Executor-Pods verfügt. Weitere Informationen finden Sie unter Überprüfen Sie die Sicherheitsanforderungen für das Spark-Treiberservice-Konto für Spark-Submit.
-
Richten Sie Ihr lokales AWS -Anmeldeinformationsprofil ein.
-
Wählen Sie in der EKS Amazon-Konsole Ihren EKS Cluster aus und suchen Sie dann den EKS Cluster-Endpunkt unter Übersicht, Details und dann APIServerendpunkt.
