Verwaltung von EMR Amazon-Clustern mit der Konsole - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwaltung von EMR Amazon-Clustern mit der Konsole

Die Konsole bietet eine aktualisierte Oberfläche, die Ihnen eine intuitive Möglichkeit bietet, Ihre EMR Amazon-Umgebung zu verwalten, und bietet Ihnen bequemen Zugriff auf Dokumentation, Produktinformationen und andere Ressourcen.

Funktionen der Konsole

Die EMR Amazon-Konsole ist unter folgenden Adressen verfügbarURL:

In der folgenden Tabelle ist der Status der wichtigsten EMR Amazon-Konsolenkomponenten aufgeführt.

EMRAmazon-Konsolenkomponente Konsole

EMRStudio

Cluster erstellen und verwalten

Blockieren des öffentlichen Zugriffs

Überwachen Sie CloudWatch Amazon-Ereignisse

Sicherheitskonfigurationen

Virtuelle Cluster (Amazon EMR onEKS)

Ihre Amazon Virtual Private Cloud-Subnetze anzeigen und verwalten 1

Notizbücher 2

1 In der Konsole können Sie Ihre VPC Amazon-Subnetze im Bereich Netzwerk anzeigen und verwalten, wenn Sie einen Cluster erstellen.

In der EMR Konsole sind 2 Notebooks als EMR Studio-Workspaces verfügbar. Mit der Schaltfläche „Arbeitsbereich erstellen“ in der Konsole können Sie neue Notizbücher erstellen. Um auf Workspaces zuzugreifen oder diese zu erstellen, benötigen EMR Notebook-Benutzer zusätzliche IAM Rollenberechtigungen. Weitere Informationen finden Sie unter Amazon EMR Notebooks sind Amazon EMR Studio-Workspaces in der Konsole und EMRAmazon-Konsole.

Zusammenfassung der Unterschiede

In diesem Abschnitt werden die Funktionen der EMR Amazon-Konsolenerfahrung beschrieben. Diese Funktionen lassen sich in die folgenden Kategorien einteilen:

Cluster-Kompatibilität in der Konsole

In einigen Fällen ist ein von Ihnen erstellter Cluster möglicherweise nicht mit der Konsole kompatibel. In der folgenden Liste werden die Kompatibilitätsanforderungen für die EMR Amazon-Konsole beschrieben.

  • Die Konsole unterstützt Cluster, die in EMR Amazon-Versionen 5.20.1 und höher erstellt wurden.

  • Sie können Cluster mit automatischer Skalierung in der Konsole klonen, aber Sie können nur neue Cluster erstellen, wenn Sie sie manuell skalieren oder verwaltete Skalierung verwenden möchten.

Um Cluster der Version 5.20.1 und früher zu erstellen und mit ihnen zu arbeiten, können Sie die AWS Command Line Interface (AWS CLI) oder das AWS SDK.

Cluster erstellen

Funktion Konsole

Terminologie: EMR Amazon-Cluster-Knotentypen

Primär, Core, Aufgabe

Von Amazon EMR unterstützte Versionen 1

EMRAmazon-Version 5.20.1 und höher

Schnelles Starten eines Clusters

Klicken Sie im Bereich Zusammenfassung auf die Schaltfläche Cluster erstellen. Ihr Clustername darf die Zeichen <, >, $, | oder `(Backtick) nicht enthalten.

Konfiguration eines Timeouts für die Spot-Bereitstellung

Definieren Sie einen Timeout-Zeitraum für die Bereitstellung von Instances für jede Flotte in Ihrem Cluster.

Servicerollen und EC2 Amazon-Instanzprofilrolle

Die Konsole erstellt keine Standardrollen. Sie müssen Rollen mit der IAMKonsole erstellen oder eine bereits IAM erstellte Rolle auswählen

Transparenz der Cluster

Von der EMR Amazon-Konsole aus können Sie einen Cluster nicht für alle Benutzer sichtbar machen. Ihre IAM Richtlinie bestimmt den Clusterzugriff

Netzwerk – konfigurieren Sie private Subnetze

Sie müssen Amazon S3-Endpunkte und NAT -Gateways von ihren jeweiligen Amazon S3- und Amazon-Konsolen aus konfigurieren. VPC

EMRKonsistente Ansicht des Dateisystems (CV) EMRFS

Mit der Veröffentlichung von Amazon S3 Strong read-after-write Consistency am 1. Dezember 2020 müssen Sie EMRFS CV nicht mehr mit Ihren EMR Clustern verwenden

Debugging

Sie können Aufträge mithilfe der Benutzeroberfläche der Anwendung auf der Cluster-Detailseite debuggen

1 Sie können in der Konsole keine Cluster mit Versionen vor Amazon EMR 5.20.1 erstellen oder bearbeiten, aber alle vorhandenen Cluster, die mit Versionen vor 5.20.1 erstellt wurden, funktionieren weiterhin. Um Cluster mit EMR Amazon-Versionen vor 5.20.1 zu erstellen und zu bearbeiten, verwenden Sie das API oder. CLI Sie können alle Cluster mit der Konsole anzeigen, aber Konsolen, die vor 5.20.1 erstellt wurden, sind möglicherweise nicht mit neueren Funktionen kompatibel.

Cluster anzeigen und nach ihnen suchen

In der folgenden Tabelle wird erläutert, wie Sie die EMR Amazon-Konsole verwenden können, um Cluster anzuzeigen und nach ihnen zu suchen.

Anmerkung

Wenn Sie einen Datenfilter auf die Cluster-Liste anwenden, wird die gesamte Datenbank abgefragt. Wenn Sie jedoch eine Textzeichenfolge in das Suchfeld eingeben, gilt die Suche nur für die Ergebnisse, die die Liste clientseitig geladen hat.

Funktion Konsole

Anzeigen von Cluster-Details

Sie können die Cluster-ID auswählen, um umfassende Clusterdetails wie Konfigurationsoptionen, persistente Anwendungen UIs und Protokolle anzuzeigen.

Suchen nach Clustern

Verwenden Sie ein einziges Suchfeld, um Textsuchabfragen einzugeben und Datenfilter wie „Status = Beliebiger aktiver Status“ zu erstellen und anzuwenden.

Nach ausgefallenen Clustern suchen

Um nach ausgefallenen Clustern zu suchen, wenden Sie den Filter Status = Mit Fehlern beendet an.

Cluster-Details anzeigen oder bearbeiten

Funktion Konsole

Anzeige der Instances in Ihren Instance-Gruppen und Instance-Flotten sowie der Optionen für Skalierung, Bereitstellung, Größenänderung und Kündigung

Instance-Optionen und -Details finden Sie auf der Registerkarte Instances. Sehen Sie sich die Kündigungsoptionen auf der Registerkarte „Eigenschaften“ an.

AppUIs, Protokolle und Konfigurationen anzeigen

(Apache Spark-Benutzeroberfläche, Spark-Verlaufsdienst, Apache Tez-Benutzeroberfläche, YARN Timeline-Server)

Sehen Sie sich die Cluster-Konfigurationen auf der Registerkarte Konfigurationen an. Starten Sie eine persistente Live-Anwendungsoberfläche, um die Protokolle für eine Anwendung auf der Registerkarte „Anwendungen“ anzuzeigen.

Exportieren eines Clusters nach CLI

Die Option ist in den Aktionsmenüs „Cluster-Detail“ und „Listenansicht“ als „Befehl zum Klonen eines Clusters anzeigen“ verfügbar

Unterschiede bei der Arbeit mit Sicherheitskonfigurationen

Funktion Konsole

Klonen von Sicherheitskonfigurationen

Föderierte Verwaltung mit Trino und Apache Ranger

Eine Runtime-Rolle verwenden, um Arbeit an einen Cluster zu übermitteln 1

Autorisieren des Zugriffs auf EMR Dateisystem (EMRFS) -Daten

Amazon S3 Access Points

AWS Lake Formation Zugriffskontrollen

Laufzeit-Rollen

1 Um eine Rolle während der schrittweisen Einreichung zu übergeben, muss Ihr Cluster eine Sicherheitskonfiguration mit einer angehängten IAM Berechtigungsrichtlinie verwenden, sodass ein Benutzer nur die genehmigten Rollen weitergeben kann und Ihre Jobs auf EMR Amazon-Ressourcen zugreifen können. Weitere Informationen finden Sie unter Schritte für Laufzeit-Rollen für Amazon EMR.