Übermitteln von Arbeit an einen Cluster - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Übermitteln von Arbeit an einen Cluster

In diesem Abschnitt werden die Methoden beschrieben, mit denen Sie Arbeiten an einen EMR Amazon-Cluster einreichen können. Um Arbeit einzureichen, können Sie Schritte hinzufügen oder interaktiv Hadoop-Jobs an den Primärknoten senden.

Beachten Sie beim Einreichen von Schritten an einen Cluster die folgenden Verhaltensregeln:

  • Eine Schritt-ID kann bis zu 256 Zeichen enthalten.

  • Sie können bis zu 256 PENDING RUNNING Schritte in einem Cluster haben.

  • Sie können Aufträge interaktiv an den Primärknoten übermitteln, auch dann, wenn auf dem Cluster 256 aktive Schritte ausgeführt werden. Sie können während der Laufzeit eines Clusters mit langer Laufzeit eine unbegrenzte Anzahl von Schritten einreichen, aber es können jeweils nur 256 Schritte RUNNING oder PENDING gleichzeitig eingereicht werden.

  • Mit EMR Amazon-Versionen 4.8.0 und höher, außer Version 5.0.0, können Sie ausstehende Schritte stornieren. Weitere Informationen finden Sie unter Abbrechen von Schritten.

  • Mit EMR Amazon-Versionen 5.28.0 und höher können Sie sowohl ausstehende als auch laufende Schritte stornieren. Sie können auch mehrere Schritte parallel ausführen, um die Clusterauslastung zu verbessern und Kosten zu sparen. Weitere Informationen finden Sie unter Überlegungen zum parallelen Ausführen mehrerer Schritte.

Anmerkung

Für eine optimale Leistung empfehlen wir, benutzerdefinierte Bootstrap-Aktionen, -Skripts und andere Dateien, die Sie mit Amazon verwenden möchten, EMR in einem Amazon S3 S3-Bucket zu speichern, der sich in demselben AWS-Region Cluster befindet.