AWS Data Pipeline ist für Neukunden nicht mehr verfügbar. Bestandskunden von AWS Data Pipeline können den Service weiterhin wie gewohnt nutzen. Weitere Informationen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

EmrCluster

Stellt die Konfiguration eines EMR Amazon-Clusters dar. Dieses Objekt wird von EmrActivity und HadoopActivity zum Starten eines Clusters verwendet.

Schedulers

Scheduler bieten eine Möglichkeit, die Ressourcenzuweisung und Auftragspriorisierung in einem Hadoop-Cluster festzulegen. Administratoren oder Benutzer können einen Scheduler für verschiedene Klassen von Benutzern und Anwendungen auswählen. Ein Scheduler könnte Warteschlangen nutzen, um Ressourcen für Benutzer und Anwendungen zuzuweisen. Sie richten diese Warteschlangen beim Erstellen des Clusters ein. Anschließend können Sie für bestimmte Arbeits- und Benutzertypen eine höhere Priorität festlegen als für andere. Dieses Vorgehen ermöglicht die effiziente Nutzung von Cluster-Ressourcen, wenn mehrere Benutzer Arbeiten zum Cluster übermitteln. Es gibt drei Arten von Schedulern:

EMRAmazon-Release-Versionen

Eine EMR Amazon-Version ist eine Reihe von Open-Source-Anwendungen aus dem Big-Data-Ökosystem. Jede Version umfasst verschiedene Big-Data-Anwendungen, -Komponenten und -Funktionen, die Sie bei der Erstellung eines Clusters für die EMR Installation und Konfiguration von Amazon auswählen. Sie geben die Version unter Verwendung der Versionsbezeichnung an. Versionsbezeichnungen haben die Form emr-x.x.x. Beispiel, emr-5.30.0. EMRAmazon-Cluster basieren auf dem Release-Label emr-4.0.0 und verwenden später die releaseLabel Eigenschaft, um das Release-Label eines EmrCluster Objekts anzugeben. Frühere Versionen verwenden die Eigenschaft amiVersion.

Überlegungen und Einschränkungen

Verwenden Sie die neueste Version von Task Runner

Wenn Sie ein selbstverwaltetes EmrCluster Objekt mit einem Release-Label verwenden, verwenden Sie den neuesten Task Runner. Weitere Informationen zu Task-Runner finden Sie unter Arbeiten mit Task Runner. Sie können Eigenschaftswerte für alle EMR Amazon-Konfigurationsklassifizierungen konfigurieren. Weitere Informationen finden Sie unter Configuring Applications im Amazon EMR Release Guide, in und in den EmrConfiguration Eigenschaft Objektreferenzen.

Support für IMDSv2

Bisher nur AWS Data Pipeline unterstütztIMDSv1. Wird jetzt IMDSv2 in Amazon EMR 5.23.1, 5.27.1 und 5.32 oder höher sowie Amazon 6.2 oder höher AWS Data Pipeline unterstützt. EMR IMDSv2verwendet eine sitzungsorientierte Methode, um die Authentifizierung beim Abrufen von Metadateninformationen aus Instances besser handhaben zu können. Sie sollten Ihre Instanzen so konfigurieren, dass sie IMDSv2 Aufrufe tätigen, indem Sie benutzerverwaltete Ressourcen mit -2.0 erstellen. TaskRunner

Amazon EMR 5.32 oder höher und Amazon EMR 6.x

Die Releaseserien von Amazon EMR 5.32 oder höher und 6.x verwenden Hadoop Version 3.x, mit der grundlegende Änderungen bei der Bewertung des Klassenpfads von Hadoop im Vergleich zu Hadoop-Version 2.x eingeführt wurden. Gängige Bibliotheken wie Joda-Time wurden aus dem Klassenpfad entfernt.

Wenn EmrActivity oder eine HadoopActivity Jar-Datei ausführt, die Abhängigkeiten von einer Bibliothek hat, die in Hadoop 3.x entfernt wurde, schlägt der Schritt mit dem Fehler oder fehl. java.lang.NoClassDefFoundError java.lang.ClassNotFoundException Dies kann bei Jar-Dateien passieren, die mit den Release-Versionen von Amazon EMR 5.x problemlos ausgeführt wurden.

Um das Problem zu beheben, müssen Sie Abhängigkeiten von Jar-Dateien in den Hadoop-Klassenpfad eines EmrCluster Objekts kopieren, bevor Sie den oder den starten. EmrActivity HadoopActivity Dafür stellen wir ein Bash-Skript zur Verfügung. Das Bash-Skript ist an der folgenden Stelle verfügbar, wo MyRegion ist zum Beispiel us-west-2 die AWS Region, in der Ihr EmrCluster Objekt ausgeführt wird.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh

Die Art und Weise, wie das Skript ausgeführt wird, hängt davon ab, ob EmrActivity es auf einer Ressource HadoopActivity ausgeführt wird, die von einer selbst verwalteten Ressource verwaltet wird, AWS Data Pipeline oder ob es auf einer selbst verwalteten Ressource ausgeführt wird.

Wenn Sie eine Ressource verwenden, die von verwaltet wird AWS Data Pipeline, fügen Sie dem EmrCluster Objekt eine bootstrapAction hinzu. Das bootstrapAction gibt das Skript und die Jar-Dateien an, die als Argumente kopiert werden sollen. Sie können bis zu 255 bootstrapAction Felder pro EmrCluster Objekt hinzufügen, und Sie können ein bootstrapAction Feld zu einem EmrCluster Objekt hinzufügen, das bereits über Bootstrap-Aktionen verfügt.

Um dieses Skript als Bootstrap-Aktion anzugeben, verwenden Sie die folgende Syntax: Wo JarFileRegion ist die Region, in der die JAR-Datei gespeichert ist, und MyJarFilen ist der absolute Pfad einer Jar-Datei in Amazon S3, die in den Hadoop-Klassenpfad kopiert werden soll. Geben Sie standardmäßig keine Jar-Dateien an, die sich im Hadoop-Klassenpfad befinden.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]

Das folgende Beispiel spezifiziert eine Bootstrap-Aktion, die zwei Jar-Dateien in Amazon S3 kopiert: my-jar-file.jar und dieemr-dynamodb-tool-4.14.0-jar-with-dependencies.jar. Die im Beispiel verwendete Region ist us-west-2.

{
  "id" : "MyEmrCluster",
  "type" : "EmrCluster",
  "keyPair" : "my-key-pair",
  "masterInstanceType" : "m5.xlarge",
  "coreInstanceType" : "m5.xlarge",
  "coreInstanceCount" : "2",
  "taskInstanceType" : "m5.xlarge",
  "taskInstanceCount": "2",
  "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"]
}

Sie müssen die Pipeline speichern und aktivieren, damit die Änderung an der neuen bootstrapAction Pipeline wirksam wird.

Wenn Sie eine selbstverwaltete Ressource verwenden, können Sie das Skript auf die Clusterinstanz herunterladen und es über SSH die Befehlszeile mit dem Befehl ausführen. Das Skript erstellt ein Verzeichnis mit dem Namen /etc/hadoop/conf/shellprofile.d und eine datapipeline-jars.sh in diesem Verzeichnis benannte Datei. Die als Befehlszeilenargumente bereitgestellten JAR-Dateien werden in ein Verzeichnis kopiert, das das Skript mit dem Namen erstellt. /home/hadoop/datapipeline_jars Wenn Ihr Cluster anders eingerichtet ist, ändern Sie das Skript nach dem Herunterladen entsprechend.

Die Syntax für die Ausführung des Skripts in der Befehlszeile unterscheidet sich geringfügig von der im vorherigen Beispiel bootstrapAction gezeigten Syntax. Verwenden Sie Leerzeichen anstelle von Kommas zwischen Argumenten, wie im folgenden Beispiel gezeigt.

./copy-jars-to-hadoop-classpath.sh us-west-2 s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar

EMRAmazon-Berechtigungen

Wenn Sie eine benutzerdefinierte IAM Rolle erstellen, sollten Sie sorgfältig die Mindestberechtigungen berücksichtigen, die Ihr Cluster zur Ausführung seiner Aufgaben benötigt. Stellen Sie sicher, dass Sie Zugriff auf die erforderlichen Ressourcen gewähren, z. B. Dateien in Amazon S3 oder Daten in AmazonRDS, Amazon Redshift oder DynamoDB. Wenn Sie visibleToAllUsers auf „False“ festlegen möchten, muss Ihre Rolle über die entsprechenden Berechtigungen verfügen. Beachten Sie, dass DataPipelineDefaultRole nicht über diese Berechtigungen verfügt. Sie müssen entweder eine Vereinigung der DataPipelineDefaultRole Rollen DefaultDataPipelineResourceRole und als EmrCluster Objektrolle angeben oder zu diesem Zweck eine eigene Rolle erstellen.

Syntax

Weitere Informationen finden Sie unter: