Tutorial: Erste Schritte mit Amazon EMR

Melden Sie sich bei der AWS Management Console an und öffnen Sie die EMR Amazon-Konsole unter https://console.aws.amazon.com/emr.

Wählen Sie EC2 im linken Navigationsbereich unter EMRon die Option Clusters und anschließend Create cluster aus.

Notieren Sie sich auf der Seite Cluster erstellen die Standardwerte für Version, Instance-Typ, Anzahl der Instances und Berechtigungen. Diese Felder werden automatisch mit Werten aufgefüllt, die für Allzweck-Cluster geeignet sind.

Geben Sie im Feld Clustername einen eindeutigen Clusternamen ein, um Ihren Cluster leichter identifizieren zu können, z. B. My first cluster. Ihr Clustername darf die Zeichen <, >, $, | oder `nicht enthalten (Backtick).

Wählen Sie unter Anwendungen die Spark-Option, um Spark auf Ihrem Cluster zu installieren.

Aktivieren Sie unter Cluster-Protokolle das Kontrollkästchen Cluster-spezifische Protokolle in Amazon S3 veröffentlichen. Ersetzen Sie den Amazon-S3-Standortwert durch den Amazon-S3-Bucket, den Sie erstellt haben, gefolgt von /logs. Beispiel, s3://DOC-EXAMPLE-BUCKET/logs. Durch das Hinzufügen wird ein neuer Ordner namens „logs“ in Ihrem Bucket /logs erstellt, in den Amazon die Protokolldateien Ihres Clusters kopieren EMR kann.

Wählen Sie unter Sicherheitskonfiguration und Berechtigungen Ihr EC2key pair aus. Wählen Sie im selben Abschnitt das EMR Dropdownmenü Servicerolle für Amazon aus und wählen Sie EMR_ DefaultRole aus. Wählen Sie dann das Drop-down-Menü IAMRolle für Instanzprofil und wählen Sie EMR_ _ EC2. DefaultRole

Wählen Sie Cluster erstellen aus, um den Cluster zu starten und die Cluster-Detailseite zu öffnen.

Suchen Sie den Cluster-Status neben dem Clusternamen. Der Status ändert sich von Starting zu Running zu Waiting, wenn Amazon EMR den Cluster bereitstellt. Möglicherweise müssen Sie das Aktualisierungs-Symbol auf der rechten Seite betätigen oder Ihren Browser aktualisieren, um Updates zu sehen.

Erstellen Sie IAM Standardrollen, die Sie dann verwenden können, um Ihren Cluster zu erstellen, indem Sie den folgenden Befehl verwenden.

aws emr create-default-roles

Weitere Informationen zu create-default-roles finden Sie in der AWS CLI -Befehlsreferenz.

Erstellen Sie einen Spark-Cluster mit dem folgenden Befehl. Geben Sie mit der --name Option einen Namen für Ihren Cluster ein und geben Sie mit der --ec2-attributes Option den Namen Ihres EC2 key pair an.

aws emr create-cluster \
--name "<My First EMR Cluster>" \
--release-label <emr-5.36.2> \
--applications Name=Spark \
--ec2-attributes KeyName=<myEMRKeyPairName> \
--instance-type m5.xlarge \
--instance-count 3 \
--use-default-roles						

Notieren Sie sich die anderen erforderlichen Werte für --instance-type, --instance-count und --use-default-roles. Diese Werte wurden für Allzweck-Cluster ausgewählt. Weitere Informationen zu create-cluster finden Sie in der AWS CLI -Befehlsreferenz.

Die Ausgabe sollte ungefähr wie die folgende aussehen. Die Ausgabe zeigt ClusterId und ClusterArn Ihres neuen Clusters. Notieren Sie sich Ihre ClusterId. Sie verwenden ClusterId, um den Clusterstatus zu überprüfen und Arbeiten einzureichen.

{
    "ClusterId": "myClusterId",
    "ClusterArn": "myClusterArn"
}						

Überprüfen Sie Ihren Clusterstatus mit dem folgenden Befehl.

aws emr describe-cluster --cluster-id <myClusterId>						

Mit dem Status-Objekt für Ihren neuen Cluster sollten Sie eine Ausgabe wie die folgende sehen.

{
    "Cluster": {
        "Id": "myClusterId",
        "Name": "My First EMR Cluster",
        "Status": {
            "State": "STARTING",
            "StateChangeReason": {
                "Message": "Configuring cluster software"
            }
        }
     }
}					

Der State Wert ändert sich von STARTING bis RUNNING zuWAITING, wenn Amazon EMR den Cluster bereitstellt.

Melden Sie sich bei der AWS Management Console an und öffnen Sie die EMR Amazon-Konsole unter https://console.aws.amazon.com/emr.

Wählen Sie EC2 im linken Navigationsbereich unter EMRon die Option Cluster und wählen Sie dann den Cluster aus, für den Sie Arbeit einreichen möchten. Der Clusterstatus muss Wartend lauten.

Wählen Sie Schritte und dann Schritt hinzufügen.

Konfigurieren Sie den Schritt anhand der folgenden Richtlinien:

Wählen Sie Hinzufügen, um den Schritt zu senden. Der Schritt wird in der Konsole mit dem Status Ausstehend angezeigt.

Überwachen Sie den Status des Schritts. Der Wert sollte sich von Ausstehend zu Wird ausgeführt zu Abgeschlossen ändern. Um den Status in der Konsole zu aktualisieren, wählen Sie das Aktualisierungssymbol rechts neben dem Filter aus. Die Ausführung des Skripts dauert etwa eine Minute. Wenn sich der Status in Abgeschlossen, ändert, wurde der Schritt erfolgreich abgeschlossen.

Stellen Sie sicher, dass Sie ClusterId des Clusters haben, den Sie in Starten Sie einen EMR Amazon-Cluster gestartet haben. Sie können Ihre Cluster-ID auch mit dem folgenden Befehl abrufen.

aws emr list-clusters --cluster-states WAITING							

Senden Sie health_violations.py als Schritt mit dem add-steps-Befehl und Ihrem ClusterId.

aws emr add-steps \
--cluster-id <myClusterId> \
--steps Type=Spark,Name="<My Spark Application>",ActionOnFailure=CONTINUE,Args=[<s3://DOC-EXAMPLE-BUCKET/health_violations.py>,--data_source,<s3://DOC-EXAMPLE-BUCKET/food_establishment_data.csv>,--output_uri,<s3://DOC-EXAMPLE-BUCKET/MyOutputFolder>]							

Weitere Informationen zum Senden von Schritten mithilfe von finden Sie in der AWS CLI Befehlsreferenz. CLI

Nachdem Sie den Schritt eingereicht haben, sollten Sie eine Ausgabe wie die folgende mit einer Liste von StepIds sehen. Da Sie einen Schritt eingereicht haben, wird in der Liste nur eine ID angezeigt. Kopieren Sie Ihre Schritt-ID. Sie verwenden Ihre Schritt-ID, um den Status des Schritts zu überprüfen.

{
    "StepIds": [
        "s-1XXXXXXXXXXA"
    ]
}											

Fragen Sie den Status Ihres Schritts mit dem describe-step-Befehl ab.

aws emr describe-step --cluster-id <myClusterId> --step-id <s-1XXXXXXXXXXA>							

Die Ausgabe sollte ungefähr wie die folgende aussehen, mit Informationen zu Ihrem Schritt.

{
    "Step": {
        "Id": "s-1XXXXXXXXXXA",
        "Name": "My Spark Application",
        "Config": {
            "Jar": "command-runner.jar",
            "Properties": {},
            "Args": [
                "spark-submit",
                "s3://DOC-EXAMPLE-BUCKET/health_violations.py",
                "--data_source",
                "s3://DOC-EXAMPLE-BUCKET/food_establishment_data.csv",
                "--output_uri",
                "s3://DOC-EXAMPLE-BUCKET/myOutputFolder"
            ]
        },
        "ActionOnFailure": "CONTINUE",
        "Status": {
            "State": "COMPLETED"
        }
    }
}						

Der State-Wert des Schritts ändert sich mit der Ausführung des Schritts von PENDING zu RUNNING zu COMPLETED. Die Ausführung des Schritts dauert etwa eine Minute, sodass Sie den Status möglicherweise einige Male überprüfen müssen.

Melden Sie sich bei der AWS Management Console an und öffnen Sie die EMR Amazon-Konsole unter https://console.aws.amazon.com/emr.

Wählen Sie Clusters und dann den Cluster aus, den Sie beenden möchten.

Wählen Sie im Dropdownmenü Aktionen die Option Cluster beenden aus.

Wählen Sie im Dialogfenster Beenden. Je nach Clusterkonfiguration kann die Kündigung 5 bis 10 Minuten dauern. Weitere Informationen zur Verwendung von EMR Amazon-Clustern finden Sie unterEinen Cluster beenden.

Initiieren Sie den Vorgang zur Clusterbeendigung mit dem folgenden Befehl. Ersetzen <myClusterId> mit der ID Ihres Probenclusters. Der Befehl gibt keine Ausgabe zurück.

aws emr terminate-clusters --cluster-ids <myClusterId>

Um zu überprüfen, ob der Clusterbeendigungsprozess im Gange ist, überprüfen Sie den Clusterstatus mit dem folgenden Befehl.

aws emr describe-cluster --cluster-id <myClusterId>									

Im Folgenden finden Sie eine Beispielausgabe im JSON Format. Der Cluster Status sollte sich von TERMINATING zu TERMINATED ändern. Die Beendigung kann je nach Clusterkonfiguration 5 bis 10 Minuten dauern. Weitere Informationen zum Beenden eines EMR Amazon-Clusters finden Sie unterEinen Cluster beenden.

{
    "Cluster": {
        "Id": "j-xxxxxxxxxxxxx",
        "Name": "My Cluster Name",
        "Status": {
            "State": "TERMINATED",
            "StateChangeReason": {
                "Code": "USER_REQUEST",
                "Message": "Terminated by user request"
            }
        }
    }
}