Verbessern Sie Kernel mit magic Befehle in EMR Studio

Übersicht

Unterstützung für EMR Studio und EMR Notebooks magic Befehle. Magie Befehle, oder magics sind Erweiterungen, die der IPython Kernel bereitstellt, um Sie beim Ausführen und Analysieren von Daten zu unterstützen. IPythonist eine interaktive Shell-Umgebung, die mit Python erstellt wurde.

Amazon EMR unterstützt auch Sparkmagic, ein Paket, das Spark-bezogene Kernel (PySpark, SparkR- und Scala-Kernel) mit spezifischen magic Befehle und das Livy auf dem Cluster verwendet, um Spark-Jobs zu senden.

Sie können Folgendes verwenden … magic Befehle, solange Sie einen Python-Kernel in Ihrem EMR-Notebook haben. In ähnlicher Weise unterstützt jeder SPARK-bezogene Kernel Sparkmagic Befehle.

Magic Befehle, auch genannt magics gibt es in zwei Varianten:

Für alle verfügbaren magics, sieheAuflisten magic and Sparkmagic commands.

Überlegungen und Einschränkungen

Auflisten magic and Sparkmagic commands

Verwenden Sie die folgenden Befehle, um die verfügbaren aufzulisten magic Befehle:

%%configure wird verwendet, um Spark zu konfigurieren

Eines der nützlichsten Sparkmagic commands ist der %%configure Befehl, der die Parameter für die Sitzungserstellung konfiguriert. Mithilfe von conf-Einstellungen können Sie jede Spark-Konfiguration konfigurieren, die in der Konfigurationsdokumentation für Apache Spark erwähnt wird.

%%configure -f
{"conf": {
    "spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
    "spark.jars": "s3://amzn-s3-demo-bucket/my-jar.jar"
    }
}        

%%configure
{ "conf": {
     "spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar", 
     "spark.serializer": "org.apache.spark.serializer.KryoSerializer",
     "spark.sql.hive.convertMetastoreParquet":"false"
     }
}

%%sh verwenden, um spark-submit auszuführen

Die %%sh magic führt Shell-Befehle in einem Unterprozess auf einer Instanz Ihres verbundenen Clusters aus. In der Regel würden Sie einen der Spark-bezogenen Kernel verwenden, um Spark-Anwendungen auf Ihrem angeschlossenen Cluster auszuführen. Wenn Sie jedoch einen Python-Kernel verwenden möchten, um eine Spark-Anwendung einzureichen, können Sie Folgendes verwenden magicund ersetzt den Bucket-Namen durch Ihren Bucket-Namen in Kleinbuchstaben.

%%sh
spark-submit --master yarn --deploy-mode cluster s3://amzn-s3-demo-bucket/test.py

In diesem Beispiel benötigt der Cluster Zugriff auf den Speicherort von s3://amzn-s3-demo-bucket/test.py, andernfalls schlägt der Befehl fehl.

Sie können jeden Linux-Befehl mit dem %%sh magic. Wenn Sie Spark- oder YARN-Befehle ausführen möchten, verwenden Sie eine der folgenden Optionen, um einen emr-notebook Hadoop-Benutzer zu erstellen und dem Benutzer Berechtigungen zur Ausführung der Befehle zu gewähren:

Wird zur Visualisierung von %%display-Spark-Datenrahmen verwendet

Sie können den %%display magic um einen Spark-Datenrahmen zu visualisieren. Um das zu benutzen magic, führen Sie den folgenden Befehl aus.

%%display df

Wählen Sie, ob Sie die Ergebnisse in einem Tabellenformat anzeigen möchten, wie das folgende Bild zeigt.

Sie können sich auch dafür entscheiden, Ihre Daten mit fünf Arten von Diagrammen zu visualisieren. Zu Ihren Optionen gehören Kreis-, Streu-, Linien-, Flächen- und Balkendiagramme.

Verwenden Sie EMR Notebooks magicS

Amazon EMR bietet die folgenden EMR Notebooks magics, die Sie mit Python3- und Spark-basierten Kerneln verwenden können:

Voraussetzungen

Vor der Installation von EMR Notebooks magics, führen Sie die folgenden Aufgaben aus:

Installieren Sie EMR Notebooks magicS

Gehen Sie wie folgt vor, um EMR Notebooks zu installieren magic-Geräte.

Ein Workspace-Verzeichnis mit %mount_workspace_dir mounten

Die %mount_workspace_dir magic ermöglicht es Ihnen, Ihr Workspace-Verzeichnis auf Ihrem EMR-Cluster zu mounten, sodass Sie andere in Ihrem Verzeichnis gespeicherte Dateien, Module oder Pakete importieren und ausführen können.

Im folgenden Beispiel wird das gesamte Workspace-Verzeichnis auf einem Cluster bereitgestellt und das optionale <--fuse-type>-Argument angegeben, Goofys für das Mounten des Verzeichnisses zu verwenden.

%mount_workspace_dir . <--fuse-type goofys>

Um zu überprüfen, ob Ihr Workspace-Verzeichnis eingehängt ist, verwenden Sie das folgende Beispiel, um das aktuelle Arbeitsverzeichnis mit dem ls-Befehl anzuzeigen. Die Ausgabe sollte alle Dateien in Ihrem Workspace anzeigen.

%%sh
ls

Wenn Sie mit den Änderungen in Ihrem Workspace fertig sind, können Sie das Workspace-Verzeichnis mit dem folgenden Befehl unmounten:

%umount_workspace_dir

Herunterladen eines Amazon-S3-Objekts mit %generate_s3_download_url

Der generate_s3_download_url-Befehl erstellt eine vorsignierte URL für ein in Amazon S3 gespeichertes Objekt. Sie können die vorsignierte URL verwenden, um das Objekt auf Ihren lokalen Computer herunterzuladen. Sie könnten beispielsweise generate_s3_download_url ausführen, um das Ergebnis einer SQL-Abfrage herunterzuladen, die Ihr Code in Amazon S3 schreibt.

Die vorsignierte URL ist standardmäßig 60 Minuten lang gültig. Sie können die Ablaufzeit ändern, indem Sie eine Anzahl von Sekunden für das --expires-in-Kennzeichen angeben. --expires-in 1800 erstellt beispielsweise eine URL, die 30 Minuten gültig ist.

Das folgende Beispiel generiert einen Download-Link für ein Objekt, indem der vollständige Amazon-S3-Pfad angegeben wird: s3://EXAMPLE-DOC-BUCKET/path/to/my/object.

%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object

Um mehr über die Verwendung von generate_s3_download_url zu erfahren, führen Sie den folgenden Befehl aus, um den Hilfetext anzuzeigen.

%generate_s3_download_url?

Führen Sie ein Notebook im Headless-Modus mit %execute_notebook

Mit %execute_notebook magic, können Sie ein anderes Notebook im Headless-Modus ausführen und sich die Ausgabe für jede Zelle ansehen, die Sie ausgeführt haben. Dieser magic erfordert zusätzliche Berechtigungen für die Instance-Rolle, die Amazon EMR und Amazon EC2 gemeinsam nutzen. Führen Sie den %execute_notebook?-Befehl aus, um weitere Informationen zur Gewährung zusätzlicher Berechtigungen zu erhalten.

Während eines Auftrags mit langer Laufzeit wechselt Ihr System möglicherweise aufgrund von Inaktivität in den Standbymodus oder verliert vorübergehend die Internetverbindung. Dadurch könnte die Verbindung zwischen Ihrem Browser und dem Jupyter Server unterbrochen werden. In diesem Fall verlieren Sie möglicherweise die Ausgabe der Zellen, die Sie vom Jupyter Server ausgeführt und gesendet haben.

Wenn Sie das Notebook im Headless-Modus mit ausführen %execute_notebook magic, EMR Notebooks erfasst die Leistung der Zellen, die in Betrieb sind, auch wenn das lokale Netzwerk unterbrochen wird. EMR Notebooks speichert die Ausgabe inkrementell in einem neuen Notebook mit demselben Namen wie das Notebook, das Sie ausgeführt haben. EMR Notebooks platziert das Notebook dann in einem neuen Ordner innerhalb des Workspace. Headless-Läufe finden auf demselben Cluster statt und verwenden die Servicerolle EMR_Notebook_DefaultRole, aber zusätzliche Argumente können die Standardwerte ändern.

Verwenden Sie den folgenden Befehl, um ein Notebook im Headless-Modus auszuführen:

%execute_notebook <relative-file-path>

Verwenden Sie den folgenden Befehl, um eine Cluster-ID und eine Servicerolle für einen Headless-Lauf anzugeben:

%execute_notebook <notebook_name>.ipynb --cluster-id <emr-cluster-id> --service-role <emr-notebook-service-role>

Wenn Amazon EMR und Amazon eine Instance-Rolle EC2 gemeinsam nutzen, erfordert die Rolle die folgenden zusätzlichen Berechtigungen:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "ec2:DescribeInstances"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::<AccoundId>:role/EMR_Notebooks_DefaultRole"
        }
    ]
}