Améliorez les noyaux avec magic commandes dans EMR Studio

Présentation

Support pour EMR Studio et EMR Notebooks magic commandes. Commande magique des commandes, ou magics, sont des améliorations apportées par le IPython noyau pour vous aider à exécuter et à analyser des données. IPythonest un environnement shell interactif construit avec Python.

Amazon EMR prend également en charge Sparkmagic, un package qui fournit aux noyaux liés à Spark (noyaux PySpark SparkR et Scala) des magic commandes et qui utilise Livy sur le cluster pour soumettre des tâches Spark.

Vous pouvez utiliser … magic commandes tant que vous avez un noyau Python dans votre bloc-notes EMR. De même, tout noyau lié à Spark prend en charge Sparkmagic commandes.

Magic commandes, également appelées magics, existent en deux variétés :

Pour tous disponibles magics, tu voisListe magic and Sparkmagic commands.

Considérations et restrictions

Liste magic and Sparkmagic commands

Utilisez les commandes suivantes pour répertorier les magic commandes :

Utiliser %%configure pour configurer Spark

L'un des plus utiles Sparkmagic commands est la %%configure commande qui configure les paramètres de création de session. Pour les paramètres conf, vous pouvez configurer n'importe quelle configuration Spark mentionnée dans la documentation de configuration d'Apache Spark.

%%configure -f
{"conf": {
    "spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
    "spark.jars": "s3://amzn-s3-demo-bucket/my-jar.jar"
    }
}        

%%configure
{ "conf": {
     "spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar", 
     "spark.serializer": "org.apache.spark.serializer.KryoSerializer",
     "spark.sql.hive.convertMetastoreParquet":"false"
     }
}

Utiliser %%sh pour exécuter spark-submit

La %%sh magic exécute des commandes shell dans un sous-processus sur une instance de votre cluster attaché. Généralement, vous utilisez l'un des noyaux liés à Spark pour exécuter des applications Spark sur votre cluster attaché. Toutefois, si vous souhaitez utiliser un noyau Python pour soumettre une application Spark, vous pouvez utiliser ce qui suit magic, en remplaçant le nom du bucket par le nom de votre bucket en minuscules.

%%sh
spark-submit --master yarn --deploy-mode cluster s3://amzn-s3-demo-bucket/test.py

Dans cet exemple, le cluster doit accéder à l'emplacement de s3://amzn-s3-demo-bucket/test.py, sinon la commande échouera.

Vous pouvez utiliser n'importe quelle commande Linux avec %%sh magic. Si vous souhaitez exécuter des commandes Spark ou YARN, utilisez l'une des options suivantes pour créer un utilisateur emr-notebook Hadoop et accordez-lui les autorisations nécessaires pour exécuter les commandes :

Utiliser %%display pour visualiser les dataframes Spark

Vous pouvez utiliser %%display magic pour visualiser une trame de données Spark. Pour l'utiliser magic, exécutez la commande suivante.

%%display df

Choisissez d'afficher les résultats sous forme de tableau, comme le montre l'image suivante.

Vous pouvez également choisir de visualiser vos données à l'aide de cinq types de graphiques. Vous avez le choix entre des diagrammes circulaires, des diagrammes de dispersion, des diagrammes linéaires, des diagrammes de surface et des diagrammes à barres.

Utiliser les notebooks EMR magics

Amazon EMR fournit les Notebooks EMR suivants magicque vous pouvez utiliser avec les noyaux basés sur Python3 et Spark :

Prérequis

Avant d'installer EMR Notebooks magics, effectuez les tâches suivantes :

Installez EMR Notebooks magics

Procédez comme suit pour installer EMR Notebooks magicLes

Montez un répertoire Workspace avec %mount_workspace_dir

La %mount_workspace_dir magic vous permet de monter votre répertoire Workspace sur votre cluster EMR afin de pouvoir importer et exécuter d'autres fichiers, modules ou packages stockés dans votre répertoire.

L'exemple suivant monte l'intégralité du répertoire Workspace sur un cluster et spécifie l'argument facultatif <--fuse-type> qui permet d'utiliser goofys pour monter le répertoire.

%mount_workspace_dir . <--fuse-type goofys>

Pour vérifier que votre répertoire Workspace est monté, utilisez l'exemple suivant pour afficher le répertoire de travail actuel avec la commande ls. La sortie doit afficher tous les fichiers de votre Workspace.

%%sh
ls

Lorsque vous avez terminé d'apporter des modifications à votre Workspace, vous pouvez démonter le répertoire du Workspace à l'aide de la commande suivante :

%umount_workspace_dir

Télécharger un objet Amazon S3 avec %generate_s3_download_url

La commande generate_s3_download_url crée une URL présignée pour un objet stocké dans Amazon S3. Vous pouvez utiliser l'URL présignée pour télécharger l'objet sur votre ordinateur local. Par exemple, vous pouvez exécuter generate_s3_download_url pour télécharger le résultat d'une requête SQL que votre code écrit sur Amazon S3.

L'URL présignée est valide pendant 60 minutes par défaut. Vous pouvez modifier le délai d'expiration en spécifiant un nombre de secondes pour le drapeau --expires-in. Par exemple, --expires-in 1800 crée une URL valide pendant 30 minutes.

L'exemple suivant génère un lien de téléchargement pour un objet en spécifiant le chemin complet d'Amazon S3 : s3://EXAMPLE-DOC-BUCKET/path/to/my/object.

%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object

Pour en savoir plus sur l'utilisation de generate_s3_download_url, exécutez la commande suivante pour afficher le texte d'aide.

%generate_s3_download_url?

Exécuter un bloc-notes en mode sans tête avec %execute_notebook

Avec %execute_notebook magic, vous pouvez exécuter un autre bloc-notes en mode headless et afficher le résultat de chaque cellule que vous avez exécutée. Cette magic nécessite des autorisations supplémentaires pour le rôle d'instance partagé par Amazon EMR et Amazon EC2 . Pour plus de détails sur la façon d'accorder des autorisations supplémentaires, exécutez la commande%execute_notebook?.

Au cours d'un travail de longue durée, votre système peut se mettre en veille pour cause d'inactivité ou perdre temporairement la connexion Internet. Cela peut perturber la connexion entre votre navigateur et le serveur Jupyter. Dans ce cas, vous risquez de perdre le résultat des cellules que vous avez exécutées et envoyées depuis le serveur Jupyter.

Si vous utilisez le bloc-notes en mode headless avec %execute_notebook magic, EMR Notebooks capture les données des cellules qui ont fonctionné, même si le réseau local est perturbé. EMR Notebooks enregistre la sortie de manière incrémentielle dans un nouveau bloc-notes portant le même nom que le bloc-notes que vous avez utilisé. EMR Notebooks place ensuite le bloc-notes dans un nouveau dossier au sein du Workspace. Les exécutions sans tête se produisent sur le même cluster et utilisent le rôle de service EMR_Notebook_DefaultRole, mais des arguments supplémentaires peuvent modifier les valeurs par défaut.

Pour exécuter un bloc-notes en mode sans tête, utilisez la commande suivante :

%execute_notebook <relative-file-path>

Pour spécifier un ID de cluster et un rôle de service pour une exécution en mode sans tête, utilisez la commande suivante :

%execute_notebook <notebook_name>.ipynb --cluster-id <emr-cluster-id> --service-role <emr-notebook-service-role>

Lorsqu'Amazon EMR et Amazon EC2 partagent un rôle d'instance, ce rôle nécessite les autorisations supplémentaires suivantes :

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "ec2:DescribeInstances"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::<AccoundId>:role/EMR_Notebooks_DefaultRole"
        }
    ]
}