Migliora i kernel con magic comandi in Studio EMR

Panoramica

EMRSupporto per Studio e EMR Notebook magic comandi. Magia comandi o magics, sono miglioramenti forniti dal IPython kernel per aiutarti a eseguire e analizzare i dati. IPythonè un ambiente shell interattivo creato con Python.

Amazon supporta EMR anche Sparkmagic, un pacchetto che fornisce kernel relativi a Spark (, PySpark SparkR e Scala) con specifiche magic comandi e che utilizza Livy sul cluster per inviare lavori Spark.

È possibile utilizzare… magic comandi purché nel notebook sia presente un kernel Python. EMR Allo stesso modo, qualsiasi kernel relativo a Spark supporta Sparkmagic comandi.

Magic comandi, chiamati anche magics, sono disponibili in due varietà:

Per tutti disponibili magics, vediElenco magic e Sparkmagic comandi.

Considerazioni e limitazioni

Elenco magic e Sparkmagic comandi

Usa i seguenti comandi per elencare le opzioni disponibili magic comandi:

Utilizza %%configure per configurare Spark

Uno dei più utili Sparkmagic commands è il %%configure comando che configura i parametri di creazione della sessione. Utilizzando le impostazioni conf, è possibile configurare qualsiasi configurazione Spark menzionata nella documentazione di configurazione di Apache Spark.

%%configure -f
{"conf": {
    "spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
    "spark.jars": "s3://amzn-s3-demo-bucket/my-jar.jar"
    }
}        

%%configure
{ "conf": {
     "spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar", 
     "spark.serializer": "org.apache.spark.serializer.KryoSerializer",
     "spark.sql.hive.convertMetastoreParquet":"false"
     }
}

Utilizza %%sh per eseguire spark-submit

Il %%sh magic esegue i comandi della shell in un sottoprocesso su un'istanza del cluster collegato. In genere, si utilizza uno dei kernel relativi a Spark per eseguire applicazioni Spark sul cluster collegato. Tuttavia, se vuoi usare un kernel Python per inviare un'applicazione Spark, puoi usare quanto segue magic, sostituendo il nome del bucket con il nome del bucket in lettere minuscole.

%%sh
spark-submit --master yarn --deploy-mode cluster s3://amzn-s3-demo-bucket/test.py

In questo esempio, il cluster deve accedere alla posizione di s3://amzn-s3-demo-bucket/test.py o il comando avrà esito negativo.

È possibile utilizzare qualsiasi comando Linux con %%sh magic. Se desideri eseguire Spark o YARN comandi, usa una delle seguenti opzioni per creare un utente emr-notebook Hadoop e concedere all'utente le autorizzazioni per eseguire i comandi:

Utilizza %%display per visualizzare i dataframe Spark

Puoi usare il %%display magic per visualizzare un dataframe Spark. Per usare questo magic, esegui il seguente comando.

%%display df

Scegli di visualizzare i risultati in formato tabella, come illustrato nell'immagine seguente.

È inoltre possibile scegliere di visualizzare i dati con cinque tipi di grafici. Le opzioni includono grafici a torta, a dispersione, a linee, ad area e a barre.

Usa EMR Notebooks magics

Amazon EMR fornisce i seguenti EMR notebook magics che puoi usare con i kernel basati su Python3 e Spark:

Prerequisiti

Prima di installare Notebooks EMR magics, completa le seguenti attività:

Installa i notebook EMR magics

Completa i seguenti passaggi per installare i notebook EMR magics.

Montare una directory WorkSpace con %mount_workspace_dir

Il %mount_workspace_dir magic consente di montare la directory Workspace sul EMR cluster in modo da poter importare ed eseguire altri file, moduli o pacchetti memorizzati nella directory.

L'esempio seguente monta l'intera directory Workspace su un cluster e specifica l'opzione <--fuse-type> argomento per usare goofys per montare la cartella.

%mount_workspace_dir . <--fuse-type goofys>

Per verificare che la directory WorkSpace sia montata, utilizzare l'esempio seguente per visualizzare l'attuale directory di lavoro con il comando ls. L'output dovrebbe visualizzare tutti i file nel WorkSpace.

%%sh
ls

Una volta che sono state apportate le modifiche nel WorkSpace, puoi smontare la directory del WorkSpace con il seguente comando:

%umount_workspace_dir

Scaricare un oggetto Amazon S3 con %generate_s3_download_url

Il generate_s3_download_url comando crea un predefinito URL per un oggetto archiviato in Amazon S3. Puoi usare il prefirmato URL per scaricare l'oggetto sul tuo computer locale. Ad esempio, potresti generate_s3_download_url eseguire il download del risultato di una SQL query che il tuo codice scrive su Amazon S3.

Per impostazione predefinita, il valore predefinito URL è valido per 60 minuti. È possibile modificare il tempo di scadenza specificando un numero di secondi per il flag --expires-in. Ad esempio, --expires-in 1800 crea un URL valore valido per 30 minuti.

L'esempio seguente genera un collegamento per il download di un oggetto specificando il percorso completo di Amazon S3: s3://EXAMPLE-DOC-BUCKET/path/to/my/object.

%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object

Per ulteriori informazioni sull'uso di generate_s3_download_url, eseguire il comando di seguito per visualizzare il testo della guida.

%generate_s3_download_url?

Gestione di un notebook in modalità headless con %execute_notebook

Con %execute_notebook magic, puoi far funzionare un altro notebook in modalità headless e visualizzare l'output di ogni cella che hai eseguito. Questo magic richiede autorizzazioni aggiuntive per il ruolo dell'istanza EC2 condiviso da Amazon EMR e Amazon. Per ulteriori dettagli su come concedere autorizzazioni aggiuntive, esegui il comando %execute_notebook?.

Durante un processo di lunga durata, il sistema potrebbe andare in modalità di sospensione a causa dell'inattività o perdere temporaneamente la connettività Internet. Ciò potrebbe interrompere la connessione tra il browser e il server Jupyter. In questo caso, potresti perdere l'output delle celle che hai eseguito e inviato dal server Jupyter.

Se si utilizza il notebook in modalità headless con %execute_notebook magic, EMR Notebooks acquisisce l'output dalle celle in funzione, anche in caso di interruzione della rete locale. EMRNotebooks salva l'output in modo incrementale in un nuovo notebook con lo stesso nome del notebook in uso. EMRNotebooks posiziona quindi il taccuino in una nuova cartella all'interno dell'area di lavoro. Le esecuzioni headless avvengono sullo stesso cluster e utilizzano il ruolo di servizio EMR_Notebook_DefaultRole, ma argomenti aggiuntivi possono modificare i valori predefiniti.

Per eseguire un notebook in modalità headless, usa il seguente comando:

%execute_notebook <relative-file-path>

Per specificare un ID cluster e il ruolo di servizio per un'esecuzione headless, usa il seguente comando:

%execute_notebook <notebook_name>.ipynb --cluster-id <emr-cluster-id> --service-role <emr-notebook-service-role>

Quando Amazon EMR e Amazon EC2 condividono un ruolo di istanza, il ruolo richiede le seguenti autorizzazioni aggiuntive:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "ec2:DescribeInstances"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::<AccoundId>:role/EMR_Notebooks_DefaultRole"
        }
    ]
}