Installazione e utilizzo di kernel e librerie in Studio EMR

Dal kernel Python3, esegui il %pip magic come un comando dall'interno di una cella del notebook per installare librerie Python.

%pip install pmdarima

Potrebbe essere necessario riavviare il kernel per utilizzare i pacchetti aggiornati. Puoi anche utilizzare %%sh magic Spark per invocare pip.

%%sh
/emr/notebook-env/bin/pip install -U matplotlib
/emr/notebook-env/bin/pip install -U pmdarima

Quando si utilizza un PySpark kernel, è possibile installare le librerie sul cluster utilizzando pip i comandi oppure utilizzare librerie con ambito notebook dall'interno di un notebook. PySpark

Per eseguire pip i comandi sul cluster dal terminale, connettetevi innanzitutto al nodo primario utilizzandoSSH, come dimostrano i seguenti comandi.

sudo pip3 install -U matplotlib
sudo pip3 install -U pmdarima

In alternativa, puoi utilizzare librerie con ambito notebook. Con le librerie con ambito notebook, l'installazione della libreria è limitata all'ambito della sessione e si verifica su tutti gli executor Spark. Per ulteriori informazioni, consulta Utilizzo di librerie con ambito notebook.

Se vuoi impacchettare più librerie Python all'interno di un PySpark kernel, puoi anche creare un ambiente virtuale Python isolato. Per esempi, vedete Uso Virtualenv.

Per creare un ambiente virtuale Python in una sessione, utilizza la proprietà Spark spark.yarn.dist.archives dal comando %%configure magic nella prima cella di un notebook, come illustrato nell'esempio seguente.

%%configure -f
{
   "conf": {
   "spark.yarn.appMasterEnv.PYSPARK_PYTHON":"./environment/bin/python",
   "spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON":"./environment/bin/python",
   "spark.yarn.dist.archives":"s3://amzn-s3-demo-bucket/prefix/my_pyspark_venv.tar.gz#environment",
   "spark.submit.deployMode":"cluster"
   }
}

Puoi creare allo stesso modo un ambiente executor Spark.

%%configure -f
{
   "conf": {
   "spark.yarn.appMasterEnv.PYSPARK_PYTHON":"./environment/bin/python",
   "spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON":"./environment/bin/python",
   "spark.executorEnv.PYSPARK_PYTHON":"./environment/bin/python",
   "spark.yarn.dist.archives":"s3://amzn-s3-demo-bucket/prefix/my_pyspark_venv.tar.gz#environment",
   "spark.submit.deployMode":"cluster"
   }
}

Puoi utilizzare anche conda per installare librerie Python. Per utilizzare conda non è necessario l'accesso sudo. È necessario connettersi al nodo primario conSSH, e quindi eseguire conda dal terminale. Per ulteriori informazioni, consulta Connect al nodo primario del cluster Amazon EMR tramite SSH.

L'esempio seguente illustra l'installazione del kernel Kotlin utilizzando un comando del terminale mentre è connesso al nodo primario di un cluster:

sudo /emr/notebook-env/bin/conda install kotlin-jupyter-kernel -c jetbrains

Il comando riportato di seguito elenca i pacchetti Python disponibili per la sessione Spark corrente del notebook. Questo comando elenca le librerie installate nel cluster e le librerie con ambito notebook.

sc.list_packages()

Il comando seguente installa la libreria Celery come libreria con ambito notebook.

sc.install_pypi_package("celery")

Dopo l'installazione della libreria, il comando seguente conferma che la libreria è disponibile sul driver e sugli executor Spark.

import celery
sc.range(1,10000,1,100).map(lambda x: celery.__version__).collect()

Il comando seguente installa la libreria Arrow come libreria con ambito notebook, con una specifica della versione e del repository della libreria. URL

sc.install_pypi_package("arrow==0.14.0", "https://pypi.org/simple")

Il comando seguente disinstalla la libreria Arrow rimuovendola come libreria con ambito notebook dalla sessione corrente.

sc.uninstall_package("arrow")