Installieren und Verwenden von Kerneln und Bibliotheken

Führen Sie im Python3-Kernel den %pip Magic als Befehl in einer Notebook-Zelle aus, um Python-Bibliotheken zu installieren.

%pip install pmdarima

Möglicherweise müssen Sie den Kernel neu starten, um aktualisierte Pakete verwenden zu können. Sie können auch die %%sh-Spark-Magie zum Aufrufen von pip verwenden.

%%sh
/emr/notebook-env/bin/pip install -U matplotlib
/emr/notebook-env/bin/pip install -U pmdarima

Wenn Sie einen PySpark Kernel verwenden, können Sie entweder Bibliotheken auf dem Cluster mithilfe von pip Befehlen installieren oder Bibliotheken für Notebooks innerhalb eines Notebooks verwenden. PySpark

Um pip Befehle auf dem Cluster vom Terminal aus auszuführen, stellen Sie zunächst, wie die folgenden Befehle zeigenSSH, eine Verbindung zum Primärknoten her.

sudo pip3 install -U matplotlib
sudo pip3 install -U pmdarima

Alternativ können Sie Bibliotheken im Notebookbereich verwenden. Bei Bibliotheken für Notebooks ist Ihre Bibliotheksinstallation auf den Umfang Ihrer Sitzung beschränkt und erfolgt auf allen Spark-Executoren. Weitere Informationen finden Sie unter Verwenden von Notebook Bibliotheken.

Wenn Sie mehrere Python-Bibliotheken in einen PySpark Kernel packen möchten, können Sie auch eine isolierte virtuelle Python-Umgebung erstellen. Anwendungsbeispiele finden Sie unter VerwendenVirtualenv.

Um eine virtuelle Python-Umgebung in einer Sitzung zu erstellen, verwenden Sie die Spark-Eigenschaft spark.yarn.dist.archives aus dem %%configure magischen Befehl in der ersten Zelle in einem Notebook, wie das folgende Beispiel zeigt.

%%configure -f
{
   "conf": {
   "spark.yarn.appMasterEnv.PYSPARK_PYTHON":"./environment/bin/python",
   "spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON":"./environment/bin/python",
   "spark.yarn.dist.archives":"s3://DOC-EXAMPLE-BUCKET/prefix/my_pyspark_venv.tar.gz#environment",
   "spark.submit.deployMode":"cluster"
   }
}

Auf ähnliche Weise können Sie eine Spark-Executor-Umgebung erstellen.

%%configure -f
{
   "conf": {
   "spark.yarn.appMasterEnv.PYSPARK_PYTHON":"./environment/bin/python",
   "spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON":"./environment/bin/python",
   "spark.executorEnv.PYSPARK_PYTHON":"./environment/bin/python",
   "spark.yarn.dist.archives":"s3://DOC-EXAMPLE-BUCKET/prefix/my_pyspark_venv.tar.gz#environment",
   "spark.submit.deployMode":"cluster"
   }
}

Sie können es auch conda zur Installation von Python-Bibliotheken verwenden. Für die Verwendung von conda benötigen Sie keinen Sudo-Zugriff. Sie müssen sich mit SSH dem primären Knoten verbinden und dann vom Terminal conda aus starten. Weitere Informationen finden Sie unter Connect zum Primärknoten her mit SSH.

Das folgende Beispiel zeigt die Installation des Kotlin-Kernels mithilfe eines Terminalbefehls, während eine Verbindung zum Primärknoten eines Clusters besteht:

sudo /emr/notebook-env/bin/conda install kotlin-jupyter-kernel -c jetbrains

Der folgende Befehl listet die Python-Pakete auf, die für die aktuelle Spark-Notebook-Sitzung verfügbar sind. Hiermit werden Bibliotheken aufgelistet, die auf dem Cluster installiert sind, und Bibliotheken für Notebook-Bereiche.

sc.list_packages()

Mit dem folgenden Befehl wird die Celery-Bibliothek als Notebook-Bibliothek installiert.

sc.install_pypi_package("celery")

Nach der Installation der Bibliothek bestätigt der folgende Befehl, dass die Bibliothek auf dem Spark-Treiber und den Executors verfügbar ist.

import celery
sc.range(1,10000,1,100).map(lambda x: celery.__version__).collect()

Mit dem folgenden Befehl wird die Arrow-Bibliothek als Bibliothek für Notebooks mit Angabe der Bibliotheksversion und des Repositorys installiert. URL

sc.install_pypi_package("arrow==0.14.0", "https://pypi.org/simple")

Der folgende Befehl deinstalliert die Pfeilbibliothek und entfernt sie als Notebook-Bibliothek aus der aktuellen Sitzung.

sc.uninstall_package("arrow")