Installation de noyaux et de bibliothèques dans un espace de travail EMR Studio - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Installation de noyaux et de bibliothèques dans un espace de travail EMR Studio

Chaque espace de travail Amazon EMR Studio est fourni avec un ensemble de bibliothèques et de noyaux préinstallés.

Noyaux et bibliothèques sur des clusters qui s'exécutent sur Amazon EC2

Vous pouvez également personnaliser l'environnement de EMR Studio de la manière suivante lorsque vous utilisez EMR des clusters exécutés sur Amazon EC2 :

  • Installer les noyaux bloc-notes Jupyter et les bibliothèques Python sur un nœud primaire du cluster : lorsque vous installez des bibliothèques à l'aide de cette option, tous les Workspaces rattachés au même cluster partagent ces bibliothèques. Vous pouvez installer des noyaux ou des bibliothèques à partir d'une cellule de bloc-notes ou lorsque vous êtes connecté SSH au nœud principal d'un cluster.

  • Utiliser des bibliothèques adaptées à un bloc-notes : lorsque les utilisateurs de Workspace installent et utilisent des bibliothèques depuis une cellule de bloc-notes, ces bibliothèques ne sont disponibles que pour ce bloc-notes. Cette option permet à différents blocs-notes utilisant le même cluster de fonctionner sans se soucier des conflits de versions de bibliothèque.

EMRLes espaces de travail Studio ont la même architecture sous-jacente que les EMR blocs-notes. Vous pouvez installer et utiliser les noyaux Jupyter Notebook et les bibliothèques Python avec EMR Studio de la même manière que vous le feriez avec Notebooks. EMR Pour obtenir des instructions, consultez Installation et utilisation de noyaux et de bibliothèques dans Studio EMR.

Kernels et bibliothèques sur Amazon EMR sur des clusters EKS

Les EKS clusters Amazon EMR on incluent les noyaux PySpark et Python 3.7 avec un ensemble de bibliothèques préinstallées. Amazon EMR on EKS ne prend pas en charge l'installation de bibliothèques ou de clusters supplémentaires.

Chaque EKS cluster Amazon EMR on est livré avec le Python et les PySpark bibliothèques suivants installés :

  • Python – boto3, cffi, future, ggplot, jupyter, kubernetes, matplotlib, numpy, pandas, plotly, pycryptodomex, py4j, requests, scikit-learn, scipy, seaborn

  • PySpark – ggplot, jupyter, matplotlib, numpy, pandas, plotly, pycryptodomex, py4j, requests, scikit-learn, scipy, seaborn

Noyaux et bibliothèques sur les applications EMR sans serveur

Chaque application EMR Serverless est livrée avec le Python et les PySpark bibliothèques suivants installés :

  • Python – ggplot, matplotlib, numpy, pandas, plotly, bokeh, scikit-learn, scipy, seaborn

  • PySpark – ggplot, matplotlib,numpy, pandas, plotly, bokeh, scikit-learn, scipy, seaborn