SageMaker Exemples de Spark pour Python (PySpark) - Amazon SageMaker

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

SageMaker Exemples de Spark pour Python (PySpark)

Amazon SageMaker fournit une bibliothèque Python Apache Spark (SageMaker PySpark) que vous pouvez utiliser pour intégrer vos applications Apache Spark SageMaker. Par exemple, vous pouvez utiliser Apache Spark pour le prétraitement des données ainsi que SageMaker pour l'entraînement et l'hébergement des modèles. Pour plus d'informations sur la bibliothèque SageMaker Apache Spark, consultezUtiliser Apache Spark avec Amazon SageMaker.

Télécharger PySpark

Vous pouvez télécharger le code source des bibliothèques Python Spark (PySpark) et Scala depuis le GitHub dépôt SageMaker Spark.

Pour obtenir des instructions sur l'installation de la bibliothèque SageMaker Spark, utilisez l'une des options suivantes ou consultez SageMaker PySpark.

  • Installation à l'aide de pip :

    pip install sagemaker_pyspark

  • Installation à partir de la source :

    git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

  • Vous pouvez également créer un nouveau bloc-notes dans une instance de bloc-notes qui utilise le noyau Sparkmagic (PySpark) ou le Sparkmagic (PySpark3) noyau et vous connecter à un EMR cluster Amazon distant.

    Note

    Le EMR cluster Amazon doit être configuré avec un IAM rôle auquel la AmazonSageMakerFullAccess politique est attachée. Pour plus d'informations sur la configuration des rôles pour un EMR cluster, consultez la section Configurer les IAM rôles pour Amazon EMR Permissions to AWS Services dans le guide EMR de gestion Amazon.

PySpark exemples

Pour des exemples d'utilisation SageMaker PySpark, voir :

Pour exécuter les blocs-notes sur une instance de bloc-notes, consultez Exemples de blocs-notes. Pour exécuter les blocs-notes sous Studio, consultez Création ou ouverture d'un bloc-notes Amazon SageMaker Studio Classic.