Ressources pour utiliser des exemples de SageMaker Spark pour Python (PySpark) - Amazon SageMaker

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Ressources pour utiliser des exemples de SageMaker Spark pour Python (PySpark)

Amazon SageMaker fournit une bibliothèque Python Apache Spark (SageMaker PySpark) que vous pouvez utiliser pour intégrer vos applications Apache Spark SageMaker. Cette rubrique contient des exemples pour vous aider à démarrer PySpark. Pour plus d'informations sur la bibliothèque SageMaker Apache Spark, consultezApache Spark avec Amazon SageMaker.

Télécharger PySpark

Vous pouvez télécharger le code source des bibliothèques Python Spark (PySpark) et Scala depuis le GitHub dépôt SageMaker Spark.

Pour obtenir des instructions sur l'installation de la bibliothèque SageMaker Spark, utilisez l'une des options suivantes ou consultez SageMaker PySpark.

  • Installation à l'aide de pip :

    pip install sagemaker_pyspark

  • Installation à partir de la source :

    git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

  • Vous pouvez également créer un nouveau bloc-notes dans une instance de bloc-notes qui utilise le noyau Sparkmagic (PySpark) ou le Sparkmagic (PySpark3) noyau et vous connecter à un EMR cluster Amazon distant.

    Note

    Le EMR cluster Amazon doit être configuré avec un IAM rôle auquel la AmazonSageMakerFullAccess politique est attachée. Pour plus d'informations sur la configuration des rôles pour un EMR cluster, consultez la section Configurer les IAM rôles pour Amazon EMR Permissions to AWS Services dans le guide EMR de gestion Amazon.

PySpark exemples

Pour des exemples d'utilisation SageMaker PySpark, voir :

Pour exécuter les blocs-notes sur une instance de bloc-notes, consultez Accédez à des exemples de blocs-notes. Pour exécuter les blocs-notes sous Studio, consultez Création ou ouverture d'un bloc-notes Amazon SageMaker Studio Classic.