SageMaker Esempi di Spark per Python (PySpark) - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

SageMaker Esempi di Spark per Python (PySpark)

Amazon SageMaker fornisce una libreria Python Apache Spark (SageMaker PySpark) che puoi usare per integrare le tue applicazioni Apache Spark. SageMaker Ad esempio, puoi utilizzare Apache Spark per la preelaborazione dei dati e per la formazione e l'hosting dei modelli. SageMaker Per informazioni sulla libreria SageMaker Apache Spark, consulta. Usa Apache Spark con Amazon SageMaker

Scarica PySpark

Puoi scaricare il codice sorgente per entrambe le librerie Python Spark (PySpark) e Scala dal repository Spark. SageMaker GitHub

Per istruzioni sull'installazione della libreria SageMaker Spark, usa una delle seguenti opzioni o visita. SageMaker PySpark

  • Installa usando pip:

    pip install sagemaker_pyspark

  • Installa dalla fonte:

    git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

  • Puoi anche creare un nuovo notebook in un'istanza notebook che utilizza il Sparkmagic (PySpark3) kernel Sparkmagic (PySpark) o e connetterti a un EMR cluster Amazon remoto.

    Nota

    Il EMR cluster Amazon deve essere configurato con un IAM ruolo a cui è associata la AmazonSageMakerFullAccess policy. Per informazioni sulla configurazione dei ruoli per un EMR cluster, consulta Configure IAM Roles for Amazon EMR Permissions to AWS Services nella Amazon EMR Management Guide.

PySpark esempi

Per esempi sull'utilizzo SageMaker PySpark, consulta:

Per eseguire i notebook su un'istanza del notebook, consulta Notebook di esempio. Per eseguire i notebook su Studio, consulta Crea o apri un notebook Amazon SageMaker Studio Classic.