Sumber daya untuk menggunakan SageMaker contoh Spark untuk Python PySpark () - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Sumber daya untuk menggunakan SageMaker contoh Spark untuk Python PySpark ()

Amazon SageMaker menyediakan pustaka Apache Spark Python (SageMaker PySpark) yang dapat Anda gunakan untuk mengintegrasikan aplikasi Apache Spark Anda. SageMaker Topik ini berisi contoh untuk membantu Anda memulai PySpark. Untuk informasi tentang perpustakaan SageMaker Apache Spark, lihat. Apache Spark dengan Amazon SageMaker

Unduh PySpark

Anda dapat mengunduh kode sumber untuk pustaka Python Spark (PySpark) dan Scala dari repositori Spark. SageMaker GitHub

Untuk petunjuk tentang menginstal perpustakaan SageMaker Spark, gunakan opsi berikut atau kunjungi SageMaker PySpark.

  • Instal menggunakan pip:

    pip install sagemaker_pyspark

  • Instal dari sumbernya:

    git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

  • Anda juga dapat membuat notebook baru dalam instance notebook yang menggunakan kernel Sparkmagic (PySpark) atau Sparkmagic (PySpark3) kernel dan terhubung ke EMR cluster Amazon jarak jauh.

    catatan

    EMRCluster Amazon harus dikonfigurasi dengan IAM peran yang memiliki AmazonSageMakerFullAccess kebijakan terlampir. Untuk informasi tentang mengonfigurasi peran untuk EMR klaster, lihat Mengonfigurasi IAM EMR Peran untuk Izin Amazon ke AWS Layanan di Panduan EMRManajemen Amazon.

PySpark contoh

Untuk contoh tentang penggunaan SageMaker PySpark, lihat:

Untuk menjalankan notebook pada instance notebook, lihatAkses contoh notebook. Untuk menjalankan notebook di Studio, lihatMembuat atau Membuka Notebook Amazon SageMaker Studio Classic.