使用 SageMaker AI Spark for Python (PySpark) 範例的資源

焦點模式

使用 SageMaker AI Spark for Python (PySpark) 範例的資源 - Amazon SageMaker AI

Amazon SageMaker AI 提供 Apache Spark Python 程式庫 (SageMaker AI PySpark)，可用來整合 Apache Spark 應用程式與 SageMaker AI。本主題包含可協助您開始使用 PySpark 的範例。如需 SageMaker AI Apache Spark 程式庫的相關資訊，請參閱搭配 Amazon SageMaker AI 的 Apache Spark。

下載 PySpark

您可以從 SageMaker AI Spark GitHub 儲存庫下載 Python Spark (PySpark) 和 Scala 程式庫的原始程式碼。

如需安裝 SageMaker AI Spark 程式庫的說明，請使用下列任一選項或造訪 SageMaker AI PySpark。

使用 pip 安裝：
```
pip install sagemaker_pyspark
```

從來源安裝：


git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

您也可以在筆記本執行個體中建立新的筆記本，該執行個體使用 Sparkmagic (PySpark)或 Sparkmagic (PySpark3) 核心並連線至遠端 Amazon EMR 叢集。

注意
Amazon EMR 叢集必須使用已連接 AmazonSageMakerFullAccess政策的 IAM 角色進行設定。有關為 EMR 羣集配置角色的資訊，請參閱為亞馬遜 EMR 權限配置 IAM 角色 AWS 服務在亞馬遜 EMR 管理指南。