本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
SageMaker 火花 Python(PySpark)的例子
Amazon SageMaker 提供了一個阿帕奇星火 Python 庫(SageMaker PySpark
下載 PySpark
您可以從星火庫下載這兩個 Python 星火(PySpark)和斯卡拉 GitHub庫的SageMaker 源代碼。
如需安裝 SageMaker Spark 程式庫的指示,請使用下列任何選項或造訪SageMaker PySpark
-
使用點子安裝:
pip install sagemaker_pyspark
-
從來源安裝:
git clone git@github.com:aws/sagemaker-spark.git cd sagemaker-pyspark-sdk python setup.py install
-
您也可以在使用
Sparkmagic (PySpark)
或Sparkmagic (PySpark3)
核心並連線至遠端 Amazon EMR 叢集的筆記本執行個體中建立新的筆記本。注意
Amazon EMR 叢集必須使用已附加
AmazonSageMakerFullAccess
政策的IAM角色進行設定。如需為EMR叢集設定角色的相關資訊,請參閱 Amazon EMR管理指南中的設定 Amazon AWS 服務EMR許可的IAM角色。
PySpark 例子
如需使用範例 SageMaker PySpark,請參閱:
-
在閱讀文檔中使用 Amazon SageMaker 與阿帕奇星火
。 -
SageMaker 火花
GitHub存儲庫。
若要在筆記本執行個體上執行筆記本,請參閱範例筆記本。若要在 Studio 上執行筆記本,請參閱創建或打開 Amazon SageMaker 工作室經典筆記本。