翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon SageMaker AI には、Apache Spark アプリケーションを SageMaker AI と統合するために使用できる Apache Spark Python ライブラリ (SageMaker AI PySpark
ダウンロード PySpark
Python Spark (PySpark) ライブラリと Scala ライブラリの両方のソースコードを SageMaker AI Spark
SageMaker AI Spark ライブラリのインストール手順については、以下のオプションを使用するか、SageMaker AI PySpark
-
pip を使用したインストール:
pip install sagemaker_pyspark
-
ソースからインストールします。
git clone git@github.com:aws/sagemaker-spark.git cd sagemaker-pyspark-sdk python setup.py install
-
Sparkmagic (PySpark)
またはSparkmagic (PySpark3)
カーネルのいずれかを使用してノートブックインスタンスに新しいノートブックを作成し、リモート Amazon EMRクラスターに接続することもできます。注記
Amazon EMRクラスターは、
AmazonSageMakerFullAccess
ポリシーがアタッチされた IAMロールで設定する必要があります。EMR クラスターのロールの設定については、「Amazon 管理ガイド」の「サービスに対する AWS Amazon EMR アクセス許可のIAMロールの設定」を参照してください。 EMR
PySpark の例
SageMaker AI の使用例については PySpark、以下を参照してください。
-
「ドキュメントを読む」の「Apache Spark で Amazon SageMaker AI
を使用する」。 -
SageMaker AI Spark
GitHub リポジトリ。
ノートブックをノートブックインスタンスで実行する場合は、「サンプルノートブックにアクセスする」を参照してください。Studio でノートブックを実行する場合は、「Amazon SageMaker Studio Classic ノートブックを作成または開く」を参照してください。