Ressourcen für die Verwendung von SageMaker AI Spark for Python (PySpark) — Beispiele

Fokusmodus

Ressourcen für die Verwendung von SageMaker AI Spark for Python (PySpark) — Beispiele - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon SageMaker AI bietet eine Apache Spark-Python-Bibliothek (SageMaker KI PySpark), mit der Sie Ihre Apache Spark-Anwendungen mit SageMaker KI integrieren können. Dieses Thema enthält Beispiele, die Ihnen den Einstieg erleichtern sollen PySpark. Informationen zur SageMaker AI Apache Spark-Bibliothek finden Sie unterApache Spark mit Amazon SageMaker AI.

Download PySpark

Sie können den Quellcode für die Bibliotheken Python Spark (PySpark) und Scala aus dem SageMaker AI GitHub Spark-Repository herunterladen.

Anweisungen zur Installation der SageMaker AI Spark-Bibliothek finden Sie unter den folgenden Optionen oder unter SageMaker AI PySpark.

Mit Pip installieren:
```
pip install sagemaker_pyspark
```

Von der Quelle installieren:


git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

Sie können auch ein neues Notebook in einer Notebook-Instance erstellen, die entweder den Sparkmagic (PySpark) oder den Sparkmagic (PySpark3) Kernel verwendet, und eine Verbindung zu einem Amazon EMR-Remote-Cluster herstellen.

Anmerkung
Der Amazon EMR-Cluster muss mit einer IAM-Rolle konfiguriert werden, an die die AmazonSageMakerFullAccess Richtlinie angehängt ist. Weitere Informationen zum Konfigurieren von Rollen für ein EMR-Cluster finden Sie unter Konfigurieren von IAM-Rollen für EMR-Berechtigungen für AWS Services im Amazon EMR Management Guide.