Ressourcen für die Verwendung von SageMaker Spark for Python (PySpark) -Beispielen - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Ressourcen für die Verwendung von SageMaker Spark for Python (PySpark) -Beispielen

Amazon SageMaker bietet eine Apache Spark-Python-Bibliothek (SageMaker PySpark), mit der Sie Ihre Apache Spark-Anwendungen integrieren können SageMaker. Dieses Thema enthält Beispiele, die Ihnen den Einstieg erleichtern sollen PySpark. Informationen zur SageMaker Apache Spark-Bibliothek finden Sie unterApache Spark mit Amazon SageMaker.

Herunterladen PySpark

Sie können den Quellcode sowohl für Python Spark (PySpark) als auch für die Scala-Bibliotheken aus dem SageMaker GitHubSpark-Repository herunterladen.

Anweisungen zur Installation der SageMaker Spark-Bibliothek finden Sie unter einer der folgenden Optionen oder unter SageMaker PySpark.

  • Mit Pip installieren:

    pip install sagemaker_pyspark

  • Von der Quelle installieren:

    git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

  • Sie können auch ein neues Notebook in einer Notebook-Instance erstellen, die entweder den Sparkmagic (PySpark) oder den Sparkmagic (PySpark3) Kernel verwendet, und eine Verbindung zu einem EMR Amazon-Remote-Cluster herstellen.

    Anmerkung

    Der EMR Amazon-Cluster muss mit einer IAM Rolle konfiguriert werden, an die die AmazonSageMakerFullAccess Richtlinie angehängt ist. Informationen zur Konfiguration von Rollen für einen EMR Cluster finden Sie unter Configure IAM Roles for Amazon EMR Permissions to AWS Services im Amazon EMR Management Guide.

PySpark Beispiele

Beispiele zur Verwendung finden SageMaker PySpark Sie unter:

Um die Notebooks auf einer Notebook-Instance auszuführen, siehe Rufen Sie Beispiel-Notizbücher auf. Informationen zum Ausführen der Notebooks auf Studio finden Sie unter Erstellen oder öffnen Sie ein Amazon SageMaker Studio Classic-Notizbuch.