View a markdown version of this page

Ressourcen zur Verwendung von SageMaker AI Spark für Python (PySpark) -Beispiele - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Ressourcen zur Verwendung von SageMaker AI Spark für Python (PySpark) -Beispiele

Amazon SageMaker AI bietet eine Apache Spark-Python-Bibliothek (SageMaker KI PySpark), die Sie verwenden können, um Ihre Apache Spark-Anwendungen mit SageMaker KI zu integrieren. Dieses Thema enthält Beispiele, die Ihnen den Einstieg erleichtern sollen PySpark. Informationen zur SageMaker AI Apache Spark-Bibliothek finden Sie unterApache Spark mit Amazon AI SageMaker.

Download PySpark

Sie können den Quellcode für die Bibliotheken Python Spark (PySpark) und Scala aus dem SageMaker AI GitHub Spark-Repository herunterladen.

Für Anweisungen zur Installation der SageMaker AI Spark-Bibliothek verwenden Sie eine der folgenden Optionen oder besuchen Sie SageMaker AI PySpark.

  • Installieren Sie mithilfe von pip:

    pip install sagemaker_pyspark

  • Installieren Sie von der Quelle aus:

    git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

  • In einer Notebook-Instance erstellen Sie ein neues Notebook, das entweder den Kernel Sparkmagic (PySpark) oder Sparkmagic (PySpark3) verwendet, und stellen Sie eine Verbindung mit einem Remote-Amazon-EMR-Cluster her.

    Anmerkung

    Das Amazon-EMR-Cluster muss mit einer IAM-Rolle konfiguriert sein, der die AmazonSageMakerFullAccess-Richtlinie angefügt ist. Weitere Informationen zum Konfigurieren von Rollen für ein EMR-Cluster finden Sie unter Konfigurieren von IAM-Rollen für EMR-Berechtigungen für AWS Services im Amazon EMR Management Guide.

PySpark Beispiele

Beispiele zur Verwendung von SageMaker KI PySpark finden Sie unter: