Recursos para usar exemplos do SageMaker AI Spark para Python (PySpark) - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Recursos para usar exemplos do SageMaker AI Spark para Python (PySpark)

A Amazon SageMaker AI fornece uma biblioteca Apache Spark Python (SageMaker AI PySpark) que você pode usar para integrar seus aplicativos Apache Spark à IA. SageMaker Este tópico contém exemplos para ajudar você a começar PySpark. Para obter informações sobre a biblioteca SageMaker AI Apache Spark, consulte. Apache Spark com Amazon AI SageMaker

Baixar PySpark

Você pode baixar o código-fonte das bibliotecas Python Spark (PySpark) e Scala no repositório AI Spark. SageMaker GitHub

Para obter instruções sobre como instalar a biblioteca do SageMaker AI Spark, use qualquer uma das opções a seguir ou visite o SageMaker AI PySpark.

  • Instale usando pip:

    pip install sagemaker_pyspark

  • Instale a partir da fonte:

    git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

  • Você também pode criar um novo caderno em uma instância de caderno que use o kernel Sparkmagic (PySpark) ou Sparkmagic (PySpark3) para se conectar a um cluster remoto do Amazon EMR.

    nota

    O cluster do Amazon EMR deve ser configurado com um perfil do IAM que tenha a política AmazonSageMakerFullAccess anexada. Para obter informações sobre a configuração de funções para um cluster do EMR, consulte Configurar funções do IAM para permissões do Amazon EMR em serviços da AWS no Guia de Gerenciamento do Amazon EMR.

PySpark exemplos

Para exemplos sobre o uso da SageMaker IA PySpark, consulte:

Para executar os cadernos em uma instância de caderno, consulte Cadernos de exemplo de acesso. Para executar os cadernos no Studio, consulte Crie ou abra um notebook Amazon SageMaker Studio Classic.