As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
SageMaker Exemplos do Spark para Python (PySpark)
SageMaker A Amazon fornece uma biblioteca Apache Spark Python (SageMaker PySpark
Baixar PySpark
Para obter instruções sobre como instalar a biblioteca SageMaker Spark, use qualquer uma das opções a seguir ou acesse SageMaker PySpark
-
Instale usando pip:
pip install sagemaker_pyspark
-
Instale a partir da fonte:
git clone git@github.com:aws/sagemaker-spark.git cd sagemaker-pyspark-sdk python setup.py install
-
Você também pode criar um novo notebook em uma instância de notebook que usa o kernel
Sparkmagic (PySpark)
ou oSparkmagic (PySpark3)
kernel e se conectar a um EMR cluster remoto da Amazon.nota
O EMR cluster da Amazon deve ser configurado com uma IAM função que tenha a
AmazonSageMakerFullAccess
política anexada. Para obter informações sobre a configuração de funções para um EMR cluster, consulte Configurar IAM funções para Amazon EMR Permissions to AWS Services no Amazon EMR Management Guide.
PySpark exemplos
Para obter exemplos de uso SageMaker PySpark, consulte:
-
Usando a Amazon SageMaker com o Apache Spark
em Read the Docs. -
SageMaker GitHubRepositório Spark
.
Para executar os blocos de anotações em uma instância de bloco de anotações, consulte Blocos de anotações de exemplo. Para executar os blocos de anotações no Studio, consulte Crie ou abra um notebook Amazon SageMaker Studio Classic.