Guia do usuário - Amazon SageMaker
Imagens e kernels compatíveisTraga sua própria imagem

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Guia do usuário

Esta seção aborda como cientistas e engenheiros de dados podem lançar, descobrir, conectar-se ou encerrar um EMR cluster da Amazon a partir do Studio ou do Studio Classic.

Antes que os usuários possam listar ou iniciar clusters, os administradores devem ter definido as configurações necessárias no ambiente Studio. Para obter informações sobre como os administradores podem configurar um ambiente Studio para permitir o autoprovisionamento e a listagem de clusters da AmazonEMR, consulte. Guia do administrador

Tópicos

Imagens e kernels compatíveis para se conectar a um EMR cluster da Amazon a partir do Studio ou do Studio Classic

As seguintes imagens e kernels vêm com sagemaker-studio-analytics-extensiona JupyterLab extensão que se conecta a um cluster remoto do Spark (AmazonEMR) por meio da SparkMagicbiblioteca usando o Apache Livy.

  • Para usuários do Studio: SageMaker Distribution é um ambiente Docker para ciência de dados usado como imagem padrão das instâncias do JupyterLab notebook. Todas as versões do SageMakerDistribution vêm sagemaker-studio-analytics-extension pré-instaladas.

  • Para usuários do Studio Classic: As imagens a seguir vêm pré-instaladas comsagemaker-studio-analytics-extension:

    • DataScience — Kernel Python 3

    • DataScience 2.0 — Kernel do Python 3

    • DataScience 3.0 — Kernel do Python 3

    • SparkAnalytics 1.0 — SparkMagic e PySpark grãos

    • SparkAnalytics 2.0 — SparkMagic e PySpark grãos

    • SparkMagic — SparkMagic e PySpark grãos

    • PyTorch 1.8 — Núcleos do Python 3

    • TensorFlow 2.6 — Kernel do Python 3

    • TensorFlow 2.11 — Kernel do Python 3

Para se conectar aos EMR clusters da Amazon usando outra imagem incorporada ou sua própria imagem, siga as instruções emTraga sua própria imagem.

Traga sua própria imagem

Para trazer sua própria imagem no Studio ou no Studio Classic e permitir que seus notebooks se conectem aos EMR clusters da Amazon, instale a seguinte sagemaker-studio-analytics-extensionextensão no seu kernel. Ele suporta a conexão de notebooks SageMaker Studio ou Studio Classic a clusters Spark EMR (Amazon) por meio da SparkMagicbiblioteca.

pip install sparkmagic
pip install sagemaker-studio-sparkmagic-lib
pip install sagemaker-studio-analytics-extension

Além disso, para se conectar à Amazon EMR com a autenticação Kerberos, você deve instalar o cliente kinit. Dependendo do seu sistema operacional, o comando para instalar o cliente kinit pode variar. Para trazer uma imagem do Ubuntu (baseada no Debian), use o comando apt-get install -y -qq krb5-user.

Para obter mais informações sobre como trazer sua própria imagem no SageMaker Studio ou no Studio Classic, consulte Traga sua própria SageMaker imagem.