Conceitos básicos das sessões interativas do AWS Glue - AWS Glue
Pré-requisitos para configurar sessões interativas localmenteInstalação do Jupyter e de kernels do Jupyter para sessões interativas do AWS Glue Execução do Jupyter Configuração de credenciais e região da sessão Atualização com base na prévia das sessões interativas

Conceitos básicos das sessões interativas do AWS Glue

Estas seções descrevem como executar sessões interativas do AWS Glue localmente.

Pré-requisitos para configurar sessões interativas localmente

Veja a seguir os pré-requisitos para instalar sessões interativas:

  • As versões compatíveis do Python são 3.6 a 3.10+.

  • Veja as seções abaixo para obter instruções para macOS/Linux e Windows.

Instalação do Jupyter e de kernels do Jupyter para sessões interativas do AWS Glue

Use o seguinte para instalar o kernel localmente.

O comando, install-glue-kernels, instala o jupyter kernelspec para os kernels pyspark e spark e também instala logos no diretório correto. 

pip3 install --upgrade jupyter boto3 aws-glue-sessions
install-glue-kernels

Execução do Jupyter

Conclua as etapas a seguir para executar o Jupyter Notebook.

  1. Para executar o Jupyter Notebook, execute o comando a seguir. 

    jupyter notebook

  2. Escolha New (Novo) e escolha um dos kernels do AWS Glue para começar a codificar no AWS Glue.

Configuração de credenciais e região da sessão

Instruções para macOS/Linux

As sessões interativas do AWS Glue exigem as mesmas permissões do IAM que trabalhos e endpoints de desenvolvimento do AWS Glue. Especifique a função usada com sessões interativas de uma das duas formas a seguir:

  1. Com as mágicas %iam_role e %region

  2. Com uma linha adicional em ~/.aws/config

Configurar uma função de sessão com mágica

Na primeira célula, digite %iam_role <YourGlueServiceRole> na primeira célula executada.

Configurar uma função de sessão com ~/.aws/config

É possível especificar o perfil de serviço do AWS Glue para sessões interativas no próprio caderno ou armazená-la junto com a configuração da AWS CLI. Se tiver uma função que você costuma usar com trabalhos do AWS Glue, essa será a função. Se não tiver um perfil que você usa para trabalhos do AWS Glue, siga as instruções neste guia Configurar permissões do IAM para o AWS Glue a fim de configurar um.

Para definir essa função como a função padrão para sessões interativas:

  1. Em um editor de texto, abra ~/.aws/config.

  2. Procure o perfil que você usa para o AWS Glue. Se você não usar um perfil, use o perfil [Default].

  3. Adicione uma linha no perfil para a função que você pretende usar como glue_role_arn=<AWSGlueServiceRole>.

  4. [Opcional]: se o seu perfil não tiver uma região padrão definida, é recomendável adicionar uma com region=us-east-1, substituindo us-east-1 pela região desejada.

  5. Salve a configuração.

Para ter mais informações, consulte Sessões interativas com o IAM.

Instruções para Windows

As sessões interativas do AWS Glue exigem as mesmas permissões do IAM que trabalhos e endpoints de desenvolvimento do AWS Glue. Especifique a função usada com sessões interativas de uma das duas formas a seguir:

  1. Com as mágicas %iam_role e %region

  2. Com uma linha adicional em ~/.aws/config

Configurar uma função de sessão com mágica

Na primeira célula, digite %iam_role <YourGlueServiceRole> na primeira célula executada.

Configurar um perfil de sessão com o ~/.aws/config

É possível especificar o perfil de serviço do AWS Glue para sessões interativas no próprio caderno ou armazená-la junto com a configuração da AWS CLI. Se tiver uma função que você costuma usar com trabalhos do AWS Glue, essa será a função. Se não tiver uma função que você usa para trabalhos do AWS Glue, siga as instruções no guia Configurar permissões do IAM para o AWS Glue a fim de configurar uma.

Para definir essa função como a função padrão para sessões interativas:

  1. Em um editor de texto, abra ~/.aws/config.

  2. Procure o perfil que você usa para o AWS Glue. Se você não usar um perfil, use o perfil [Default].

  3. Adicione uma linha no perfil para a função que você pretende usar como glue_role_arn=<AWSGlueServiceRole>.

  4. [Opcional]: se o seu perfil não tiver uma região padrão definida, é recomendável adicionar uma com region=us-east-1, substituindo us-east-1 pela região desejada.

  5. Salve a configuração.

Para ter mais informações, consulte Sessões interativas com o IAM.

Atualização com base na prévia das sessões interativas

O kernel foi atualizado com novos nomes quando foi lançado com a versão 0.27. Para limpar as versões de prévia dos kernels, execute o seguinte em um terminal ou PowerShell.

nota

Se você fizer parte de qualquer outra prévia do AWS Glue que exija um modelo de serviço personalizado, remover o kernel removerá o modelo de serviço personalizado.

# Remove Old Glue Kernels
jupyter kernelspec remove glue_python_kernel
jupyter kernelspec remove glue_scala_kernel

# Remove Custom Model
cd ~/.aws/models
rm -rf glue/