Os cadernos no AWS Glue Studio são baseados no recurso de sessões interativas do AWS Glue. Há um custo para usar sessões interativas. Para ajudar a gerenciar seus custos, você pode monitorar as sessões criadas para sua conta e definir as configurações padrão para todas as sessões.
Alterar o tempo limite padrão para todas as sessões do caderno
Por padrão, o caderno provisionado do AWS Glue Studio expira após 12 horas se o caderno tiver sido iniciado e nenhuma célula executada. Não há custo associado a ele e o tempo-limite não é configurável.
Após executar uma célula, isso iniciará uma sessão interativa. Essa sessão tem um tempo limite padrão de 48 horas. Esse tempo limite pode ser configurado mediante a transmissão de uma mágica de %idle_timeout antes de executar uma célula.
Para modificar o tempo limite de sessão padrão para cadernos no AWS Glue Studio
-
No caderno, insira o magic
%idle_timeoutem uma célula e especifique o valor do tempo limite em minutos. -
Por exemplo:
%idle_timeout 15mudará o tempo limite padrão para 15 minutos. Se a sessão não for usada em 15 minutos, ela será interrompida automaticamente.
Instalar módulos Python adicionais
Se desejar instalar módulos adicionais em sua sessão usando pip, você poderá fazê-lo usando %additional_python_modulespara adicioná-los à sua sessão:
%additional_python_modules awswrangler, s3://mybucket/mymodule.whl
Todos os argumentos para additional_python_modules são passados para pip3 install -m <>
Para visualizar uma lista de módulos Python disponíveis, consulte Usar bibliotecas Python com o AWS Glue.
Alterar a configuração do AWS Glue
É possível usar mágicas para controlar valores de configuração de trabalho do AWS Glue. Se quiser alterar um valor de configuração de trabalho, use a mágica adequada no caderno. Consulte Mágicas compatíveis com sessões interativas do AWS Glue para Jupyter.
nota
As propriedades de substituição de uma sessão em execução não estão mais disponíveis. Para alterar as configurações da sessão, você pode interromper a sessão, definir as novas configurações e, em seguida, iniciar uma nova sessão.
O AWS Glue oferece suporte a vários tipos de operadores. Você pode definir o tipo do operador com %worker_type. Por exemplo: %worker_type G.2X . O padrão é G.1X.
Também é possível especificar o número de operadores com %number_of_workers. Por exemplo, para especificar 40 operadores: %number_of_workers 40.
Para obter mais informações, consulte Definir as propriedades do trabalho
Interromper uma sessão de caderno
Para interromper uma sessão de caderno, use o magic %stop_session.
Se você navegar para longe do caderno no console do AWS, receberá uma mensagem de aviso onde poderá optar por interromper a sessão.
