Endpoints de desenvolvimento
Um endpoint de desenvolvimento é um ambiente que você pode usar para desenvolver e testar seus scripts do AWS Glue. Você pode usar o AWS Glue para criar, editar e excluir endpoints de desenvolvimento. Você pode listar todos os endpoints de desenvolvimento criados. É possível adicionar, excluir ou mudar a chave SSH de um endpoint de desenvolvimento. Também é possível criar blocos de anotações que usam o endpoint de desenvolvimento.
Você fornece valores de configuração para a provisão dos ambientes de desenvolvimento. Esses valores informam ao AWS Glue como configurar a rede para que você possa acessar o endpoint de desenvolvimento de forma segura e para que seu endpoint possa acessar seus armazenamentos de dados. Depois, você poderá criar um bloco de anotações que se conecta ao endpoint de desenvolvimento. Você usará o bloco de anotações para criar e testar seu script de ETL.
Escolha uma função do AWS Identity and Access Management (IAM) com permissões semelhantes à função do IAM que você usa para executar os trabalhos de ETL do AWS Glue. Use uma nuvem privada virtual (VPC), uma sub-rede e um grupo de segurança para criar um endpoint de desenvolvimento que possa se conectar a seus recursos de dados com segurança. Você gera um par de chaves SSH para se conectar ao ambiente de desenvolvimento usando SSH.
É possível criar endpoints de desenvolvimento para dados do Amazon S3 e em uma VPC, que você pode usar para acessar conjuntos de dados usando o JDBC.
Você pode instalar um caderno Jupyter na sua máquina local e usá-lo para depurar e testar scripts de ETL em um endpoint de desenvolvimento. Ou você pode usar um notebook do Sagemaker para criar scripts de ETL no JupyterLab na AWS. Consulte Usar um caderno do SageMaker com seu endpoint de desenvolvimento .
O AWS Glue marca instâncias do Amazon EC2 com um nome que é prefixado com aws-glue-dev-endpoint.
Você pode configurar um servidor de caderno em um endpoint de desenvolvimento para executar instruções do PySpark com as extensões do AWS Glue.
