A integração de dados do Amazon Q no AWS Glue é um novo recurso de IA generativa do AWS Glue que permite que engenheiros de dados e desenvolvedores de ETL criem trabalhos de integração de dados usando linguagem natural. Engenheiros e desenvolvedores podem pedir ao Amazon Q para criar trabalhos, solucionar problemas e responder perguntas sobre o AWS Glue e a integração de dados.
O que é o Amazon Q?
nota
Tecnologia da Amazon Bedrock: a AWS implementa a detecção automática de abusos. Como a integração de dados do Amazon Q é baseada no Amazon Bedrock, os usuários podem aproveitar ao máximo os controles implementados no Amazon Bedrock para reforçar a segurança, a proteção e o uso responsável de inteligência artificial.
O Amazon Q é um assistente conversacional baseado em inteligência artificial (IA) generativa que pode ajudar você a entender, criar, estender e operar aplicações da AWS. O modelo que impulsiona o Amazon Q foi aprimorado com conteúdo de alta qualidade da AWS para fornecer respostas mais completas, acionáveis e referenciadas para acelerar seu desenvolvimento na AWS. Para obter mais informações, consulte What is Amazon Q?
O que é a integração de dados do Amazon Q no AWS Glue?
A integração de dados do Amazon Q no AWS Glue inclui os seguintes recursos:
Chat: a integração de dados do Amazon Q no AWS Glue pode responder a perguntas de linguagem natural em inglês sobre o AWS Glue e domínios de integração de dados, como conectores de origem e destino do AWS Glue, trabalhos de ETL do AWS Glue, catálogo de dados, crawlers e AWS Lake Formation e outras documentações de recurcos e práticas recomendadas. A integração de dados do Amazon Q no AWS Glue responde com instruções passo a passo e inclui referências às suas fontes de informação.
Geração de código de integração de dados: a integração de dados do Amazon Q no AWS Glue pode responder a perguntas sobre scripts de ETL do AWS Glue e gerar novos códigos com base em uma pergunta de linguagem natural em inglês.
Solução de problemas: a integração de dados do Amazon Q no AWS Glue foi criada especificamente para ajudar você a entender erros em trabalhos do AWS Glue e fornece instruções passo a passo para identificar a causa e resolver os problemas.
nota
A integração de dados do Amazon Q no AWS Glue não usa o contexto da sua conversa para informar respostas futuras durante a conversa. Cada conversa com a integração de dados do Amazon Q no AWS Glue é independente de conversas anteriores ou futuras.
Como trabalhar com a integração de dados do Amazon Q no AWS Glue?
No painel do Amazon Q, é possível solicitar que o Amazon Q gere código para um script de ETL do AWS Glue, responda a uma pergunta sobre recursos do AWS Glue ou solucione um erro. A resposta é um script de ETL no PySpark com instruções passo a passo para personalizar o script, revisá-lo e executá-lo. Para perguntas, a resposta é gerada de acordo com a base de conhecimento de integração de dados com um resumo e um URL de origem para referências.
Por exemplo, é possível pedir ao Amazon Q para "Fornecer um script Glue que leia do Snowflake, renomeie os campos e grave no Redshift", e, em resposta, a integração de dados do Amazon Q no AWS Glue retornará um script de trabalho do AWS Glue que possa realizar a ação solicitada. Você pode revisar o código gerado para garantir que ele atenda à intenção solicitada. Quando estiver satisfeito, você pode implantá-lo como um trabalho do AWS Glue na produção. Você pode solucionar problemas solicitando que a integração explique erros e falhas e proponha soluções. O Amazon Q pode responder a perguntas sobre o AWS Glue ou sobre as práticas recomendadas de integração.
Veja a seguir exemplos de perguntas que demonstram como a integração de dados do Amazon Q no AWS Glue pode ajudar você a criar no AWS Glue:
Geração de códigos de ETL no AWS Glue:
Grave um script do AWS Glue que leia o JSON do S3, transforme campos usando o mapeamento de aplicação e grave no Amazon Redshift
Como gravar um script do AWS Glue para ler do DynamoDB aplicando a transformação DropNullFields e gravando no S3 como Parquet?
Forneça-me um script do AWS Glue que leia o MySQL, descarte alguns campos com base na minha lógica de negócios e grave no Snowflake
Grave um trabalho do AWS Glue para ler do DynamoDB e gravar no S3 como JSON
Ajude-me a desenvolver um script do AWS Glue para o catálogo de dados do AWS Glue para o S3
Grave um trabalho do AWS Glue para ler JSON do S3, descartar nulos e gravar no Redshift
Explicações de recursos do AWS Glue:
Como usar o AWS Glue Data Quality?
Como usar marcadores de trabalho do AWS Glue?
Como habilitar o ajuste de dimensionamento automático do AWS Glue?
Qual é a diferença entre quadros dinâmicos do AWS Glue e quadros de dados do Spark?
Quais são os diferentes tipos de conexões compatíveis com o AWS Glue?
Solução de problemas do AWS Glue:
Como solucionar erros de falta de memória (OOM) em trabalhos do AWS Glue?
Que mensagens de erro você pode ver ao configurar o AWS Glue Data Quality e como corrigi-las?
Como faço para corrigir um trabalho do AWS Glue com o erro de acesso negado ao Amazon S3?
Como resolver problemas com o shuffle de dados em trabalhos do AWS Glue?
Práticas recomendadas para interagir com a integração de dados do Amazon Q
Estas são as práticas recomendadas para interagir com a integração de dados do Amazon Q:
Ao interagir com o SQL generativo do Amazon Q, faça perguntas específicas, itere quando tiver solicitações complexas e verifique se as respostas estão corretas.
Ao fornecer prompts de análise em linguagem natural, tente usar o máximo de especificidade para ajudar o assistente de codificação a compreender exatamente aquilo de que você precisa. Em vez de pedir "extraia dados do S3", forneça mais detalhes, como "escreva um script do AWS Glue que extraia arquivos JSON do S3".
Revise o SQL gerado antes de executá-lo para garantir a precisão. Se a consulta SQL gerada tiver erros ou não corresponder à intenção, dê instruções ao assistente sobre como corrigi-la, em vez de reformular a solicitação inteira.
A tecnologia de IA generativa é nova e pode haver erros, às vezes chamados de alucinações, nas respostas. Teste e analise todo o código em busca de erros e vulnerabilidades antes de usá-lo no ambiente ou no workload.
Integração de dados do Amazon Q na melhoria de serviços do AWS Glue
Para ajudar a integração de dados do Amazon Q no AWS Glue a fornecer as informações mais relevantes sobre os serviços da AWS, podemos usar determinados conteúdos do Amazon Q, como perguntas que você faz ao Amazon Q e suas respostas, para melhorar o serviço.
Para obter informações sobre o conteúdo que usamos e como optar por não participar, consulte Melhoria do serviço do Amazon Q Developer no Manual do Usuário do Amazon Q Developer.
Considerações
Considere os seguintes itens antes de usar a integração de dados do Amazon Q no AWS Glue:
No momento, a geração de código só funciona com o kernel PySpark. O código gerado é para trabalhos do AWS Glue baseados no Python Spark.
Para obter informações sobre a compatibilidade das combinações de capacidades de geração de código da integração de dados do Amazon Q noAWS Glue, consulte Capacidades de geração de código suportadas.
