Migrar trabalhos do AWS Glue for Spark para o AWS Glue versão 6.0

Atualização do Apache Spark versão 3.5.6 do AWS Glue 5.1 para a versão 4.1.1 no AWS Glue 6.0.

Atualização do Scala da versão 2.12.18 para a versão 2.13.17.

Atualização do Python 3.11 para a versão 3.13.

Open Table Formats (OTF) atualizado para as versões Hudi 1.1.1, Iceberg 1.11.0 e Delta Lake 4.2.0.

Formato Iceberg versão 3: estende os tipos de dados e as estruturas de metadados existentes para adicionar novos recursos, incluindo:

Spark Declarative Pipelines (SDP): uma nova estrutura declarativa para definir pipelines de dados de ponta a ponta usando API SQL ou DataFrame, compatível com tabelas de streaming e visualizações materializadas. Para obter mais informações, consulte Spark Declarative Pipelines.

Spark Connect para sessões interativas: permite a conectividade de thin client com sessões interativas do AWS Glue por meio do protocolo Spark Connect, compatível com fluxos de trabalho de desenvolvimento remoto.

UDFs/UDTFs Python nativos em Arrow: performance aprimorada para funções definidas pelo usuário do Python usando o formato colunar Apache Arrow de modo nativo.

Ambiente virtual Python gerenciado pelo cliente ou gerado pelo serviço (--python-virtual-env): é possível criar e fornecer seu próprio venv Python que o AWS Glue conecta aos drivers e executores do Spark no runtime, fornecendo controle total sobre o gerenciamento das dependências. Quando as trabalhos existentes são migradas para o AWS Glue 6.0, o AWS Glue gera automaticamente esse ambiente virtual, se necessário.

Aprimoramentos de streaming: modo de tempo real para streaming sem estado com latência de milissegundos. Para obter mais informações, consulte Habilitar o modo de tempo real para trabalhos de streaming.

Atualizações de conectores: Amazon Redshift, MongoDB, Snowflake e outros conectores atualizados. Consulte Apêndice C: Atualizações de conectores para obter os detalhes completos da versão.

O modo ANSI é habilitado por padrão no Spark 4.1. As operações que anteriormente retornavam NULL quando ocorria um transbordamento (por exemplo, operações aritméticas com números inteiros, operações de conversão) agora geram exceções. Defina spark.sql.ansi.enabled=false para restaurar o comportamento anterior.

O Spark Declarative Pipelines (SDP) é um novo atributo com compatibilidade limitada para determinados constructos SQL. Consulte a documentação dos Spark Declarative Pipelines para ver as limitações atuais.

As tabelas Iceberg v3 criadas na AWS Glue versão 6.0 não podem ser lidas pelo Athena SQL (erro: Cannot read unsupported version 3). Use o Iceberg v2 para garantir compatibilidade intermecanismo com o Athena.

O Python 3.13 remove vários módulos obsoletos e altera o comportamento de algumas funções de biblioteca padrão. Consulte o guia de migração do Python 3.13 para verificar a compatibilidade.

Compatibilidade do AWS SDK para Java 2.x com --user-jars-first: o AWS Glue 6.0 inclui o AWS SDK para Java 2.x versão 2.44.6. Se você usar o parâmetro de trabalho --user-jars-first com um JAR personalizado que empacote uma versão mais antiga do AWS SDK para Java 2.x, poderá haver falha no trabalho com um erro java.lang.NoSuchFieldError ou outro erro semelhante. Essas falhas ocorrem quando o SDK empacotado em seu JAR personalizado não tem classes, campos ou métodos dos quais o runtime do AWS Glue depende. Para evitar esse problema, certifique-se de que qualquer JAR personalizado fornecido com --user-jars-first use o AWS SDK para Java 2.x versão 2.44.6 ou posterior.

O EMRFS foi removido. O S3A é o único sistema de arquivos do S3 no AWS Glue 6.0. A classe com.amazon.ws.emr.hadoop.fs.EmrFileSystem não está mais disponível. Os trabalhos que usam caminhos s3:// usam o S3A automaticamente. Se você definiu anteriormente configurações específicas do EMRFS (por exemplo, fs.s3.consistent.*), remova-as.

O AWSSDK for Java v1 foi removido. Somente o AWS SDK v2 (2.44.6) está disponível. Os trabalhos que importam pacotes do com.amazonaws.services.* devem ser migrados para os software.amazon.awssdk.services.*.

Atualização do Scala da versão 2.12 para a versão 2.13. JARs personalizados compilados com o Scala 2.12 não funcionam. Recompile com o Scala 2.13.17. Principais alterações: JavaConversions removidas (use CollectionConverters), MutableList removida (use ListBuffer), coleções paralelas exigem importação separada.

Alterações na API do Spark 4.1:

Validação da API CreateSession: validação adicional nos parâmetros de sessão para sessões interativas. Configurações inválidas que antes eram aceitas silenciosamente agora podem retornar erros.

Alteração ne comportamento de getResolvedOptions: a correspondência de prefixo de argumento é desabilitada por padrão (allow_abbrev=False). Use o nome completo do argumento ou passe allow_abbrev=True para getResolvedOptions() para restaurar o comportamento antigo.

No AWS Glue Studio, escolha Glue 6.0 - Supports Spark 4.1.1, Scala 2, Python 3 em Glue version.

Na API, escolha 6.0 no parâmetro GlueVersion na operação da API UpdateJob.

No console, escolha Spark 4.1.1, Python 3 (Glue Version 6.0) or Spark 4.1.1, Scala 2 (Glue Version 6.0) em Glue version.

No AWS Glue Studio, escolha Glue 6.0 - Supports Spark 4.1.1, Scala 2, Python 3 em Glue version.

Na API, escolha 6.0 no parâmetro GlueVersion na operação da API CreateJob.

[Scala] Recompile JARs personalizados com o Scala 2.13.17. Substitua JavaConversions pelo CollectionConverters.

[Python] Atualize o código para compatibilidade com o Python 3.13. Remova o uso de módulos obsoletos (por exemplo, imp, cgi, cgitb).

[Python] Atualize as referências ao boto3 de 1.40 para 1.42.

[Spark SQL] Analise o impacto das consultas no modo ANSI. Adicione spark.sql.ansi.enabled=false se necessário.

[SDK] Substitua qualquer importação do AWS SDK v1 (com.amazonaws.*) pelo SDK v2 (software.amazon.awssdk.*).

[S3] Remova as configurações específicas do EMRFS. O S3A agora é o conector padrão e único do S3.

[Dependências] Atualize --extra-jars para versões compiladas para o Scala 2.13 e o Spark 4.1.

Sistema de arquivos do S3: o EMRFS não está mais disponível. O S3A é o único conector do S3. Se você configurou anteriormente a spark.hadoop.fs.s3a.endpoint.region, continue usando-a. Se não definido, certifique-se de que o endpoint da VPC ou a configuração de rede permita que o S3A resolva a região correta.

Compatibilidade binária com o Scala: o AWS Glue 6.0 usa o Scala 2.13. Qualquer --extra-jars compilado com o Scala 2.12 apresenta falha com NoSuchMethodError ou ClassNotFoundException. Recompile todos os JARs Scala/Java personalizados.

Alterações no comportamento do Spark SQL:

Versão do Python: o Python 3.13 é o runtime. O atributo --additional-python-modules ainda funciona, mas está obsoleto. Considere migrar para --python-virtual-env para garantir total controle das dependências.

AWS SDK: apenas o SDK v2 está disponível. Se seus scripts usam o boto3 (Python), nenhuma alteração será necessária; o boto3 continua funcionando. Para trabalhos em Scala/Java usando o AWS SDK diretamente, migre para as APIs v2.

Migration Guide: Spark Core no site do Apache Spark

Migration Guide: SQL, Datasets and DataFrame no site do Apache Spark

Migration Guide: Structured Streaming no site do Apache Spark

Ugrading PySpark no site do Apache Spark

Para ver as etapas de migração relativas ao AWS Glue 5.0 para o AWS Glue 5.1, consulte Migrar do AWS Glue 5.0 para o AWS Glue 5.1.

Para ver as etapas de migração relativas ao AWS Glue 4.0 para o AWS Glue 5.0, consulte Migrar do AWS Glue 4.0 para o AWS Glue 5.0.

Para ver as etapas de migração relativas ao AWS Glue 3.0 para o AWS Glue 5.0, consulte Migrar do AWS Glue 3.0 para o AWS Glue 5.0.

Para ver as etapas de migração relativas ao AWS Glue 2.0 para o AWS Glue 5.0, consulte Migrar do AWS Glue 2.0 para o AWS Glue 5.0.

Depois de concluir as etapas acima, conclua a migração para o AWS Glue 6.0 seguindo Migrar do AWS Glue 5.1 para o AWS Glue 6.0.

Apêndice B: upgrades do driver JDBC

Apêndice C: Atualizações de conectores

Apêndice D: Atualizações do formato de tabela aberta

O Iceberg foi atualizado para a versão 1.11.0 com total compatibilidade com as especificações do Apache Iceberg versão 3.

Tipo de dados VARIANT com fragmentação de variantes para consultas otimizadas de dados semiestruturados.

Timestamps com precisão de nanossegundos.

Tipos de dados geoespaciais (Geometry e Geography).

Atualização do Hudi para a versão 1.1.1.

Compatibilidade continuada com acesso de leitura e gravação de FTA nas tabelas registradas do AWS Lake Formation.

O Delta Lake foi atualizado para a versão 4.2.0.

Compatibilidade continuada com acesso de leitura e gravação de FTA nas tabelas registradas do AWS Lake Formation.

As chaves de criptografia de tabela Iceberg nativas não são compatíveis.

As transformações multiargumentos do Iceberg não são compatíveis.

Os novos tipos de dados do Iceberg v3 são compatíveis apenas com Spark DataFrames. Esses atributos não funcionarão com DynamicFrames.

O ETL Visual no AWS Glue Studio não é compatível com os novos tipos de dados do Iceberg v3. Se você quiser usar esses novos atributos com o ETL Visual, recomendamos migrar os trabalhos de ETL para o Estúdio Unificado Amazon SageMaker.

O controle de acesso refinado (FGAC) não é compatível com colunas VARIANT.

As tabelas Iceberg criadas com o 'format-version'='3' não podem ser lidas pelo Athena SQL (erro: Cannot read unsupported version 3). Use o Iceberg v2 para garantir compatibilidade intermecanismo com o Athena.