Versões do AWS Glue

Spark 3.5.4

Python 3.11

Scala 2.12.18

Suporte ao Amazon SageMaker Unified Studio.

Suporte ao Amazon SageMaker Lakehouse

Os formatos de tabelas abertas (OTF, na sigla em inglês) foram atualizados para as versões Hudi 0.15.0, Iceberg 1.7.1 e Delta Lake 3.3.0

Controle de acesso refinado nativo do Spark usando o Lake Formation.

Suporte à Concessão de Acesso

Suporte à instalação de bibliotecas Python adicionais usando o arquivo requirements.txt.

Suporte à linhagem de dados no Amazon DataZone.

Suporte ao bucket de Tabelas do Amazon S3

Suporte a visualizações com múltiplos dialetos no Catálogo de Dados do AWS Glue

Quadro dinâmico do Glue / O controle de acesso em nível de tabela baseado no GlueContext com permissões do AWS Lake Formation compatíveis com o Glue 4.0 ou anteriores não é compatível com o Glue 5.0. Use o novo controle de acesso refinado (FGAC) nativo para o Spark no Glue 5.0.

Spark 3.3.0

Python 3.10

Muitas atualizações de funcionalidade do Spark 3.1 para o Spark 3.3:

Migração do Log4j 1.x para o Log4j 2

Várias atualizações do módulo do Python a partir do AWS Glue 3.0, como uma versão atualizada do Boto.

Atualização de vários conectores, incluindo o conector padrão do Amazon Redshift. Consulte Apêndice C: Atualizações de conectores.

Atualização de vários drivers JDBC. Consulte Apêndice B: upgrades do driver JDBC.

Atualizado com um novo conector do Amazon Redshift e driver JDBC.

Suporte nativo para estruturas de data lakes abertos com o Apache Hudi, o Delta Lake e o Apache Iceberg.

Suporte nativo para o Cloud Shuffle Storage Plugin baseado no Amazon S3 (um plug-in do Apache Spark) para usar o Amazon S3 para capacidade de armazenamento elástico e aleatório.

As transformações de machine learning e as informações de identificação pessoal (PII) do AWS Glue ainda não estão disponíveis no AWS Glue 4.0.

Ray 2.4.0

Python 3.9

Suporta distribuição de dados Ray-2.4.0 (ray[data]) com Python 3.9. Para obter mais informações sobre essa versão do Ray, consulte Ray-2.4.0 no repositório do Ray no GitHub.

Suporta a instalação de bibliotecas Python adicionais no ambiente de runtime do Ray2.4. Para obter mais informações, consulte Módulos adicionais do Python para trabalhos do Ray.

Integra logs e métricas de trabalhos do Ray com o Amazon CloudWatch. Para obter mais informações, consulte Solucionar problemas do AWS Glue para erros do Ray a partir de logs e Monitorar trabalhos do Ray com métricas.

Agrega e visualiza métricas para trabalhos do Ray no AWS Glue Studio, em cada página de execução do trabalho.

Oferece suporte à distribuição de arquivos para cada diretório de trabalho em seu cluster, transferindo objetos do armazenamento de objetos do Ray para o Amazon S3 e controlando o número mínimo de nós de processamento alocados para seu trabalho do Ray. Para obter mais informações, consulte Usar parâmetros de trabalho em trabalhos do Ray.

As sessões interativas do AWS Glue para Ray permanecem em pré-visualização para esta versão.

A integração do AWS Glue para Ray com a Amazon VPC não está disponível no momento. Os recursos em uma VPC no AWS não estarão acessíveis sem uma rota pública. Para obter mais informações sobre o uso do AWS Glue com a Amazon VPC, consulte Configurar VPC endpoints de interface (AWS PrivateLink) para AWS Glue (AWS PrivateLink).

O AWS Glue for Ray está disponível em Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Ásia-Pacífico (Tóquio) e Europa (Irlanda).

Spark 3.1.1

Python 3.7

Compila a biblioteca de ETL do AWS Glue em relação ao Spark 3.0, que é uma versão importante do Spark.

Os trabalhos de transmissão são suportados no AWS Glue 3.0.

Inclui novas otimizações do runtime do Spark no AWS Glue para performance e confiabilidade:

Atualizadas várias dependências que eram necessárias para a nova versão do Spark.

Drivers do JDBC atualizados para nossas origens de dados com suporte nativo.

As transformações de machine learning do AWS Glue ainda não estão disponíveis no AWS Glue 3.0.

Alguns conectores do Spark personalizados não funcionam com o AWS Glue 3.0 se dependerem do Spark 2.4 e não tiverem compatibilidade com o Spark 3.1.

Spark 2.4.3

Python 3.7

Uma infraestrutura atualizada para executar trabalhos de ETL do Apache Spark no AWS Glue com tempos de inicialização reduzidos.

O registro em log padrão agora é em tempo real, com streams separados para drivers e executores, além de saídas e erros.

Suporte para especificação de módulos do Python adicionais ou versões diferentes no nível do trabalho.

Spark 2.4.3

Python 2.7

Python 3.6

A partir de agora, as versões 0.9 e 1.0 do AWS Glue não estarão disponíveis na Ásia-Pacífico (Jacarta) (ap-southeast-3), Oriente Médio (EAU) (me-central-1) ou em outras regiões novas.

Spark 2.2.1

Python 2.7

A partir de agora, as versões 0.9 e 1.0 do AWS Glue não estarão disponíveis na Ásia-Pacífico (Jacarta) (ap-southeast-3), Oriente Médio (EAU) (me-central-1) ou em outras regiões novas.