EMR Serverless 6.9.0 - Amazon EMR

EMR Serverless 6.9.0

A tabela a seguir lista as versões das aplicações disponíveis no EMR Serverless 6.9.0.

Aplicativo Version (Versão)
Apache Spark 3.3.0
Apache Hive 3.1.3
Apache Tez 0.10.2
Notas da versão 6.9.0 do EMR Sem Servidor
  • A integração do Amazon Redshift para Apache Spark está inclusa nas versões 6.9.0 e posteriores do Amazon EMR. Anteriormente uma ferramenta de código aberto, a integração nativa é um conector do Spark que você pode usar para criar aplicações do Apache Spark que realizam a leitura e a gravação de dados no Amazon Redshift e no Amazon Redshift sem servidor. Para ter mais informações, consulte Uso da integração do Amazon Redshift para Apache Spark no Amazon EMR Sem Servidor.

  • A versão 6.9.0 do EMR Sem Servidor adiciona suporte à arquitetura AWS Graviton2 (arm64). Você pode usar o parâmetro architecture das APIs create-application e update-application para escolher a arquitetura arm64. Para ter mais informações, consulte Opções de arquitetura do Amazon EMR Sem Servidor.

  • Agora você pode exportar, importar, consultar e unir tabelas do Amazon DynamoDB diretamente das aplicações do Spark e Hive no EMR Sem Servidor. Para ter mais informações, consulte Como se conectar ao DynamoDB com o Amazon EMR Sem Servidor.

Problemas conhecidos

  • Se você usar a integração do Amazon Redshift para Apache Spark e tiver um time, timetz, timestamp ou timestamptz com precisão de microssegundos no formato Parquet, o conector arredondará os valores de tempo para o valor de milissegundo mais próximo. Como solução alternativa, use o parâmetro unload_s3_format do formato de descarregamento de texto.