Amazon EMR versão 6.4.0

• Versões do aplicativo nas versões EMR 7.x da Amazon

• Versões de aplicações nas versões 6.x do Amazon EMR

• Versões de aplicações nas versões 5.x do Amazon EMR

• Versões de aplicações nas versões 4.x do Amazon EMR

Aplicações compatíveis

• AWS SDK for Java versão 1.12.31

• CloudWatch Sink versão 2.2.0

• Conector do DynamoDB versão 4.16.0

• EMRFSversão 2.47.0

• Amazon EMR Goodies versão 3.2.0

• Amazon EMR Kinesis Connector versão 3.5.0

• Amazon EMR Record Server versão 2.1.0

• Amazon EMR Scripts versão 2.5.0

• Flink versão 1.13.1

• Ganglia versão 3.7.2

• AWS Glue Hive Metastore Client versão 3.3.0

• Hadoop versão 3.2.1-amzn-4

• HBaseversão 2.4.4-amzn-0

• HBase-operator-tools 1.1.0

• HCatalogversão 3.1.2-amzn-5

• Hive versão 3.1.2-amzn-5

• Hudi versão 0.8.0-amzn-0

• Hue versão 4.9.0

• JDKVersão Java Corretto-8.302.08.1 (compilação 1.8.0_302-b08)

• JupyterHub versão 1.4.1

• Livy versão 0.7.1-incubating

• MXNetversão 1.8.0

• Oozie versão 5.2.1

• Phoenix versão 5.1.2

• Pig versão 0.17.0

• Presto versão 0.254.1-amzn-0

• Trino versão 359

• Apache Ranger KMS (criptografia transparente multi-master) versão 2.0.0

• ranger-plugins 2.0.1-amzn-0

• ranger-s3-plugin 1.2.0

• SageMaker Spark SDK versão 1.4.1

• Scala versão 2.12.10 (VM de servidor aberto de JDK 64 bits, Java 1.8.0_282)

• Spark versão 3.1.2-amzn-0

• spark-rapids 0.4.1

• Sqoop versão 1.4.7

• TensorFlow versão 2.4.1

• Tez versão 0.9.2

• Zeppelin versão 0.9.0

• Zookeeper versão 3.5.7

• Conectores e drivers: DynamoDB Connector 4.16.0

Novos atributos

• [Escalabilidade gerenciada] Otimização de escalabilidade gerenciada de dados do Spark shuffle - Para EMR as versões 5.34.0 e posteriores da Amazon e as EMR versões 6.4.0 e posteriores, a escalabilidade gerenciada agora reconhece os dados do Spark shuffle (dados que o Spark redistribui entre partições para realizar operações específicas). Para obter mais informações sobre operações aleatórias, consulte Usando escalabilidade EMR gerenciada na Amazon no Guia de EMR Gerenciamento EMR da Amazon e no Guia de Programação do Spark.

• Em clusters EMR Amazon habilitados para Apache Ranger, você pode usar o Apache SQL Spark para inserir dados ou atualizar as tabelas de metastore do Apache Hive usando, e. INSERT INTO INSERT OVERWRITE ALTER TABLE Ao usar ALTER TABLE com o SparkSQL, um local de partição deve ser o diretório filho de um local de tabela. Atualmente, EMR a Amazon não suporta a inserção de dados em uma partição em que a localização da partição seja diferente da localização da tabela.

• Presto SQL foi renomeado para Trino.

• Hive: a execução de SELECT consultas simples com LIMIT cláusula é acelerada interrompendo a execução da consulta assim que o número de registros mencionados na LIMIT cláusula for obtido. SELECTConsultas simples são consultas que não têm a cláusula GROUP BY/ORDERby ou consultas que não têm um estágio redutor. Por exemplo, SELECT * from <TABLE> WHERE <Condition> LIMIT <Number>.

Controle de simultaneidade do Hudi

• O Hudi agora oferece suporte ao Optimistic Concurrency Control (OCC), que pode ser aproveitado com operações de gravação, como UPSERT e INSERT para permitir alterações de vários gravadores na mesma tabela Hudi. Isso é no nível do arquivoOCC, então quaisquer dois commits (ou escritores) podem gravar na mesma tabela, se suas alterações não entrarem em conflito. Para obter mais informações, consulte o Controle de simultaneidade do Hudi.

• EMROs clusters da Amazon têm o Zookeeper instalado, que pode ser usado como provedor de bloqueio para. OCC Para facilitar o uso desse recurso, os EMR clusters da Amazon têm as seguintes propriedades pré-configuradas:

  hoodie.write.lock.provider=org.apache.hudi.client.transaction.lock.ZookeeperBasedLockProvider
  hoodie.write.lock.zookeeper.url=<EMR Zookeeper URL>
  hoodie.write.lock.zookeeper.port=<EMR Zookeeper Port>
  hoodie.write.lock.zookeeper.base_path=/hudi

  Para habilitarOCC, você precisa configurar as seguintes propriedades com suas opções de trabalho Hudi ou no nível do cluster usando as configurações da Amazon: EMR API

  hoodie.write.concurrency.mode=optimistic_concurrency_control
  hoodie.cleaner.policy.failed.writes=LAZY (Performs cleaning of failed writes lazily instead of inline with every write)
  hoodie.write.lock.zookeeper.lock_key=<Key to uniquely identify the Hudi table> (Table Name is a good option)

Monitoramento Hudi: CloudWatch integração com a Amazon para reportar Hudi Metrics

• A Amazon EMR oferece suporte à publicação de Hudi Metrics na Amazon CloudWatch. Isso é habilitado com a definição das seguintes configurações necessárias:

  hoodie.metrics.on=true
  hoodie.metrics.reporter.type=CLOUDWATCH

• A seguir, são mostradas as configurações opcionais do Hudi que você pode alterar:

  Configuração	Descrição	Valor
  hoodie.metrics.cloudwatch.report.period.seconds	Frequência (em segundos) na qual reportar métricas para a Amazon CloudWatch	O valor padrão é 60s, o que é adequado para a resolução padrão de um minuto oferecida pela Amazon CloudWatch
  hoodie.metrics.cloudwatch.metric.prefix	Prefixo a ser adicionado ao nome de cada métrica	O valor padrão está vazio (sem prefixo)
  hoodie.metrics.cloudwatch.namespace	CloudWatch Namespace da Amazon sob o qual as métricas são publicadas	O valor padrão é Hudi
  hoodie.metrics.cloudwatch. maxDatumsPerSolicitação	Número máximo de dados a serem incluídos em uma solicitação à Amazon CloudWatch	O valor padrão é 20, que é o mesmo que o CloudWatch padrão da Amazon

Suporte e melhorias nas configurações do Amazon EMR Hudi

• Agora, os clientes podem aproveitar o recurso de EMR configurações API e reconfiguração para configurar as configurações do Hudi no nível do cluster. Foi introduzido um novo suporte de configuração baseado em arquivos via /etc/hudi/conf/hudi -defaults.conf nos moldes de outros aplicativos como Spark, Hive etc. EMR Configura alguns padrões para melhorar a experiência do usuário:

  — hoodie.datasource.hive_sync.jdbcurl está configurado para o servidor Hive do cluster URL e não precisa mais ser especificado. Isso é particularmente útil ao executar um trabalho no modo de cluster do Spark, onde anteriormente era necessário especificar o IP EMR principal da Amazon.

  — configurações HBase específicas, que são úteis para usar o HBase índice com o Hudi.

  — Configuração específica do provedor de bloqueio do Zookeeper, conforme discutido em Controle de simultaneidade, o que facilita o uso do Controle de Concorrência Otimista (). OCC

• Alterações adicionais foram introduzidas para reduzir o número de configurações que você precisa passar e inferir automaticamente sempre que possível:

  — A palavra-chave partitionBy pode ser usada para especificar a coluna de partição.

  — Ao habilitar o Hive Sync, não é mais obrigatório passar HIVE_TABLE_OPT_KEY, HIVE_PARTITION_FIELDS_OPT_KEY, HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY. Esses valores podem ser deduzidos com base no nome da tabela Hudi e no campo de partição.

  — não é obrigatório passar KEYGENERATOR_CLASS_OPT_KEY, que pode ser inferido com base em casos mais simples de SimpleKeyGenerator e ComplexKeyGenerator.

Advertências do Hudi

• O Hudi não permite execução vetorizada no Hive de tabelas Merge on Read (MoR - Mesclar na leitura) e Bootstrap. Por exemplo, count(*) apresenta falha com a tabela do Hudi em tempo real quando hive.vectorized.execution.enabled está definido como verdadeiro. Como solução alternativa, você pode desabilitar a leitura vetorizada configurando hive.vectorized.execution.enabled como false.

• O suporte a vários gravadores não é compatível com o atributo de bootstrap do Hudi.

• O Flink Streamer e o Flink SQL são recursos experimentais nesta versão. Esses atributos não são recomendados para uso em implantações de produção.

Alterações, melhorias e problemas resolvidos

Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele falha na escalabilidade ou redução de escala de um cluster com sucesso ou causa falhas no aplicativo.

• Anteriormente, a reinicialização manual do gerenciador de recursos em um cluster multimestre fazia com que os daemons EMR no cluster da Amazon, como o Zookeeper, recarregassem todos os nós anteriormente desativados ou perdidos no arquivo znode do Zookeeper. Isso fez com que os limites padrão fossem excedidos em determinadas situações. A Amazon EMR agora remove os registros de nós desativados ou perdidos há mais de uma hora do arquivo do Zookeeper e os limites internos foram aumentados.

• Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons no cluster da EMR Amazon estavam executando atividades de verificação de integridade, como coletar o estado do nó e o estado do YARN nó. HDFS Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de saúde de um nó aos componentes internos da Amazon. EMR

• Daemons EMR no cluster aprimorados para rastrear corretamente os estados dos nós quando os endereços IP são reutilizados para melhorar a confiabilidade durante as operações de escalabilidade.

• SPARK-29683. Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.

• YARN-9011. Corrigido um problema em que falhas de trabalho ocorriam devido a uma condição de corrida no YARN descomissionamento quando o cluster tentava aumentar ou diminuir a escala.

• Foi corrigido o problema com falhas de etapas ou tarefas durante a escalabilidade do cluster, garantindo que os estados dos nós fossem sempre consistentes entre os EMR daemons no cluster da Amazon e/. YARN HDFS

• Corrigido um problema em que operações de cluster, como redução de escala e envio de etapas, falhavam em EMR clusters da Amazon habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no EMR cluster da Amazon não renovou o tíquete Kerberos, que é necessário para se comunicar de forma segura com/em execução no nó primário. HDFS YARN

• Configurando um cluster para corrigir problemas de desempenho do Apache YARN Timeline Server versões 1 e 1.5

  As versões 1 e 1.5 do Apache YARN Timeline Server podem causar problemas de desempenho com EMR clusters grandes e muito ativos, especialmente comyarn.resourcemanager.system-metrics-publisher.enabled=true, que é a configuração padrão na Amazon. EMR Um YARN Timeline Server v2 de código aberto resolve o problema de desempenho relacionado à escalabilidade do YARN Timeline Server.

  Outras soluções alternativas para esse problema incluem:

  • Configurando yarn.resourcemanager. system-metrics-publisher.enabled=false em yarn-site.xml.

  • Habilitar a correção para esse problema na criação de um cluster, conforme descrito abaixo.

  As seguintes EMR versões da Amazon contêm uma correção para esse problema de desempenho YARN do Timeline Server.

  EMR5.30.2, 5.31.1, 5.32.1, 5.33.1, 5.34.x, 6.0.1, 6.1.1, 6.2.1, 6.3.1, 6.4.x

  Para habilitar a correção em qualquer uma das EMR versões da Amazon especificadas acima, defina essas propriedades true em um JSON arquivo de configurações que é passado usando o parâmetro de aws emr create-cluster comando:--configurations file://./configurations.json. Ou habilite a correção usando a interface do usuário do console de reconfiguração.

  Exemplo de conteúdo do arquivo configurations.json:

  [
  {
  "Classification": "yarn-site",
  "Properties": {
  "yarn.resourcemanager.system-metrics-publisher.timeline-server-v1.enable-batch": "true",
  "yarn.resourcemanager.system-metrics-publisher.enabled": "true"
  },
  "Configurations": []
  }
  ]

• Os servidores Web HDFS e HTTPFs estão desativados por padrão. Você pode reativar a Web HDFS usando a configuração do Hadoop,. dfs.webhdfs.enabled O servidor HttpFS pode ser iniciado usando sudo systemctl start hadoop-httpfs.

• HTTPSagora está habilitado por padrão para repositórios Amazon Linux. Se você estiver usando uma VPCE política do Amazon S3 para restringir o acesso a buckets específicos, deverá adicionar o novo bucket Amazon Linux ARN arn:aws:s3:::amazonlinux-2-repos-$region/* à sua política ($regionsubstitua pela região onde está o endpoint). Para obter mais informações, consulte esse tópico nos fóruns de AWS discussão. Anúncio: o Amazon Linux 2 agora suporta a capacidade de uso HTTPS ao se conectar a repositórios de pacotes.

• Hive: o desempenho da consulta de gravação foi aprimorado ao permitir o uso de um diretório temporário ativado HDFS para o último trabalho. Os dados temporários do trabalho final são gravados no Amazon S3, e o desempenho é aprimorado porque os dados são movidos HDFS para o local final da tabela (Amazon S3) em vez de entre dispositivos Amazon S3. HDFS

• Hive: melhoria do tempo de compilação de consultas em até 2,5 vezes com a remoção de partições de metastores do Glue.

• Por padrão, quando UDFs os integrados são passados pelo Hive para o Hive Metastore Server, somente um subconjunto desses incorporados é UDFs passado para o Glue Metastore, já que o Glue suporta apenas operadores de expressão limitados. Se você definir hive.glue.partition.pruning.client=true, toda a remoção de partições ocorrerá no lado do cliente. Se você definir hive.glue.partition.pruning.server=true, toda a remoção de partições ocorrerá no lado do servidor.

Problemas conhecidos

• As consultas Hue não funcionam no Amazon EMR 6.4.0 porque o servidor Apache Hadoop HTTPFs está desativado por padrão. Para usar o Hue na Amazon EMR 6.4.0, inicie manualmente o servidor HTTPFs no nó EMR primário da Amazon usando sudo systemctl start hadoop-httpfs ou use uma etapa da Amazon. EMR

• O recurso Amazon EMR Notebooks usado com a representação de usuário do Livy não funciona porque o HTTPFs está desativado por padrão. Nesse caso, o EMR notebook não pode se conectar ao cluster que tem a representação Livy ativada. A solução alternativa é iniciar o servidor HTTPFs antes de conectar o EMR notebook ao cluster usando o. sudo systemctl start hadoop-httpfs

• Na EMR versão 6.4.0 da Amazon, o Phoenix não oferece suporte ao componente de conectores Phoenix.

• Para usar as ações do Spark com o Apache Oozie, você deve adicionar a seguinte configuração ao seu arquivo workflow.xml do Oozie. Caso contrário, várias bibliotecas críticas, como a Hadoop e a Hadoop, EMRFS estarão ausentes do classpath dos executores do Spark que o Oozie lança.

  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>

• Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas EMR versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 da Amazon, você pode encontrar um problema que impede seu cluster de ler os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:

  • Duas ou mais partições são verificadas na mesma tabela.

  • Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, s3://bucket/table/p=a é um prefixo de s3://bucket/table/p=a b.

  • O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF -8 menor que o / caractere (U+002F). Por exemplo, o caractere de espaço (U+0020) que ocorre entre a e b em s3://bucket/table/p=a b se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: !"#$%&‘()*+,-. Para obter mais informações, consulte a tabela de codificação UTF -8 e caracteres Unicode.

  Como solução alternativa para esse problema, defina a configuração spark.sql.sources.fastS3PartitionDiscovery.enabled como false na classificação spark-defaults.