Nouveautés - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Nouveautés

Cette page décrit les modifications et les fonctionnalités disponibles dans les dernières versions d'Amazon EMR 7.x, 6.x et 5.x.

Ces notes de mise à jour sont également disponibles sur les pages Amazon EMR 7.5.0, Amazon EMR 6.15.0 et Amazon EMR 5.36.2, ainsi que les versions de l'application, les versions des composants et les classifications de configuration disponibles pour chaque version.

Note

Les versions ultérieures d'Amazon EMR utilisent AWS la version 4 de Signature (SigV4) pour authentifier les demandes adressées à Amazon S3. Nous vous recommandons d'utiliser une EMR version d'Amazon qui prend en charge SigV4 afin que vous puissiez accéder à de nouveaux compartiments S3 et éviter d'interrompre vos charges de travail. Pour plus d'informations et pour obtenir la liste des EMR versions d'Amazon compatibles SigV4, voir Amazon EMR et AWS Signature Version 4.

Amazon EMR 7.5.0 (dernière version de la série 7.x)

Les nouvelles EMR versions d'Amazon sont mises à disposition dans différentes régions sur une période de plusieurs jours, en commençant par la première région à la date de sortie initiale. Il est possible que la dernière version ne soit pas disponible dans votre région pendant cette période.

Les notes de mise à jour suivantes contiennent des informations relatives à la EMR version 7.5.0 d'Amazon.

Nouvelles fonctionnalités
  • Mises à niveau des applications — Amazon EMR 7.5.0 application upgrades include Delta 3.2.1-amzn-0, HBase 2.5.10, Hudi 0.15.0-amzn-2, and Iceberg 1.6.1-amzn-1.

  • EMRwrite-ahead logs (WAL) prend en charge la réplication entre clusters. Pour plus d'informations, consultez la EMRWALsection Réplication entre clusters.

Problèmes connus
  • Apache Sqoop a été supprimé de la EMR version 7.5 et des versions ultérieures d'Amazon.

Modifications, améliorations et problèmes résolus
  • Amazon EMR utilise différentes versions de la TensorFlow bibliothèque, en fonction des types d'instances que vous choisissez pour votre cluster. Amazon prend EMR également en charge TensorFlow les clusters dotés de types d'instances aarch64 (instances Graviton) à partir de la version EMR -7.5.0.

    Le tableau suivant répertorie les builds par type d'instance pour EMR -7.5.0 :

    Types d'instances EC2 TensorFlow construire
    M5 et C5 Tensorflow 2.16.1 avec optimisation Intel MKL
    P2, P4D, P5, G4DN, G5, G6 et GR6 Tensorflow 2.16.1 avec CUDA 12.3, cu 8.9.7.29 DNN
    P3, P3DN, G3 et G3S Tensorflow 2.16.1 avec CUDA 12.3, cu DNN 8.9.7.29, NCCL 2.20.3-1 Nvidia n'est disponible que sur les instances P3. NCCL Contrat de licence utilisateur final (EULA) — En utilisant les composants Nvidia sur AmazonEMR, vous acceptez les termes et conditions décrits dans le produitEULA.
    Tous les autres, y compris Graviton (EMR-7.5.0+) Tensorflow 2.16.1
  • Un EMR cluster Amazon AWS Lake Formation FGAC activé (contrôle d'accès fin) peut désormais prendre en charge jusqu'à 256 étapes simultanées avec la configuration hdfs-site.xml suivante :

    [ { "Classification": "hdfs-site", "Properties": { "dfs.datanode.handler.count": "40", "dfs.datanode.max.transfer.threads": "16384", "dfs.namenode.handler.count": "64", "dfs.replication": "1" } }, { "Classification": "hdfs-env", "Configurations": [ { "Classification": "export", "Properties": { "HADOOP_DATANODE_HEAPSIZE": "5120" } } ], "Properties": {} } ]
  • OsReleaseLabel (version Amazon Linux) Version du noyau Amazon Linux Date de disponibilité Régions prises en charge
    2023,5.20240916 6 janvier 109 à 118,189 mai 2023 6 septembre 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour) Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Canada (centre), (États-Unis ouest), (États-Unis est AWS GovCloud ), Chine (Pékin AWS GovCloud ), Chine (Ningxia), Asie Pacifique (Hyderabad), Moyen-Orient (UAE), Europe (Espagne), Europe (Zurich), Asie-Pacifique (Melbourne), Israël (Tel Aviv), Canada Ouest (Calgary)

Amazon EMR 6.15.0 (dernière version de la série 6.x)

Les nouvelles EMR versions d'Amazon sont mises à disposition dans différentes régions sur une période de plusieurs jours, en commençant par la première région à la date de sortie initiale. Il est possible que la dernière version ne soit pas disponible dans votre région pendant cette période.

Les notes de mise à jour suivantes contiennent des informations relatives à la EMR version 6.15.0 d'Amazon. Les modifications ont été apportées à la version 6.14.0. Pour plus d'informations sur le calendrier de publication, consultez le Journal des modifications 6.15.0.

Nouvelles fonctionnalités
  • Mises à niveau des applications — Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.

  • Des lancements plus rapides pour les EMR clusters qui s'exécutent sur EC2 : le lancement d'un EC2 cluster Amazon EMR on est désormais jusqu'à 35 % plus rapide. Grâce à cette amélioration, la plupart des clients peuvent lancer leurs clusters en moins de 5 minutes.

  • CodeWhisperer pour EMR Studio — Vous pouvez désormais utiliser Amazon CodeWhisperer avec Amazon EMR Studio pour obtenir des recommandations en temps réel lorsque vous écrivez du code JupyterLab. CodeWhisperer peut compléter vos commentaires, terminer des lignes de code individuelles, faire line-by-line des recommandations et générer des fonctions entièrement formées.

  • Temps de redémarrage des tâches plus rapides avec Flink — Avec Amazon EMR 6.15.0 et versions ultérieures, plusieurs nouveaux mécanismes sont disponibles pour Apache Flink afin d'améliorer le temps de redémarrage des tâches lors des opérations de restauration ou de dimensionnement des tâches. Cela permet d’optimiser la vitesse de récupération et de redémarrage des graphes d’exécution afin d’améliorer la stabilité des tâches.

  • Contrôle d'accès détaillé et au niveau des tables pour les formats de tables ouvertes : avec Amazon EMR 6.15.0 et versions ultérieures, lorsque vous exécutez des tâches Spark sur Amazon EMR sur des clusters EC2 qui accèdent aux données du catalogue de données AWS Glue, vous pouvez les utiliser AWS Lake Formation pour appliquer des autorisations au niveau des tables, des lignes, des colonnes et des cellules aux tables basées sur Hudi, Iceberg ou Delta Lake.

  • Mise à niveau vers Hadoop — Amazon EMR 6.15.0 inclut une mise à niveau d'Apache Hadoop vers la version 3.3.6. Hadoop 3.3.6 était la dernière version au moment du déploiement d'Amazon EMR 6.15, publiée par Apache en juin 2023. Les versions précédentes d'Amazon EMR (6.9.0 à 6.14.x) utilisaient Hadoop 3.3.3.

    La mise à niveau inclut des centaines d'améliorations et de correctifs, ainsi que des fonctionnalités telles que des paramètres de nœud de données reconfigurables, la DFSAdmin possibilité de lancer des opérations de reconfiguration en masse sur tous les nœuds de données actifs et un vectorisé API qui permet aux lecteurs gourmands en recherche de spécifier plusieurs plages à lire. Hadoop 3.3.6 ajoute également le support HDFS APIs et la sémantique de son log write-ahead (WAL), afin qu'HBaseil puisse fonctionner sur d'autres implémentations de systèmes de stockage. Pour plus d’informations, consultez les journaux des modifications pour les versions 3.3.4, 3.3.5 et 3.3.6 dans la documentation Apache Hadoop.

  • Support AWS SDK pour Java, version 2 - Les applications Amazon EMR 6.15.0 peuvent utiliser AWS SDK les versions Java 1.12.569 ou 2.20.160 si l'application prend en charge la version v2. La version 2.x AWS SDK pour Java est une réécriture majeure de la base de code de la version 1.x. Il repose sur Java 8+ et ajoute plusieurs fonctionnalités fréquemment demandées. Il s'agit notamment de la prise en charge des E/S non bloquantes et de la possibilité de connecter une HTTP implémentation différente lors de l'exécution. Pour plus d'informations, y compris un guide SDK de migration de Java v1 à v2, consultez le guide AWS SDKpour Java, version 2.

Modifications, améliorations et problèmes résolus
  • Pour améliorer vos EMR clusters à haute disponibilité, cette version permet la connectivité aux EMR daemons Amazon sur un hôte local qui utilisent IPv6 points de terminaison.

  • Cette version permet à la version TLS 1.2 de communiquer avec les nœuds ZooKeeper provisionnés sur tous les nœuds principaux de votre cluster de haute disponibilité.

  • Cette version améliore la gestion des fichiers journaux de ZooKeeper transactions conservés sur les nœuds principaux afin de minimiser les scénarios dans lesquels les fichiers journaux dépassent les limites et interrompent les opérations du cluster.

  • Cette version rend la communication intra-nœud plus résiliente pour les clusters à haute disponibilitéEMR. Cette amélioration réduit le risque d’échec des actions d’amorçage ou de démarrage du cluster.

  • Dans Amazon EMR 6.15.0, Tez introduit des configurations que vous pouvez spécifier pour ouvrir de manière asynchrone les divisions d'entrée dans une division groupée Tez. Cela permet d’accélérer les performances des requêtes de lecture lorsqu’il existe un grand nombre de divisions d’entrée dans une seule division groupée Tez. Pour plus d’informations, consultez la rubrique Ouverture fractionnée asynchrone Tez.

  • Lorsque vous lancez un cluster avec le dernier correctif d'Amazon EMR 5.36 ou supérieur, 6.6 ou supérieur, ou 7.0 ou supérieur, Amazon EMR utilise la dernière version d'Amazon Linux 2023 ou Amazon Linux 2 pour Amazon EMR AMI par défaut. Pour plus d'informations, consultez Utiliser le système Amazon Linux par défaut AMI pour Amazon EMR.

    OsReleaseLabel (version Amazon Linux) Version du noyau Amazon Linux Date de disponibilité Régions prises en charge
    2,0.20241001.0 4,14,352 4 octobre 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour) Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Canada (centre), (États-Unis ouest), (États-Unis est AWS GovCloud ), Chine (Pékin AWS GovCloud ), Chine (Ningxia)
    2,0,20240816,0 4,14,350 21 août 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour) Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Canada (centre), (États-Unis ouest), (États-Unis est AWS GovCloud ), Chine (Pékin AWS GovCloud ), Chine (Ningxia)
    2,0,20240809.0 4,1,4349 20 août 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour) Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Canada (centre), (États-Unis ouest), (États-Unis est AWS GovCloud ), Chine (Pékin AWS GovCloud ), Chine (Ningxia)
    2,0,20240719,0 4,14348 25 juillet 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour) Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Canada (centre), (États-Unis ouest), (États-Unis est AWS GovCloud ), Chine (Pékin AWS GovCloud ), Chine (Ningxia)
    2,0.20240709.1 4,14348 23 juillet 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour) Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Canada (centre), (États-Unis ouest), (États-Unis est AWS GovCloud ), Chine (Pékin AWS GovCloud ), Chine (Ningxia), Asie Pacifique (Hyderabad), Moyen-Orient (UAE), Europe (Espagne), Europe (Zurich), Asie-Pacifique (Melbourne), Israël (Tel Aviv), Canada Ouest (Calgary)
    2,0.20240223.0 4,14.336 8 mars 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Espagne), Europe (Francfort), Europe (Zurich), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Mumbai), Asie-Pacifique (Hyderabad), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Asie-Pacifique (Melbourne), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Moyen-Orient (), Canada (UAE Centre), Israël (Tel Aviv) AWS GovCloud , (USA Ouest), (USA Est) AWS GovCloud , Chine (Pékin), Chine (Ningxia), Canada Ouest (Calgary)
    2,0.20240131.0 4,14.336 14 février 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Espagne), Europe (Francfort), Europe (Zurich), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Mumbai), Asie-Pacifique (Hyderabad), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Asie-Pacifique (Melbourne), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Moyen-Orient (), Canada (UAE Centre), Israël (Tel Aviv) AWS GovCloud , (USA Ouest), (USA Est) AWS GovCloud , Chine (Pékin), Chine (Ningxia), Canada Ouest (Calgary)
    2,0.20240124.0 4,14.336 7 février 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Espagne), Europe (Francfort), Europe (Zurich), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Mumbai), Asie-Pacifique (Hyderabad), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Asie-Pacifique (Melbourne), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Moyen-Orient (), Canada (UAE Centre), Israël (Tel Aviv) AWS GovCloud , (USA Ouest), (USA Est) AWS GovCloud , Chine (Pékin), Chine (Ningxia), Canada Ouest (Calgary)
    2,0.20240109.0 4,1,4334 24 janvier 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Espagne), Europe (Francfort), Europe (Zurich), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Mumbai), Asie-Pacifique (Hyderabad), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Asie-Pacifique (Melbourne), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Moyen-Orient (), Canada (UAE Centre), Israël (Tel Aviv) AWS GovCloud , (USA Ouest), (USA Est) AWS GovCloud , Chine (Pékin), Chine (Ningxia), Canada Ouest (Calgary)
    2,0,20231218,0 4,14,330 2 janvier 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Espagne), Europe (Francfort), Europe (Zurich), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Mumbai), Asie-Pacifique (Hyderabad), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Asie-Pacifique (Melbourne), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Moyen-Orient (), Canada (UAE Centre), Israël (Tel Aviv) AWS GovCloud , (USA Ouest), (USA Est) AWS GovCloud , Chine (Pékin), Chine (Ningxia)
    2,0.20231206,0 4,14,330 22 décembre 2023 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Espagne), Europe (Francfort), Europe (Zurich), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Mumbai), Asie-Pacifique (Hyderabad), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Asie-Pacifique (Melbourne), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Moyen-Orient (), Canada (UAE Centre), Israël (Tel Aviv) AWS GovCloud , (USA Ouest), (USA Est) AWS GovCloud , Chine (Pékin), Chine (Ningxia)
    2,0,20231116,0 4,14,328 11 décembre 2023 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Espagne), Europe (Francfort), Europe (Zurich), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Mumbai), Asie-Pacifique (Hyderabad), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Asie-Pacifique (Melbourne), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Moyen-Orient (), Canada (UAE Centre), Israël (Tel Aviv) AWS GovCloud , (USA Ouest), (USA Est) AWS GovCloud , Chine (Pékin), Chine (Ningxia)
    2,0,20231101,0 4,1,4327 13 novembre 2023 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Espagne), Europe (Francfort), Europe (Zurich), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Mumbai), Asie-Pacifique (Hyderabad), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Asie-Pacifique (Melbourne), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Moyen-Orient (), Canada (UAE Centre), Israël (Tel Aviv) AWS GovCloud , (USA Ouest), (USA Est) AWS GovCloud , Chine (Pékin), Chine (Ningxia)

Amazon EMR 5.36.2 (dernière version de la série 5.x)

Les nouvelles EMR versions d'Amazon sont mises à disposition dans différentes régions sur une période de plusieurs jours, en commençant par la première région à la date de sortie initiale. Il est possible que la dernière version ne soit pas disponible dans votre région pendant cette période.

Les notes de mise à jour suivantes contiennent des informations relatives à la EMR version 5.36.2 d'Amazon. Les modifications sont relatives à la version 5.36.1. Pour plus d'informations sur le calendrier de publication, consultez le journal des modifications.

Modifications, améliorations et problèmes résolus
  • Cette version améliore la logique de réduction du cluster afin qu'Amazon EMR ne réduise pas les nœuds principaux en dessous du paramètre de facteur de HDFS réplication défini pour le cluster. Cette amélioration répond aux exigences de redondance des données et réduit le risque de blocage d'une opération de dimensionnement.

  • Cette version ajoute un nouveau mécanisme de nouvelle tentative au flux de travail de dimensionnement des EMR clusters pour les clusters qui exécutent Presto ou Trino. Cette amélioration réduit le risque que le redimensionnement du cluster s'exécute indéfiniment en raison de l'échec d'une seule opération de redimensionnement. Cela améliore également l'utilisation du cluster, car celui-ci augmente et diminue la capacité plus rapidement.

  • Résout un problème selon lequel les opérations de réduction du cluster pouvaient être bloquées pendant qu'Amazon mettait hors service EMR gracieusement un nœud principal et que celui-ci devenait inutilisable avant sa mise hors service complète.

  • Améliore la stabilité d'un nœud dans un cluster à haute disponibilité comportant plusieurs nœuds principaux lorsqu'Amazon EMR redémarre un seul nœud.

  • Optimise la gestion des journaux avec Amazon EMR exécuté sur AmazonEC2. C'est pourquoi vous constaterez peut-être une légère réduction des coûts de stockage pour les journaux de votre cluster.

  • Améliore la gestion des fichiers journaux de ZooKeeper transactions conservés sur les nœuds principaux afin de minimiser les scénarios dans lesquels les fichiers journaux dépassent les limites et interrompent les opérations du cluster.

  • Corrige un bogue rare qui peut provoquer l'échec d'un cluster à haute disponibilité comportant plusieurs nœuds principaux en raison de l'impossibilité de communiquer avec le Yarn ResourceManager.

  • Lorsque vous lancez un cluster avec le dernier correctif d'Amazon EMR 5.36 ou supérieur, 6.6 ou supérieur, ou 7.0 ou supérieur, Amazon EMR utilise la dernière version d'Amazon Linux 2023 ou Amazon Linux 2 pour Amazon EMR AMI par défaut. Pour plus d'informations, consultez Utiliser le système Amazon Linux par défaut AMI pour Amazon EMR.

    OsReleaseLabel (Version Amazon Linux) Version du noyau Amazon Linux Date de disponibilité Régions prises en charge
    2,0.20241001.0 4,14,352 4 octobre 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour) Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Canada (centre), (États-Unis ouest), (États-Unis est AWS GovCloud ), Chine (Pékin AWS GovCloud ), Chine (Ningxia)
    2,0,20240816,0 4,14,350 21 août 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour) Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Canada (centre), (États-Unis ouest), (États-Unis est AWS GovCloud ), Chine (Pékin AWS GovCloud ), Chine (Ningxia)
    2,0,20240809.0 4,1,4349 20 août 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour) Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Canada (centre), (États-Unis ouest), (États-Unis est AWS GovCloud ), Chine (Pékin AWS GovCloud ), Chine (Ningxia)
    2,0,20240719,0 4,14348 25 juillet 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour) Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Canada (centre), (États-Unis ouest), (États-Unis est AWS GovCloud ), Chine (Pékin AWS GovCloud ), Chine (Ningxia)
    2,0.20240709.1 4,14348 23 juillet 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour) Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Canada (centre), (États-Unis ouest), (États-Unis est AWS GovCloud ), Chine (Pékin AWS GovCloud ), Chine (Ningxia), Asie Pacifique (Hyderabad), Moyen-Orient (UAE), Europe (Espagne), Europe (Zurich), Asie-Pacifique (Melbourne), Israël (Tel Aviv), Canada Ouest (Calgary)
    2,0.20240503.0 4,14,343 xxxxxx, 2024 USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Stockholm), Europe (Milan), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Asie-Pacifique (Hong Kong), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour) Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Jakarta), Afrique (Le Cap), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Canada (centre), (États-Unis ouest), (États-Unis est AWS GovCloud ), Chine (Pékin AWS GovCloud ), Chine (Ningxia)

Amazon EMR et AWS Signature Version 4

EMRLes versions d'Amazon utilisent AWS la version 4 de Signature (SigV4) pour authentifier les demandes adressées à Amazon S3. Les compartiments créés dans Amazon S3 après le 24 juin 2020 ne prennent pas en charge les demandes signées par Signature Version 2 (SigV2). Les buckets créés le 24 juin 2020 ou avant cette date continueront de prendre en charge le protocole SIGv2. Nous vous recommandons de migrer vers une EMR version d'Amazon qui prend en charge SigV4 afin que vous puissiez accéder à de nouveaux compartiments S3 et éviter d'interrompre vos charges de travail.

Si vous utilisez des applications incluses dans Amazon, EMR telles qu'Apache Spark, Apache Hive et Presto, vous n'avez pas besoin de modifier le code de votre application pour utiliser SigV4 . Si vous utilisez des applications personnalisées qui ne sont pas incluses dans AmazonEMR, vous devrez peut-être mettre à jour votre code pour utiliser SigV4. Pour plus d'informations, consultez la section Passage de la version 2 à la version 4 de Signature dans le guide de l'utilisateur Amazon S3.

Les EMR versions d'Amazon suivantes prennent en charge SigV4: emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, emr-5.21.2, and emr-5.22.0 and higher. Toutes les versions 6.x et 7.x sont prises en charge SigV4.