Prise en charge des applications et limitations - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Prise en charge des applications et limitations

Applications prises en charge

L'intégration entre Amazon EMR et Apache Ranger dans laquelle sont EMR installés les plugins Ranger prend actuellement en charge les applications suivantes :

  • Apache Spark (disponible avec EMR 5.32+ et EMR 6.3+)

  • Apache Hive (disponible avec EMR 5.32+ et 6.3+) EMR

  • Accès via S3 EMRFS (disponible avec les versions EMR 5.32+ et EMR 6.3+)

Les applications suivantes peuvent être installées sur un EMR cluster et devront peut-être être configurées pour répondre à vos besoins en matière de sécurité :

  • Apache Hadoop (disponible avec les versions EMR 5.32+ et 6.3+, y compris etEMR) YARN HDFS

  • Apache Livy (disponible avec EMR 5.32+ et 6.3+) EMR

  • Apache Zeppelin (disponible avec EMR 5.32+ et 6.3+) EMR

  • Apache Hue (disponible avec EMR 5.32+ et EMR 6.3+)

  • Ganglia (disponible avec EMR 5.32+ et 6.3+) EMR

  • HCatalog(Disponible avec EMR 5.32+ et EMR 6.3+)

  • Mahout (disponible avec EMR 5.32+ et 6.3+) EMR

  • MXNet(Disponible avec EMR 5.32+ et EMR 6.3+)

  • TensorFlow (Disponible avec EMR 5.32+ et EMR 6.3+)

  • Tez (disponible avec EMR 5.32+ et EMR 6.3+)

  • Trino (Disponible à partir de EMR 6,7 ans)

  • ZooKeeper (Disponible avec EMR 5.32+ et EMR 6.3+)

Important

Les applications répertoriées ci-dessus sont les seules actuellement prises en charge. Pour garantir la sécurité du cluster, vous êtes autorisé à créer un EMR cluster avec uniquement les applications de la liste ci-dessus lorsque Apache Ranger est activé.

Les autres applications ne sont actuellement pas prises en charge. Pour garantir la sécurité de votre cluster, toute tentative d'installation d'autres applications entraînera le rejet de votre cluster.

Fonctionnalités prises en charge

Les EMR fonctionnalités Amazon suivantes peuvent être utilisées avec Amazon EMR et Apache Ranger :

  • Chiffrement au repos et en transit

  • Authentification Kerberos (obligatoire)

  • Groupes d'instances, parcs d'instances et instances Spot

  • Reconfiguration des applications sur un cluster en cours d'exécution

  • EMRFSchiffrement côté serveur () SSE

Note

Les paramètres EMR de chiffrement Amazon s'appliquentSSE. Pour plus d'informations, consultez Options de chiffrement.

Limites d'application

Il y a plusieurs limites à prendre en compte lorsque vous intégrez Amazon EMR et Apache Ranger :

  • Vous ne pouvez actuellement pas utiliser la console pour créer une configuration de sécurité qui spécifie AWS Option d'intégration de Ranger dans le AWS GovCloud (US) Region. La configuration de sécurité peut être effectuée à l'aide duCLI.

  • Kerberos doit être installé sur votre cluster.

  • Les applications UIs (interfaces utilisateur) telles que l'interface utilisateur du gestionnaire de YARN ressources, l'HDFS NameNode interface utilisateur et l'interface utilisateur Livy ne sont pas définies avec l'authentification par défaut.

  • Les autorisations HDFS par défaut umask sont configurées de telle sorte que les objets créés sont définis world wide readable par défaut.

  • Amazon EMR ne prend pas en charge le mode haute disponibilité (primaire multiple) avec Apache Ranger.

  • Pour connaître les limites supplémentaires, consultez les limites de chaque application.

Note

Les paramètres EMR de chiffrement Amazon s'appliquentSSE. Pour plus d'informations, consultez Options de chiffrement.

Limites de plug-in

Chaque plug-in possède des limites spécifiques. Pour connaître les limites du plug-in Apache Hive, consultez la section Limitations du plug-in Apache Hive. Pour connaître les limites du plug-in Apache Spark, consultez la section Limitations du plug-in Apache Spark. Pour connaître les limites du plugin EMRFS S3, voir Limitations du plugin EMRFS S3.