View a markdown version of this page

Clusters EMR sur AWS Outposts - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Clusters EMR sur AWS Outposts

À partir d'Amazon EMR 5.28.0, vous pouvez créer et exécuter des clusters EMR sur. AWS Outposts AWS Outposts permet AWS des services, une infrastructure et des modèles d'exploitation natifs dans les installations sur site. Dans AWS Outposts les environnements, vous pouvez utiliser les mêmes AWS API, outils et infrastructures que ceux que vous utilisez dans le AWS cloud. Amazon EMR on AWS Outposts est idéal pour les charges de travail à faible latence qui doivent être exécutées à proximité des données et des applications sur site. Pour plus d'informations sur AWS Outposts, consultez le Guide de AWS Outposts l'utilisateur.

Conditions préalables

Voici les prérequis à satisfaire pour utiliser Amazon EMR sur AWS Outposts :

  • Vous devez l'avoir installé et configuré AWS Outposts dans votre centre de données local.

  • Vous devez disposer d'une connexion réseau fiable entre votre environnement Outpost et une AWS région.

  • Vous devez disposer d'une capacité suffisante pour les types d'instances pris en charge par Amazon EMR disponibles dans votre Outpost.

Limitations

L'utilisation d'Amazon EMR sur AWS Outposts présente les limites suivantes :

  • On-Demand Les instances sont la seule option prise en charge pour les instances Amazon EC2. Les instances Spot ne sont pas disponibles pour Amazon EMR sur AWS Outposts.

  • Si vous avez besoin de volumes de stockage Amazon EBS supplémentaires, seul le volume à usage général SSD (GP2) est pris en charge.

  • Lorsque vous utilisez les versions 5.28 AWS Outposts à 6.x d'Amazon EMR, vous ne pouvez utiliser que des compartiments S3 qui stockent les objets dans un Région AWS compartiment que vous spécifiez. Avec Amazon EMR 7.0.0 et versions ultérieures, Amazon EMR activé AWS Outposts est également pris en charge avec le client du système de S3A fichiers, prefix. s3a://

  • Seuls les types d'instance suivants sont pris en charge par Amazon EMR sur AWS Outposts :

    Classe d’instance Types d’instances
    Usage général

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Compute-optimized

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Memory-optimized

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Storage-optimized

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Considérations relatives à la connectivité réseau

  • Si la connectivité réseau entre votre Outpost et sa AWS région est perdue, vos clusters continueront à fonctionner. Toutefois, vous ne pouvez pas créer de nouveaux clusters ni effectuer de nouvelles actions sur les clusters existants tant que la connectivité n'a pas été rétablie. En cas de défaillance d'instance, l'instance ne sera pas automatiquement remplacée. En outre, les actions telles que l'ajout d'étapes à un cluster en cours d'exécution, la vérification de l'état d'exécution des étapes et l'envoi de CloudWatch métriques et d'événements seront retardées.

  • Nous vous recommandons de fournir une connectivité réseau fiable et hautement disponible entre votre avant-poste et la AWS région. Si la connectivité réseau entre votre Outpost et sa AWS région est perdue pendant plus de quelques heures, les clusters qui ont activé la protection d'arrêt continueront de fonctionner, et les clusters qui ont désactivé la protection d'arrêt peuvent être résiliés.

  • Si la connectivité réseau sera affectée par une maintenance de routine, nous recommandons d'activer la protection contre la résiliation de manière proactive. Plus généralement, une interruption de connectivité signifie que toutes les dépendances externes qui ne sont pas locales au réseau Outpost ou client ne seront pas accessibles. Cela inclut Amazon S3, DynamoDB utilisé avec la vue de cohérence EMRFS et Amazon RDS si une instance régionale est utilisée pour un cluster Amazon EMR avec plusieurs nœuds primaires.

Création d'un cluster Amazon EMR sur AWS Outposts

La création d'un cluster Amazon EMR sur AWS Outposts est similaire à la création d'un cluster Amazon EMR dans le AWS cloud. Lorsque vous créez un cluster Amazon EMR sur AWS Outposts, vous devez spécifier un sous-réseau Amazon EC2 associé à votre Outpost.

Un Amazon VPC peut couvrir toutes les zones de disponibilité d'une AWS région. AWS Outposts sont des extensions de zones de disponibilité, et vous pouvez étendre un Amazon VPC dans un compte pour couvrir plusieurs zones de disponibilité et les emplacements Outpost associés. Lorsque vous configurez votre Outpost, vous lui associez un groupe de sous-réseaux pour étendre votre environnement VPC régional à votre installation sur site. Les instances Outpost et les services connexes apparaissent comme faisant partie de votre VPC régional, tout comme une zone de disponibilité et ses sous-réseaux associés. Pour plus d'informations, consultez le Guide de l'utilisateur AWS Outposts.

Console

Pour créer un nouveau cluster Amazon EMR AWS Outposts avec le Console de gestion AWS, spécifiez un sous-réseau Amazon EC2 associé à votre Outpost.

Console
Pour créer un cluster sur AWS Outposts avec la console
  1. Connectez-vous au et ouvrez Console de gestion AWS la console Amazon EMR à https://console.aws.amazon.com/emr l'adresse.

  2. Sous EMR sur EC2 dans le volet de navigation de gauche, choisissez Clusters, puis Créer un cluster.

  3. Sous Configuration du cluster, sélectionnez Groupes d'instances ou Parcs d'instances. Choisissez ensuite un type d'instance dans le menu déroulant Choisir le type d'instance EC2 ou sélectionnez Actions, puis et choisissez Ajouter des volumes EBS. Amazon EMR sur AWS Outposts prend en charge un volume et des types d'instances Amazon EBS limités.

  4. Sous Mise en réseau, sélectionnez un sous-réseau EC2 avec un ID d'avant-poste au format suivant : op-123456789.

  5. Choisissez toutes les autres options qui s'appliquent à votre cluster.

  6. Pour lancer cluster, choisissez Créer un cluster.

CLI
Pour créer un cluster sur AWS Outposts avec le AWS CLI
  • Pour créer un nouveau cluster Amazon EMR AWS Outposts avec AWS CLI, spécifiez un sous-réseau EC2 associé à votre Outpost, comme dans l'exemple suivant. Remplacez-le subnet-22XXXX01 par votre propre ID de sous-réseau Amazon EC2.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.13.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles