Utilisation d'une option personnalisée AMI pour offrir plus de flexibilité à la configuration EMR du cluster Amazon

Lorsque vous utilisez Amazon EMR 5.7.0 ou une version ultérieure, vous pouvez choisir de spécifier un Amazon Linux personnalisé AMI au lieu de l'Amazon Linux par défaut AMI pour AmazonEMR. Une personnalisation AMI est utile si vous souhaitez effectuer les opérations suivantes :

Une personnalisation AMI doit exister dans la même AWS région que celle où vous créez le cluster. Il doit également correspondre à l'architecture de l'EC2instance. Par exemple, une instance m5.xlarge possède une architecture x86_64. Par conséquent, pour provisionner un m5.xlarge à l'aide d'un customAMI, votre custom AMI doit également avoir une architecture x86_64. De même, pour provisionner une instance m6g.xlarge dotée d'une architecture arm64, votre instance personnalisée AMI doit avoir une architecture arm64. Pour plus d'informations sur l'identification d'un Linux AMI pour votre type d'instance, consultez Find a Linux AMI dans le guide de EC2 l'utilisateur Amazon.

Création d'un Amazon Linux personnalisé AMI à partir d'une instance préconfigurée

Les étapes de base pour préinstaller le logiciel et effectuer d'autres configurations afin de créer un Amazon Linux personnalisé AMI pour Amazon EMR sont les suivantes :

Une fois que vous avez créé l'image basée sur votre instance personnalisée, vous pouvez la copier vers une cible chiffrée comme décrit dans la rubrique Création d'un volume personnalisé AMI avec un volume d'appareil EBS racine Amazon crypté.

Tutoriel : Création d'une instance AMI à partir d'une instance avec un logiciel personnalisé installé

Comment utiliser une personnalisation AMI dans un EMR cluster Amazon

Vous pouvez utiliser une option personnalisée AMI pour approvisionner un EMR cluster Amazon de deux manières :

Vous ne pouvez utiliser qu'une seule des deux options lors du provisionnement d'un EMR cluster, et vous ne pouvez pas la modifier une fois que le cluster a démarré.

Utiliser une seule personnalisation AMI dans un EMR cluster

Pour spécifier un AMI ID personnalisé lorsque vous créez un cluster, utilisez l'une des méthodes suivantes :

Utiliser plusieurs options personnalisées AMIs dans un EMR cluster Amazon

Pour créer un cluster à l'aide de plusieurs AMIs personnalisations, utilisez l'une des options suivantes :

La console AWS de gestion ne prend actuellement pas en charge la création d'un cluster à l'aide de plusieurs personnalisationsAMIs.

aws emr create-cluster --instance-groups 
InstanceGroupType=PRIMARY,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 
InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-234567
InstanceGroupType=TASK,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-345678
InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-456789

aws emr create-cluster --instance-groups 
InstanceGroupType=PRIMARY,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 
InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456
InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-234567

{
    "ClusterId": "j-123456",
    ...
}

aws emr add-instance-groups --cluster-id j-123456 --instance-groups InstanceGroupType=Task,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-345678

aws emr create-cluster --instance-fleets 
InstanceFleetType=PRIMARY,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge, CustomAmiId=ami-123456}'] 
InstanceFleetType=CORE,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']
InstanceFleetType=TASK,TargetSpotCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-456789},{InstanceType=m6g.xlarge, CustomAmiId=ami-567890}']

aws emr create-cluster --instance-fleets 
InstanceFleetType=PRIMARY,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge, CustomAmiId=ami-123456}'] 
InstanceFleetType=CORE,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']

{
    "ClusterId": "j-123456",
    ...
}

aws emr add-instance-fleet --cluster-id j-123456 --instance-fleet 
InstanceFleetType=TASK,TargetSpotCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']

Gestion des mises à jour AMI du référentiel de packages

Au premier démarrage, Amazon Linux AMIs se connecte par défaut aux référentiels de packages pour installer les mises à jour de sécurité avant le démarrage des autres services. En fonction de vos besoins, vous pouvez choisir de désactiver ces mises à jour lorsque vous spécifiez une personnalisation AMI pour AmazonEMR. L'option permettant de désactiver cette fonctionnalité n'est disponible que lorsque vous utilisez une option personnaliséeAMI. Par défaut, les mises à jour du noyau Amazon Linux et les autres packages logiciels nécessitant un redémarrage ne sont pas mis à jour. Notez que votre configuration réseau doit autoriser l'accès HTTP et la HTTPS sortie vers les référentiels Amazon Linux dans Amazon S3, sinon les mises à jour de sécurité échoueront.

Avec le AWS Management Console, vous pouvez sélectionner l'option permettant de désactiver les mises à jour lorsque vous choisissez Personnaliser AMI.

Avec le AWS CLI, vous pouvez spécifier --repo-upgrade-on-boot NONE --custom-ami-id lorsque vous utilisez la create-cluster commande.

Avec Amazon EMRAPI, vous pouvez spécifier NONE le RepoUpgradeOnBootparamètre.

Création d'un volume personnalisé AMI avec un volume d'appareil EBS racine Amazon crypté

Pour chiffrer le volume du périphérique EBS racine Amazon d'un Amazon Linux AMI pour AmazonEMR, copiez une image instantanée d'une cible non chiffrée AMI vers une cible chiffrée. Pour plus d'informations sur la création de EBS volumes chiffrés, consultez Amazon EBS Encryption dans le guide de EC2 l'utilisateur Amazon. La source AMI de l'instantané peut être la base Amazon LinuxAMI, ou vous pouvez copier un instantané à partir d'un AMI dérivé de la base Amazon Linux AMI que vous avez personnalisée.

Vous pouvez utiliser un fournisseur de clé externe ou une AWS KMS clé pour chiffrer le volume EBS racine. Le rôle de service EMR utilisé par Amazon (généralement le rôle par défautEMR_DefaultRole) doit être autorisé à chiffrer et à déchiffrer le volume, au minimum, pour qu'Amazon puisse EMR créer un cluster avec le. AMI Lors de l'utilisation en AWS KMS tant que fournisseur de clés, cela signifie que les actions suivantes doivent être autorisées :

Le moyen le plus simple pour ce faire est d'ajouter le rôle en tant qu'utilisateur principal, comme décrit dans le didacticiel suivant. La déclaration de stratégie ci-dessous est fournie au cas où vous auriez besoin de personnaliser des stratégies de rôle.

{ 
"Version": "2012-10-17", 
"Statement": [ 
   { 
   "Sid": "EmrDiskEncryptionPolicy", 
   "Effect": "Allow", 
   "Action": [ 
      "kms:Encrypt", 
      "kms:Decrypt", 
      "kms:ReEncrypt*", 
      "kms:CreateGrant", 
      "kms:GenerateDataKeyWithoutPlaintext", 
      "kms:DescribeKey" 
      ], 
   "Resource": [ 
      "*" 
      ] 
   } 
] 
}                 
            

Tutoriel : Création d'un volume personnalisé AMI avec un volume de périphérique racine chiffré à l'aide d'une KMS clé

Dans cet exemple, la première étape consiste à rechercher ARN une KMS clé ou à en créer une nouvelle. Pour plus d'informations sur la création de clés, consultez Création de clés dans le Guide du développeur AWS Key Management Service . La procédure suivante vous montre comment ajouter le rôle de service par défaut, EMR_DefaultRole, en tant qu'utilisateur de clé, à la stratégie de clé. Notez la ARNvaleur de la clé au fur et à mesure que vous la créez ou que vous la modifiez. Vous utilisez le ARN plus haut, lorsque vous créez leAMI.

La sortie de la commande fournit l'ID du cluster AMI que vous avez créé, que vous pouvez spécifier lors de la création d'un cluster. Pour de plus amples informations, veuillez consulter Utiliser une seule personnalisation AMI dans un EMR cluster. Vous pouvez également choisir de le personnaliser AMI en installant un logiciel et en effectuant d'autres configurations. Pour de plus amples informations, veuillez consulter Création d'un Amazon Linux personnalisé AMI à partir d'une instance préconfigurée.

Bonnes pratiques et considérations

Lorsque vous créez une personnalisation AMI pour AmazonEMR, tenez compte des points suivants :

Pour plus d'informations, consultez la section Création d'un système Linux EBS soutenu par Amazon AMI dans le guide de l'EC2utilisateur Amazon.