Personnalisation du volume du périphérique racine Amazon EBS - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Personnalisation du volume du périphérique racine Amazon EBS

Vous pouvez définir le type de volume et d'autres attributs, en fonction de votre cas d'utilisation et de vos exigences en matière de coûts. Vous pouvez accepter les valeurs par défaut ou effectuer des personnalisations.

Configuration par défaut du volume racine EBS

Avec Amazon EMR 4.x et versions ultérieures, vous pouvez spécifier la taille du volume racine lorsque vous créez un cluster. Avec Amazon EMR 6.15.0 et versions ultérieures, vous pouvez également spécifier les IOPS et le débit du volume racine. Les attributs s’appliquent uniquement au volume du périphérique racine Amazon EBS et à toutes les instances du cluster. Ils ne s’appliquent pas aux volumes de stockage, que vous spécifiez séparément pour chaque type d’instance lorsque vous créez votre cluster.

  • La taille du volume racine par défaut de 15 Gio dans Amazon EMR 6.10.0 et versions ultérieures. Les versions antérieures ont une taille de volume racine par défaut de 10 Gio. Vous pouvez définir une taille maximale de 100 GiB.

  • Le nombre d’IOPS par défaut pour les volumes racines est de 3 000. Vous pouvez définir un nombre maximal de 16 000 IOPS.

  • Le débit du volume racine par défaut est de 125MiB/s. You can adjust this up to 1000 Mib/s.

Note

Le rapport taille du volume racine/IOPS ne peut pas être supérieur à 1 volume pour 500 IOPS (1:500), et le rapport IOPS/débit du volume racine ne peut pas être supérieur à 1 IOPS pour un débit de 0,25 (1:0,25).

Pour plus d'informations sur Amazon EBS, consultez Amazon EC2 root device volume.

Type de volume du périphérique racine avec l’AMI par défaut

Lorsque vous utilisez l’AMI par défaut, le type de volume du périphérique racine est déterminé par la version Amazon EMR que vous utilisez.

  • À partir de la version 6.15.0, Amazon EMR attache un SSD à usage général (gp3) comme type de volume du périphérique racine.

  • Pour les versions antérieures, Amazon EMR attache un SSD à usage général (gp2) comme type de volume du périphérique racine.

Type de volume du périphérique racine avec l’AMI personnalisée

Une AMI personnalisée peut avoir différents types de volumes de périphérique racine. Amazon EMR utilise toujours le type de volume de votre AMI personnalisée.

  • Avec Amazon EMR 6.15.0 et versions ultérieures, vous pouvez configurer la taille du volume racine, les IOPS et le débit pour votre AMI personnalisée, à condition que ces attributs correspondent au type de volume de votre AMI personnalisée.

  • Pour les versions antérieures, vous pouvez uniquement configurer la taille du volume racine pour votre AMI personnalisée.

Si vous ne configurez pas la taille du volume racine, les IOPS ou le débit lors de la création de votre cluster, Amazon EMR utilise les valeurs de l’AMI personnalisée, le cas échéant. Si vous décidez de configurer ces valeurs lors de la création de votre cluster, Amazon EMR utilise les valeurs que vous spécifiez, à condition qu’elles soient compatibles et prises en charge par le volume racine de l’AMI personnalisée. Pour de plus amples informations, veuillez consulter Utilisation d'une AMI personnalisée pour apporter plus de flexibilité à la configuration du cluster Amazon EMR.

Tarification relative à la taille du volume du périphérique racine

Le coût du volume de périphérique racine EBS est calculé au prorata du nombre d'heures en fonction des frais EBS mensuels pour ce type de volume dans la région où s'exécute le cluster. Ceci s'applique également aux volumes de stockage. Les frais sont facturés au nombre de Go, mais vous spécifiez la taille du volume racine en Gio. Tenez-en compte dans vos estimations (1 Go = 0,931323 Gio).

Les SSD à usage général gp2 et gp3 sont facturés différemment. Pour estimer les frais associés aux volumes du périphérique racine EBS de votre cluster, utilisez la formule suivante :

SSD à usage général gp2

Le coût de gp2 dépend uniquement de la taille du volume EBS en Go.

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount

Par exemple, prenez un cluster doté d’un nœud primaire, d’un nœud principal et qui utilise l’AMI Amazon Linux de base avec le volume du périphérique racine de 10 Gio par défaut. Si le coût EBS dans la région est de 0,10 USD (GB/month, that works out to be approximately $0.00129 per instance per hour, and $0.00258 per hour for the cluster ($0.10/GB/monthdivisé par 30 jours, divisé par 24 heures, multiplié par 10 Go, multiplié par 2 instances de cluster).

SSD à usage général gp3

Le coût du gp3 inclut la taille du volume EBS en Go, les IOPS supérieurs à 3 000 (3 000 IOPS gratuits) et le débit supérieur à 125 (gratuit). MB/s (125 MB/s

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount + ($EBS IOPS/Month)/30/24* (EMR_EBSRootVolumeIops - 3000) * InstanceCount + ($EBS throughput/Month)/30/24* (EMR_EBSRootVolumeThroughputInMb/s - 125) * InstanceCount

Par exemple, prenez un cluster doté d’un nœud primaire, d’un nœud principal et qui utilise l’AMI Amazon Linux de base avec le volume du périphérique racine de 15 Gio par défaut, 4 000 IOPS et un débit de 140 Mo/s. Si le coût EBS dans la région est de 0,10 USD par rapport à 125$. GB/month, $0.005/provisioned IOPS/month over 3000, and $0.040/provisioned MB/s/month Cela correspond à environ 0,009293 USD par instance et par heure, et à 0,018586 USD par heure pour le cluster.

Personnalisation des paramètres du volume du périphérique racine

Note

Le rapport taille du volume racine/IOPS ne peut pas être supérieur à 1 volume pour 500 IOPS (1:500), et le rapport IOPS/débit du volume racine ne peut pas être supérieur à 1 IOPS pour un débit de 0,25 (1:0,25).

Console
Pour spécifier les attributs du volume du périphérique racine Amazon EBS dans la console Amazon EMR
  1. Connectez-vous au et ouvrez la AWS Management Console console Amazon EMR à l'adresse /emr. https://console.aws.amazon.com

  2. Sous EMR activé EC2 dans le volet de navigation de gauche, choisissez Clusters, puis Create cluster.

  3. Sélectionnez Amazon EMR 6.15.0 ou une version ultérieure.

  4. Sous Configuration du cluster, accédez à la section Volume racine EBS et entrez une valeur pour les attributs que vous souhaitez configurer.

  5. Choisissez toutes les autres options qui s'appliquent à votre cluster.

  6. Pour lancer cluster, choisissez Créer un cluster.

CLI
Pour spécifier la taille du volume du périphérique racine Amazon EBS dans la AWS CLI
  • Utilisez les paramètres --ebs-root-volume-size, --ebs-root-volume-iops et --ebs-root-volume-throughput de la commande create-cluster, comme illustré dans l’exemple suivant.

    Note

    Les caractères de continuation de ligne Linux (\) sont inclus pour des raisons de lisibilité. Ils peuvent être supprimés ou utilisés dans les commandes Linux. Pour Windows, supprimez-les ou remplacez-les par un caret (^).

    aws emr create-cluster --release-label emr-6.15.0\ --ebs-root-volume-size 20 \ --ebs-root-volume-iops 3000\ --ebs-root-volume-throughput 135\ --instance-groups InstanceGroupType=MASTER,\ InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge