Satisfaire aux exigences de conformité à l'aide du contrôle du délai de réplication S3 (S3 RTC)

Le contrôle du délai de réplication Amazon S3 vous aide à respecter les règles de conformité et les besoins métier en matière de réplication des données, et améliore la visibilité des délais de réplication Amazon S3. Le contrôle du délai de réplication S3 permet de répliquer la plupart des objets que vous chargez dans Amazon S3 en quelques secondes, et 99,99 % de ces objets en 15 minutes.

S3 RTC inclut par défaut les métriques de réplication S3 et les notifications d'événements Amazon S3, que vous pouvez utiliser pour surveiller le nombre total d'opérations d'API S3 en attente de réplication, la taille totale des objets en attente de réplication et le temps de réplication maximal. Vous pouvez activer les métriques de réplication indépendamment de S3 RTC. Pour plus d'informations, consultez Surveillance de l'avancement des métriques de réplication. En outre, le contrôle du délai de réplication S3 fournit des événements OperationMissedThreshold et OperationReplicatedAfterThreshold qui notifient le propriétaire du compartiment si la réplication d'objet dépasse ou réplique après le seuil de 15 minutes.

Avec S3 RTC, les événements Amazon S3 peuvent vous avertir dans les rares cas où les objets ne se répliquent pas dans les 15 minutes et lorsque ces objets se répliquent après le seuil de 15 minutes. Les événements Amazon S3 sont disponibles via Amazon SQS, Amazon SNS ou. AWS Lambda Pour plus d’informations, consultez Notifications d'événements Amazon S3.

Contrôle du temps de réplication S3

Vous pouvez commencer à utiliser le contrôle du délai de réplication S3 avec une règle de réplication nouvelle ou existante. Vous pouvez choisir d'appliquer votre règle de réplication à un compartiment S3 entier ou à des objets Amazon S3 avec un préfixe ou une balise spécifique. Lorsque vous activez S3 RTC, les mesures de réplication sont également activées sur votre règle de réplication.

Si vous utilisez la dernière version de la configuration de réplication, en spécifiant l'élément Filter dans une règle de configuration de réplication, Simple Storage Service (Amazon S3) ne réplique pas le marqueur de suppression par défaut. Vous pouvez toutefois ajouter la réplication des marqueurs de suppression aux non-tag-based règles.

Pour plus d'informations sur la création d'une règle avec S3 RTC, consultez Activation du contrôle du temps de réplication S3 (S3 RTC).

Métriques de réplication avec contrôle du délai de réplication S3

Les règles de réplication avec le contrôle du délai de réplication S3 activé publient des métriques de réplication. Avec les métriques de réplication, vous pouvez surveiller le nombre total d'opérations d'API S3 en attente de réplication, la taille totale des objets en attente de réplication, la durée maximale de réplication vers la région de destination et le nombre total d'opérations pour lesquelles la réplication a échoué. Vous pouvez ensuite surveiller chaque jeu de données que vous répliquez séparément.

Les mesures de réplication sont disponibles dans les 15 minutes suivant l'activation de S3 RTC. Les métriques de réplication sont disponibles via la console Amazon S3, l'API Amazon S3, AWS les SDK, the AWS Command Line Interface (AWS CLI) et Amazon CloudWatch. Pour plus d’informations, consultez Surveillance des métriques avec Amazon CloudWatch.

Pour plus d'informations sur la recherche de métriques de réplication via la console Amazon S3, consultez Affichage des métriques de réplication avec la console Amazon S3.

Utilisation des notifications d'événements Amazon S3 pour suivre les objets de réplication

Vous pouvez suivre la durée de réplication des objets qui n'ont pas été répliqués dans les 15 minutes en surveillant les notifications d'événements spécifiques que publie la fonction de contrôle du délai de réplication S3. Ces événements sont publiés lorsqu'un objet éligible à la réplication à l'aide de S3 RTC ne s'est pas répliqué dans les 15 minutes, et lorsque cet objet se réplique après le seuil de 15 minutes.

Les événements de réplication sont disponibles dans les 15 minutes suivant l'activation du contrôle du délai de réplication S3. Les événements Amazon S3 sont disponibles via Amazon SQS, Amazon SNS ou. AWS Lambda Pour plus d’informations, consultez Notifications d'événements Amazon S3.

Bonnes pratiques et directives de contrôle du délai de réplication S3

Lorsque vous répliquez des données dans Amazon S3 avec le contrôle du délai de réplication S3, suivez les directives de ces bonnes pratiques pour optimiser les performances de réplication de vos charges de travail.

Directives en matière de performances de réplication et de débit de demandes Amazon S3

Vos applications peuvent exécuter des milliers de transactions par seconde en termes de performances de demande lors du chargement et de la récupération du stockage depuis Amazon S3. Par exemple, une application peut atteindre au moins 3 500 demandes PUT/COPY/POST/DELETE et 5 500 demandes GET/HEAD par seconde et par préfixe dans un compartiment S3, y compris les demandes que la réplication S3 effectue en votre nom. Il n'existe aucune limite au nombre de préfixes dans un compartiment. Vous pouvez augmenter vos performances de lecture et d'écriture en effectuant une mise en parallèle des lectures. Par exemple, si vous créez 10 préfixes dans un compartiment S3 pour paralléliser les lectures, vous pouvez adapter vos performances de lecture à 55 000 demandes de lecture par seconde.

Amazon S3 effectue automatiquement une mise à l'échelle en réponse à des débits de demandes soutenus supérieurs à ces directives, ou à des débits de demandes soutenus simultanés à des demandes LIST. Tandis qu'Amazon S3 optimise en interne le débit de nouvelles demandes, vous pouvez recevoir temporairement des réponses HTTP 503 jusqu'à ce que l'optimisation soit terminée. Cela peut se produire avec des augmentations des débits de demande par seconde, ou lorsque vous activez S3 RTC pour la première fois. Au cours de ces périodes, votre latence de réplication peut augmenter. Le contrat de niveau de service (SLA) du contrôle du délai de réplication S3 ne s'applique pas aux périodes où les directives en matière de performances Amazon S3 sur les demandes par seconde sont dépassées.

Le SLA S3 RTC ne s'applique pas non plus pendant les périodes où votre débit de transfert de données de réplication dépasse la limite par défaut de 1 Gbit/s. Si vous pensez que votre débit de transfert de réplication va dépasser 1 Gbit/s, vous pouvez contacter le Centre AWS Support ou utiliser les Service Quotas pour demander une augmentation de votre limite.

Estimation de vos débits de demandes de réplication

Votre débit de demandes total, y compris les demandes que la réplication Amazon S3 effectue en votre nom, doit être conforme aux directives en matière de débit de demandes Amazon S3 pour les compartiments source et de destination de réplication. Pour chaque objet répliqué, la réplication Amazon S3 effectue jusqu'à cinq demandes GET/HEAD et une demande PUT vers le compartiment source, ainsi qu'une demande PUT vers chaque compartiment de destination.

Par exemple, si vous envisagez de répliquer 100 objets par seconde, la réplication Amazon S3 peut effectuer 100 demandes PUT supplémentaires en votre nom pour un total de 200 demandes PUT par seconde vers le compartiment S3 source. La réplication Amazon S3 peut également effectuer jusqu'à 500 demandes GET/HEAD (5 demandes GET/HEAD pour chaque objet répliqué).

Dépassement des limites de débit de transfert de données RTC S3

Si vous pensez que votre dévit de transfert de données S3 Replication Time Control va dépasser la limite par défaut de 1 Gbit/s, contactez le Centre AWS Support ou utilisez les Service Quotas pour demander une augmentation de votre limite.

AWS KMS taux de demandes de réplication d'objets chiffrés

Lorsque vous répliquez des objets chiffrés avec le chiffrement côté serveur (SSE-KMS) à l'aide de la réplication Amazon S3, des limites de demandes par AWS Key Management Service seconde s'AWS KMS appliquent. AWS KMS peut rejeter une demande par ailleurs valide car votre taux de demandes dépasse la limite du nombre de demandes par seconde. Lorsqu'une demande est limitée, AWS KMS renvoie une ThrottlingException erreur. La limite de débit de AWS KMS demandes s'applique aux demandes que vous effectuez directement et aux demandes effectuées par Amazon S3 Replication en votre nom.

Par exemple, si vous prévoyez de répliquer 1 000 objets par seconde, vous pouvez soustraire 2 000 demandes de votre limite de taux de AWS KMS demandes. Le taux de requêtes par seconde qui en résulte est disponible pour vos AWS KMS charges de travail, à l'exception de la réplication. Vous pouvez utiliser les statistiques des AWS KMS demandes sur Amazon CloudWatch pour surveiller le taux total de AWS KMS demandes sur votre Compte AWS.

Activation du contrôle du temps de réplication S3 (S3 RTC)

Le contrôle du délai de réplication Amazon S3 vous aide à respecter les règles de conformité et les besoins métier en matière de réplication des données, et améliore la visibilité des délais de réplication Amazon S3. Le contrôle du délai de réplication S3 permet de répliquer la plupart des objets que vous chargez dans Amazon S3 en quelques secondes, et 99,99 % de ces objets en 15 minutes.

Avec S3 RTC, vous pouvez surveiller le nombre total et la taille des objets en attente de réplication, ainsi que le temps de réplication maximal vers la Région de destination. Les métriques de réplication sont disponibles via le Guide de CloudWatch l'utilisateur Amazon AWS Management Consoleet Amazon. Pour plus d’informations, consultez Métriques de réplication S3 dans CloudWatch .

import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.model.DeleteMarkerReplication;
import software.amazon.awssdk.services.s3.model.Destination;
import software.amazon.awssdk.services.s3.model.Metrics;
import software.amazon.awssdk.services.s3.model.MetricsStatus;
import software.amazon.awssdk.services.s3.model.PutBucketReplicationRequest;
import software.amazon.awssdk.services.s3.model.ReplicationConfiguration;
import software.amazon.awssdk.services.s3.model.ReplicationRule;
import software.amazon.awssdk.services.s3.model.ReplicationRuleFilter;
import software.amazon.awssdk.services.s3.model.ReplicationTime;
import software.amazon.awssdk.services.s3.model.ReplicationTimeStatus;
import software.amazon.awssdk.services.s3.model.ReplicationTimeValue;

public class Main {

  public static void main(String[] args) {
    S3Client s3 = S3Client.builder()
      .region(Region.US_EAST_1)
      .credentialsProvider(() -> AwsBasicCredentials.create(
          "AWS_ACCESS_KEY_ID",
          "AWS_SECRET_ACCESS_KEY")
      )
      .build();

    ReplicationConfiguration replicationConfig = ReplicationConfiguration
      .builder()
      .rules(
          ReplicationRule
            .builder()
            .status("Enabled")
            .priority(1)
            .deleteMarkerReplication(
                DeleteMarkerReplication
                    .builder()
                    .status("Disabled")
                    .build()
            )
            .destination(
                Destination
                    .builder()
                    .bucket("destination_bucket_arn")
                    .replicationTime(
                        ReplicationTime.builder().time(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            ReplicationTimeStatus.ENABLED
                        ).build()
                    )
                    .metrics(
                        Metrics.builder().eventThreshold(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            MetricsStatus.ENABLED
                        ).build()
                    )
                    .build()
            )
            .filter(
                ReplicationRuleFilter
                    .builder()
                    .prefix("testtest")
                    .build()
            )
        .build())
        .role("role_arn")
        .build();

    // Put replication configuration
    PutBucketReplicationRequest putBucketReplicationRequest = PutBucketReplicationRequest
      .builder()
      .bucket("source_bucket")
      .replicationConfiguration(replicationConfig)
      .build();

    s3.putBucketReplication(putBucketReplicationRequest);
  }
}