Satisfaction aux exigences de conformité à l’aide du contrôle du temps de réplication S3

Le contrôle du délai de réplication Amazon S3 vous aide à respecter les règles de conformité et les besoins métier en matière de réplication des données, et améliore la visibilité des délais de réplication Amazon S3. Le contrôle du délai de réplication S3 permet de répliquer la plupart des objets que vous chargez dans Amazon S3 en quelques secondes, et 99,99 % de ces objets en 15 minutes.

Par défaut, le contrôle du temps de réplication S3 inclut deux méthodes pour suivre la progression de la réplication :

Bonnes pratiques et directives de contrôle du délai de réplication S3

Lorsque vous répliquez des données dans Amazon S3 avec le contrôle du temps de réplication S3 (S3 RTC), suivez les directives de ces bonnes pratiques pour optimiser les performances de réplication pour vos charges de travail.

Directives en matière de performances de réplication et de débit de demandes Amazon S3

Vos applications peuvent exécuter des milliers de transactions par seconde en termes de performances de demande lors du chargement et de la récupération du stockage depuis Amazon S3. Par exemple, une application peut atteindre au moins 3 500 demandes PUT/COPY/POST/DELETE ou 5 500 demandes GET/HEAD par seconde et par préfixe dans un compartiment S3, y compris les demandes que la réplication S3 effectue en votre nom. Il n’existe aucune limite au nombre de préfixes dans un compartiment. Vous pouvez augmenter vos performances de lecture et d’écriture en effectuant une mise en parallèle des lectures. Par exemple, si vous créez 10 préfixes dans un compartiment S3 pour paralléliser les lectures, vous pouvez mettre à l’échelle vos performances de lecture à 55 000 demandes de lecture par seconde.

Amazon S3 effectue automatiquement une mise à l’échelle en réponse à des débits de demandes soutenus supérieurs à ces directives, ou à des débits de demandes soutenus simultanés à des demandes LIST. Tandis qu’Amazon S3 optimise en interne le débit de nouvelles demandes, vous pouvez recevoir temporairement des réponses HTTP 503 jusqu’à ce que l’optimisation soit terminée. Ce comportement peut se produire avec des augmentations des débits de demandes par seconde, ou lorsque vous activez S3 RTC pour la première fois. Au cours de ces périodes, votre latence de réplication peut augmenter. Le contrat de niveau de service (SLA) du contrôle du délai de réplication S3 ne s’applique pas aux périodes où les directives en matière de performances Amazon S3 sur les demandes par seconde sont dépassées.

Le SLA du contrôle du temps de réplication S3 ne s’applique pas non plus pendant les périodes où votre débit de transfert de données de réplication dépasse le quota par défaut de 1 gigabit par seconde (Gbit/s). Si vous pensez que votre débit de transfert de réplication va dépasser 1 Gbit/s, vous pouvez contacter le Centre AWS Support ou utiliser Service Quotas pour demander une augmentation de votre quota de débit de transfert de réplication.

Estimation de vos débits de demandes de réplication

Votre débit de demandes total, y compris les demandes que la réplication Amazon S3 effectue en votre nom, doit être conforme aux directives en matière de débit de demandes Amazon S3 pour les compartiments source et de destination de réplication. Pour chaque objet répliqué, la réplication Amazon S3 effectue jusqu’à cinq demandes GET/HEAD et une demande PUT vers le compartiment source, ainsi qu’une demande PUT vers chaque compartiment de destination.

Par exemple, si vous envisagez de répliquer 100 objets par seconde, la réplication Amazon S3 peut effectuer 100 demandes PUT supplémentaires en votre nom pour un total de 200 demandes PUT par seconde vers le compartiment S3 source. La réplication Amazon S3 peut également effectuer jusqu’à 500 demandes GET/HEAD (5 demandes GET/HEAD pour chaque objet répliqué).

Dépassement des quotas de débit de transfert de données RTC S3

Si vous pensez que votre débit de transfert de données RTC S3 va dépasser le quota par défaut de 1 Gbit/s, contactez le Centre AWS Support ou utilisez Service Quotas pour demander une augmentation de votre quota de débit de transfert de réplication.

AWS KMS taux de demandes de réplication d'objets chiffrés

Lorsque vous répliquez des objets chiffrés avec un chiffrement côté serveur avec des clés AWS Key Management Service (AWS KMS) (SSE-KMS), des quotas de AWS KMS demandes par seconde s'appliquent. AWS KMS peut rejeter une demande par ailleurs valide car votre taux de demandes dépasse le quota du nombre de demandes par seconde. Lorsqu'une demande est limitée, AWS KMS renvoie une ThrottlingException erreur. Le quota de taux de AWS KMS demandes s'applique aux demandes que vous effectuez directement et aux demandes effectuées par Amazon S3 Replication en votre nom.

Par exemple, si vous prévoyez de répliquer 1 000 objets par seconde, vous pouvez soustraire 2 000 demandes de votre quota de taux de AWS KMS demandes. Le taux de requêtes par seconde qui en résulte est disponible pour vos AWS KMS charges de travail, à l'exception de la réplication. Vous pouvez utiliser les statistiques des AWS KMS demandes sur Amazon CloudWatch pour surveiller le taux total de AWS KMS demandes sur votre Compte AWS.

Pour demander une augmentation de votre quota de AWS KMS demandes par seconde, contactez AWS Support Center ou utilisez Service Quotas.

Activation du contrôle du délai de réplication S3

Vous pouvez commencer à utiliser le contrôle du délai de réplication S3 avec une règle de réplication nouvelle ou existante. Vous pouvez choisir d’appliquer votre règle de réplication à un compartiment entier ou à des objets avec un préfixe ou une balise spécifique. Lorsque vous activez S3 RTC, les métriques de réplication S3 sont également activées sur votre règle de réplication.

Vous pouvez configurer S3 RTC à l'aide de la console Amazon S3, de l'API Amazon S3 AWS SDKs, du et du AWS Command Line Interface (AWS CLI).

{
    "Rules": [
        {
            "Status": "Enabled",
            "Filter": {
                "Prefix": "Tax"
            },
            "DeleteMarkerReplication": {
                "Status": "Disabled"
            },
            "Destination": {
                "Bucket": "arn:aws:s3:::amzn-s3-demo-destination-bucket",
                "Metrics": {
                    "Status": "Enabled",
                    "EventThreshold": {
                        "Minutes": 15
                    }
                },
                "ReplicationTime": {
                    "Status": "Enabled",
                    "Time": {
                        "Minutes": 15
                    }
                }
            },
            "Priority": 1
        }
    ],
    "Role": "IAM-Role-ARN"
}

import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.model.DeleteMarkerReplication;
import software.amazon.awssdk.services.s3.model.Destination;
import software.amazon.awssdk.services.s3.model.Metrics;
import software.amazon.awssdk.services.s3.model.MetricsStatus;
import software.amazon.awssdk.services.s3.model.PutBucketReplicationRequest;
import software.amazon.awssdk.services.s3.model.ReplicationConfiguration;
import software.amazon.awssdk.services.s3.model.ReplicationRule;
import software.amazon.awssdk.services.s3.model.ReplicationRuleFilter;
import software.amazon.awssdk.services.s3.model.ReplicationTime;
import software.amazon.awssdk.services.s3.model.ReplicationTimeStatus;
import software.amazon.awssdk.services.s3.model.ReplicationTimeValue;

public class Main {

  public static void main(String[] args) {
    S3Client s3 = S3Client.builder()
      .region(Region.US_EAST_1)
      .credentialsProvider(() -> AwsBasicCredentials.create(
          "AWS_ACCESS_KEY_ID",
          "AWS_SECRET_ACCESS_KEY")
      )
      .build();

    ReplicationConfiguration replicationConfig = ReplicationConfiguration
      .builder()
      .rules(
          ReplicationRule
            .builder()
            .status("Enabled")
            .priority(1)
            .deleteMarkerReplication(
                DeleteMarkerReplication
                    .builder()
                    .status("Disabled")
                    .build()
            )
            .destination(
                Destination
                    .builder()
                    .bucket("destination_bucket_arn")
                    .replicationTime(
                        ReplicationTime.builder().time(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            ReplicationTimeStatus.ENABLED
                        ).build()
                    )
                    .metrics(
                        Metrics.builder().eventThreshold(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            MetricsStatus.ENABLED
                        ).build()
                    )
                    .build()
            )
            .filter(
                ReplicationRuleFilter
                    .builder()
                    .prefix("testtest")
                    .build()
            )
        .build())
        .role("role_arn")
        .build();

    // Put replication configuration
    PutBucketReplicationRequest putBucketReplicationRequest = PutBucketReplicationRequest
      .builder()
      .bucket("source_bucket")
      .replicationConfiguration(replicationConfig)
      .build();

    s3.putBucketReplication(putBucketReplicationRequest);
  }
}