Erfüllen der Compliance-Anforderungen mit S3-Replikationszeitkontrolle (S3 RTC)

S3 Replication Time Control (S3 RTC) hilft Ihnen bei der Einhaltung von Compliance- oder Geschäftsanforderungen für die Datenreplikation und bietet Einblick in die Amazon-S3-Replikationsaktivitäten. S3 RTC repliziert die meisten Objekte, die Sie zu Amazon S3 hochladen, in Sekunden und 99,99 Prozent dieser Objekte innerhalb von 15 Minuten.

S3 RTC enthält standardmäßig S3-Replikationsmetriken und Amazon S3 S3-Ereignisbenachrichtigungen, mit denen Sie die Gesamtzahl der S3-API-Operationen, deren Replikation aussteht, die Gesamtgröße der Objekte, deren Replikation aussteht, und die maximale Replikationszeit überwachen können. Sie können Replikationsmetriken unabhängig von S3 RTC aktivieren. Weitere Informationen finden Sie unter Überwachen des Fortschritts mit Replikationsmetriken. Darüber hinaus bietet S3 RTC OperationMissedThreshold- und OperationReplicatedAfterThreshold-Ereignisse, die den Bucket-Besitzer benachrichtigen, wenn die Objektreplikation den 15-Minuten-Grenzwert überschreitet oder danach repliziert wird.

Mit S3 RTC können Sie in den seltenen Fällen, in denen Objekte nicht innerhalb von 15 Minuten repliziert werden und diese Objekte nach dem Schwellenwert von 15 Minuten repliziert werden, Amazon-S3-Ereignisse erhalten. Amazon S3 S3-Ereignisse sind über Amazon SQS, Amazon SNS oder verfügbar. AWS Lambda Weitere Informationen finden Sie unter Amazon-S3-Ereignis-Benachrichtigungen.

Steuerung der S3-Replikationszeit

Sie können die S3-Replikationszeitkontrolle (S3 RTC) mit einer neuen oder einer vorhandenen Replikationsregel verwenden. Sie können die Replikationsregel auf einen gesamten S3-Bucket oder auf Amazon-S3-Objekte mit einem bestimmten Präfix oder Tag anwenden. Wenn Sie S3 RTC aktivieren, werden Replikationsmetriken auch für Ihre Replikationsregel aktiviert.

Wenn Sie die aktuelle Version der Replikations-Konfiguration verwenden, d. h. das Element Filter in einer Replikations-Konfigurations-Regel angeben, repliziert Amazon S3 die Löschmarkierung nicht standardmäßig. Sie können den non-tag-based Regeln jedoch die Replikation von Löschmarken hinzufügen.

Weitere Informationen zum Erstellen einer Regel mit S3 RTC finden Sie unter Aktivieren von S3 Replication Time Control (S3 RTC).

Replikationsmetriken mit S3 RTC

Replikationsregeln mit aktivierter S3-Replikationszeitkontrolle (S3 RTC) veröffentlichen Replikationsmetriken. Mit Replikationsmetriken können Sie die Gesamtzahl der S3-API-Operationen mit ausstehender Replikation, die Gesamtgröße der Objekte mit ausstehender Replikation, die maximale Replikationszeit in der Zielregion und der Gesamtzahl der Operationen überwachen, deren Replikation fehlgeschlagen ist. Anschließend können Sie jedes Dataset, das Sie separat replizieren, überwachen.

Replikationsmetriken sind innerhalb von 15 Minuten nach der Aktivierung von S3 RTC verfügbar. Replikationsmetriken sind über die Amazon S3 S3-Konsole, die Amazon S3 S3-API, die AWS SDKs, the AWS Command Line Interface (AWS CLI) und Amazon CloudWatch verfügbar. Weitere Informationen finden Sie unter Metriken mit Amazon überwachen CloudWatch.

Weitere Informationen zum Finden von Replikationsmetriken über die Amazon-S3-Konsole finden Sie unter Anzeigen von Replikationsmetriken über die Amazon-S3-Konsole.

Verwenden von Amazon-S3-Ereignis-Benachrichtigungen zum Nachverfolgen von Replikationsobjekten

Sie können die Replikationszeit für Objekte nachverfolgen, die nicht innerhalb von 15 Minuten repliziert wurden, indem Sie bestimmte Ereignis-Benachrichtigungen überwachen, die von der S3-Replikationszeitkontrolle (S3 RTC) veröffentlicht werden. Diese Ereignisse werden veröffentlicht, wenn ein Objekt, das für die Replikation mit S3 RTC in Frage kam, nicht innerhalb von 15 Minuten repliziert wurde und wenn dieses Objekt nach dem Schwellenwert von 15 Minuten repliziert wird.

Replikationsmetriken sind innerhalb von 15 Minuten nach der Aktivierung von S3 RTC verfügbar. Amazon S3 S3-Ereignisse sind über Amazon SQS, Amazon SNS oder verfügbar. AWS Lambda Weitere Informationen finden Sie unter Amazon-S3-Ereignis-Benachrichtigungen.

Bewährte Methoden und Richtlinien für S3 RTC

Befolgen Sie beim Replizieren von Daten in Amazon S3 mit der S3-Replikationszeitkontrolle (S3 RTC) diese bewährten Methoden, um die Replikationsleistung für Ihre Workloads zu optimieren.

Leistungsrichtlinien für Amazon-S3-Replikation and -Anforderungsraten

Wenn Speicherinhalte zu Amazon S3 hochgeladen oder von dort abgerufen werden, können Ihre Anwendungen Tausende von Transaktionen pro Sekunde bei der Anforderungsleistung erhalten. Beispielsweise kann eine Anwendung mindestens 3 500 PUT/COPY/POST/DELETE- oder 5 500 GET/HEAD-Anforderungen pro Sekunde pro Präfix in einem S3-Bucket erreichen, einschließlich der Anforderungen, die die S3-Replikation in Ihrem Namen vornimmt. Es gibt keine Einschränkungen für die Anzahl der Präfixe in einem Bucket. Sie können Ihre Lese- und Schreibleistung steigern, indem Sie Lesevorgänge parallelisieren. Wenn Sie beispielsweise 10 Präfixe in einem S3-Bucket für parallele Lesevorgänge einrichten, können Sie damit die Leseleistung auf 55 000 Leseanfragen pro Sekunde skalieren.

Amazon S3 skaliert automatisch als Reaktion auf anhaltende Anforderungsraten oberhalb dieser Richtlinien oder anhaltender Anforderungsraten übereinstimmend mit LIST-Anforderungen. Während Amazon S3 intern für die neue Anforderungsrate optimiert wird, erhalten Sie möglicherweise temporär HTTP 503-Anforderungsantworten, bis die Optimierung abgeschlossen ist. Dies kann mit steigenden Anforderungsraten pro Sekunde oder beim ersten Aktivieren von S3 RTC auftreten. Während dieser Zeiträume kann sich die Replikationslatenz erhöhen. Das S3 RTC Service Level Agreement (SLA) gilt nicht für Zeiträume, in denen Amazon-S3-Leistungsrichtlinien für Anforderungen pro Sekunde überschritten werden.

Das S3 RTC SLA gilt auch nicht in Zeiträumen, in denen Ihre Replikationsdatenübertragungsrate das Standardlimit von 1 Gbit/s überschreitet. Wenn Sie erwarten, dass Ihre Replikations-Übertragungsrate 1 Gbit/s überschreitet, können Sie Ihr AWS Support -Center kontaktieren oder über Service Quotas eine Erhöhung Ihres Limit anzufordern.

Schätzen der Replikationsanforderungsraten

Ihre Gesamtanforderungsrate einschließlich der Anforderungen, die die Amazon-S3-Replikation in Ihrem Namen vornimmt, sollte den Richtlinien für die Amazon-S3-Anforderungsrate sowohl für die Replikationsquelle als auch für die Ziel-Buckets entsprechen. Für jedes replizierte Objekt führt die Amazon-S3-Replikation bis zu fünf GET/HEAD-Anforderungen und eine PUT-Anforderung an den Quell-Bucket sowie eine PUT-Anforderung an jeden Ziel-Bucket aus.

Wenn Sie beispielsweise davon ausgehen, dass 100 Objekte pro Sekunde repliziert werden, kann die Amazon-S3-Replikation für Sie zusätzliche 100 PUT-Anfragen für insgesamt 200 PUT-pro-Sekunden in den Quell-S3-Bucket ausführen. Die Amazon-S3-Replikation kann außerdem bis zu 500 GET/HEAD-Anforderungen ausführen (5 GET/HEAD-Anforderungen für jedes replizierte Objekt)

Überschreiten der Grenzwerte für die S3 RTC-Datenübertragungsrate

Wenn Sie erwarten, dass die Datenübertragungsrate von S3 Replication Time Control das Standardlimit von 1 Gbit/s überschreitet, wenden Sie sich an Ihr AWS Support -Center oder verwenden Sie Service Quotas, um eine Erhöhung Ihres Limit anzufordern.

AWS KMS Anforderungsraten für die Replikation verschlüsselter Objekte

Wenn Sie mit serverseitiger Verschlüsselung (SSE-KMS) verschlüsselte Objekte mithilfe der Amazon S3 S3-Replikation replizieren, gelten Grenzwerte für Anfragen pro AWS KMS Sekunde AWS Key Management Service (). AWS KMS könnte eine ansonsten gültige Anfrage ablehnen, weil Ihre Anforderungsrate das Limit für die Anzahl der Anfragen pro Sekunde überschreitet. Wenn eine Anfrage gedrosselt wird, wird ein AWS KMS ThrottlingException Fehler zurückgegeben. Das AWS KMS Anforderungsratenlimit gilt für Anfragen, die Sie direkt stellen, und für Anfragen, die von der Amazon S3 S3-Replikation in Ihrem Namen gestellt werden.

Wenn Sie beispielsweise damit rechnen, 1.000 Objekte pro Sekunde zu replizieren, können Sie 2.000 Anfragen von Ihrem Limit für die AWS KMS Anforderungsrate abziehen. Die daraus resultierende Anforderungsrate pro Sekunde ist für Ihre AWS KMS Workloads ohne Replikation verfügbar. Sie können die AWS KMS Anforderungsmetriken in Amazon verwenden CloudWatch, um die gesamte AWS KMS Anforderungsrate auf Ihrem zu überwachen AWS-Konto.

Aktivieren von S3 Replication Time Control (S3 RTC)

S3 Replication Time Control (S3 RTC) hilft Ihnen bei der Einhaltung von Compliance- oder Geschäftsanforderungen für die Datenreplikation und bietet Einblick in die Amazon-S3-Replikationsaktivitäten. S3 RTC repliziert die meisten Objekte, die Sie zu Amazon S3 hochladen, in Sekunden und 99,99 Prozent dieser Objekte innerhalb von 15 Minuten.

Mit S3 RTC können Sie die Gesamtzahl und Größe der Objekte, die zur Replikation ausstehen, sowie die maximale Replikationszeit in die Zielregion überwachen. Replikationsmetriken sind im AWS Management Consoleund im CloudWatch Amazon-Benutzerhandbuch verfügbar. Weitere Informationen finden Sie unter Metriken zur S3-Replikation in CloudWatch .

import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.model.DeleteMarkerReplication;
import software.amazon.awssdk.services.s3.model.Destination;
import software.amazon.awssdk.services.s3.model.Metrics;
import software.amazon.awssdk.services.s3.model.MetricsStatus;
import software.amazon.awssdk.services.s3.model.PutBucketReplicationRequest;
import software.amazon.awssdk.services.s3.model.ReplicationConfiguration;
import software.amazon.awssdk.services.s3.model.ReplicationRule;
import software.amazon.awssdk.services.s3.model.ReplicationRuleFilter;
import software.amazon.awssdk.services.s3.model.ReplicationTime;
import software.amazon.awssdk.services.s3.model.ReplicationTimeStatus;
import software.amazon.awssdk.services.s3.model.ReplicationTimeValue;

public class Main {

  public static void main(String[] args) {
    S3Client s3 = S3Client.builder()
      .region(Region.US_EAST_1)
      .credentialsProvider(() -> AwsBasicCredentials.create(
          "AWS_ACCESS_KEY_ID",
          "AWS_SECRET_ACCESS_KEY")
      )
      .build();

    ReplicationConfiguration replicationConfig = ReplicationConfiguration
      .builder()
      .rules(
          ReplicationRule
            .builder()
            .status("Enabled")
            .priority(1)
            .deleteMarkerReplication(
                DeleteMarkerReplication
                    .builder()
                    .status("Disabled")
                    .build()
            )
            .destination(
                Destination
                    .builder()
                    .bucket("destination_bucket_arn")
                    .replicationTime(
                        ReplicationTime.builder().time(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            ReplicationTimeStatus.ENABLED
                        ).build()
                    )
                    .metrics(
                        Metrics.builder().eventThreshold(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            MetricsStatus.ENABLED
                        ).build()
                    )
                    .build()
            )
            .filter(
                ReplicationRuleFilter
                    .builder()
                    .prefix("testtest")
                    .build()
            )
        .build())
        .role("role_arn")
        .build();

    // Put replication configuration
    PutBucketReplicationRequest putBucketReplicationRequest = PutBucketReplicationRequest
      .builder()
      .bucket("source_bucket")
      .replicationConfiguration(replicationConfig)
      .build();

    s3.putBucketReplication(putBucketReplicationRequest);
  }
}