Soddisfare i requisiti di conformità con S3 Replication Time Control

S3 Replication Time Control (S3RTC) ti aiuta a soddisfare i requisiti di conformità o aziendali per la replica dei dati e offre visibilità sui tempi di replica di Amazon S3. S3 RTC replica la maggior parte degli oggetti caricati su Amazon S3 in pochi secondi e il 99,99% di tali oggetti entro 15 minuti.

Per impostazione predefinita, S3 RTC include due modi per monitorare l'avanzamento della replica:

Migliori pratiche e linee guida per S3 RTC

Durante la replica dei dati in Amazon S3 con S3 Replication Time Control (RTCS3) abilitato, segui queste linee guida sulle best practice per ottimizzare le prestazioni di replica per i tuoi carichi di lavoro.

Linee guida sulle prestazioni per la frequenza di richieste e la replica di Amazon S3

Le applicazioni possono raggiungere migliaia di transazioni al secondo nelle prestazioni di richiesta durante il caricamento e il recupero di storage da Amazon S3. Ad esempio, un'applicazione può soddisfare almeno 3.500//DELETEo 5.500 PUT COPY POSTGET/HEADrichieste al secondo per prefisso in un bucket S3, incluse le richieste che S3 Replication effettua per tuo conto. Non esistono limiti al numero di prefissi in un bucket. È possibile aumentare le proprie performance in lettura o scrittura parallelizzando le scritture. Ad esempio, se crei 10 prefissi in un bucket S3 per parallelizzare le letture, puoi scalare le prestazioni di lettura a 55.000 richieste di lettura al secondo.

Amazon S3 si ridimensiona automaticamente in risposta a tassi di richiesta sostenuti superiori a queste linee guida o a tassi di richiesta sostenuti concomitanti con le richieste. LIST Sebbene Amazon S3 stia ottimizzando internamente per la nuova frequenza di richieste, potresti ricevere temporaneamente HTTP 503 risposte alle richieste fino al completamento dell'ottimizzazione. Questo comportamento potrebbe verificarsi con un aumento della frequenza di richieste al secondo o alla prima attivazione di S3. RTC Durante questi periodi, la latenza di replica potrebbe aumentare. Il contratto sul livello di RTC servizio S3 (SLA) non si applica ai periodi di tempo in cui vengono superate le linee guida prestazionali di Amazon S3 sulle richieste al secondo.

L'S3 non si applica RTC SLA inoltre nei periodi di tempo in cui la velocità di trasferimento dei dati di replica supera la quota predefinita di 1 gigabit al secondo (Gbps). Se si prevede che la velocità di trasferimento della replica superi 1 Gbps, è possibile contattare AWS Support Center o utilizzare Service Quotas per richiedere un aumento della quota di velocità di trasferimento di replica.

Stima delle frequenze di richieste di replica

La frequenza totale delle richieste, incluse le richieste che la replica di Amazon S3 effettua per tuo conto, deve rientrare nelle linee guida sulla frequenza delle richieste di Amazon S3 sia per il bucket di origine che per quello di destinazione della replica. Per ogni oggetto replicato, la replica di Amazon S3 effettua fino a GET cinque richiesteHEAD/e PUT una richiesta al bucket di origine e una richiesta a ciascun bucket di PUT destinazione.

Ad esempio, se prevedi di replicare 100 oggetti al secondo, la replica di Amazon S3 potrebbe eseguire altre PUT 100 richieste per tuo conto per un totale di PUT 200 richieste al secondo verso il bucket S3 di origine. La replica di Amazon S3 può inoltre eseguire fino a 500 HEAD richiesteGET/(5GET/HEADrichieste per ogni oggetto replicato).

Superamento delle quote di velocità di trasferimento dati di S3 RTC

Se prevedi che la velocità di trasferimento RTC dati di S3 superi la quota predefinita di 1 Gbps, contatta AWS Support Center o utilizza Service Quotas per richiedere un aumento della quota di velocità di trasferimento di replica.

AWS KMS tassi di richiesta di replica di oggetti crittografati

Quando si replicano oggetti crittografati con la crittografia lato server con AWS Key Management Service (AWS KMS) chiavi (SSE-KMS), vengono applicate le quote di AWS KMS richieste al secondo. AWS KMS potrebbe rifiutare una richiesta altrimenti valida perché la frequenza delle richieste supera la quota per il numero di richieste al secondo. Quando una richiesta viene limitata, AWS KMS restituisce un errore. ThrottlingException La quota della tariffa di AWS KMS richiesta si applica alle richieste effettuate direttamente e alle richieste effettuate dalla replica di Amazon S3 per tuo conto.

Ad esempio, se prevedi di replicare 1.000 oggetti al secondo, puoi sottrarre 2.000 richieste dalla quota di frequenza delle richieste. AWS KMS La frequenza di richieste al secondo risultante è disponibile per i AWS KMS carichi di lavoro, esclusa la replica. Puoi utilizzare le metriche delle AWS KMS richieste in Amazon CloudWatch per monitorare la percentuale totale di AWS KMS richieste sul tuo Account AWS.

Per richiedere un aumento delle tue AWS KMS richieste di quote al secondo, contatta AWS Support Center o utilizza Service Quotas.

Abilitazione di S3 Replication Time Control

Puoi iniziare a utilizzare S3 Replication Time Control (S3RTC) con una regola di replica nuova o esistente. Puoi scegliere di applicare la regola di replica a un intero bucket o a oggetti con un prefisso o un tag specifico. Quando abiliti S3RTC, le metriche di replica S3 vengono abilitate anche nella tua regola di replica.

Puoi configurare S3 RTC utilizzando la console Amazon S3, Amazon API S3, AWS SDKs e (). AWS Command Line Interface AWS CLI

{
    "Rules": [
        {
            "Status": "Enabled",
            "Filter": {
                "Prefix": "Tax"
            },
            "DeleteMarkerReplication": {
                "Status": "Disabled"
            },
            "Destination": {
                "Bucket": "arn:aws:s3:::amzn-s3-demo-destination-bucket",
                "Metrics": {
                    "Status": "Enabled",
                    "EventThreshold": {
                        "Minutes": 15
                    }
                },
                "ReplicationTime": {
                    "Status": "Enabled",
                    "Time": {
                        "Minutes": 15
                    }
                }
            },
            "Priority": 1
        }
    ],
    "Role": "IAM-Role-ARN"
}

import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.model.DeleteMarkerReplication;
import software.amazon.awssdk.services.s3.model.Destination;
import software.amazon.awssdk.services.s3.model.Metrics;
import software.amazon.awssdk.services.s3.model.MetricsStatus;
import software.amazon.awssdk.services.s3.model.PutBucketReplicationRequest;
import software.amazon.awssdk.services.s3.model.ReplicationConfiguration;
import software.amazon.awssdk.services.s3.model.ReplicationRule;
import software.amazon.awssdk.services.s3.model.ReplicationRuleFilter;
import software.amazon.awssdk.services.s3.model.ReplicationTime;
import software.amazon.awssdk.services.s3.model.ReplicationTimeStatus;
import software.amazon.awssdk.services.s3.model.ReplicationTimeValue;

public class Main {

  public static void main(String[] args) {
    S3Client s3 = S3Client.builder()
      .region(Region.US_EAST_1)
      .credentialsProvider(() -> AwsBasicCredentials.create(
          "AWS_ACCESS_KEY_ID",
          "AWS_SECRET_ACCESS_KEY")
      )
      .build();

    ReplicationConfiguration replicationConfig = ReplicationConfiguration
      .builder()
      .rules(
          ReplicationRule
            .builder()
            .status("Enabled")
            .priority(1)
            .deleteMarkerReplication(
                DeleteMarkerReplication
                    .builder()
                    .status("Disabled")
                    .build()
            )
            .destination(
                Destination
                    .builder()
                    .bucket("destination_bucket_arn")
                    .replicationTime(
                        ReplicationTime.builder().time(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            ReplicationTimeStatus.ENABLED
                        ).build()
                    )
                    .metrics(
                        Metrics.builder().eventThreshold(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            MetricsStatus.ENABLED
                        ).build()
                    )
                    .build()
            )
            .filter(
                ReplicationRuleFilter
                    .builder()
                    .prefix("testtest")
                    .build()
            )
        .build())
        .role("role_arn")
        .build();

    // Put replication configuration
    PutBucketReplicationRequest putBucketReplicationRequest = PutBucketReplicationRequest
      .builder()
      .bucket("source_bucket")
      .replicationConfiguration(replicationConfig)
      .build();

    s3.putBucketReplication(putBucketReplicationRequest);
  }
}