Memenuhi persyaratan kepatuhan dengan Kontrol Waktu Replikasi S3

Kontrol Waktu Replikasi S3 (S3 RTC) membantu Anda memenuhi persyaratan kepatuhan atau bisnis untuk replikasi data dan memberikan visibilitas ke dalam waktu replikasi Amazon S3. S3 RTC mereplikasi sebagian besar objek yang Anda unggah ke Amazon S3 dalam hitungan detik, dan 99,9 persen dari objek tersebut dalam waktu 15 menit.

Secara default, S3 RTC menyertakan dua cara untuk melacak kemajuan replikasi:

Praktik terbaik dan pedoman untuk S3 RTC

Saat mereplikasi data di Amazon S3 dengan S3 Replication Time Control (S3 RTC) diaktifkan, ikuti panduan praktik terbaik ini untuk mengoptimalkan kinerja replikasi untuk beban kerja Anda.

Replikasi Amazon S3 dan pedoman kinerja tingkat permintaan

Ketika mengunggah dan mengambil penyimpanan dari Amazon S3, aplikasi Anda dapat mencapai ribuan transaksi per detik dalam kinerja permintaan. Misalnya, aplikasi dapat mencapai setidaknya 3.500PUT//COPY/DELETEatau 5.500 POSTGET/HEADpermintaan per detik per awalan dalam bucket S3, termasuk permintaan yang dibuat S3 Replication atas nama Anda. Tidak ada batas jumlah awalan dalam bucket. Anda dapat meningkatkan kinerja baca atau tulis dengan cara menyelaraskan pembacaan. Misalnya, jika Anda membuat 10 awalan dalam bucket S3 untuk memparalelkan pembacaan, Anda dapat menskalakan kinerja baca menjadi 55.000 permintaan baca per detik.

Amazon S3 secara otomatis menskalakan sebagai respons terhadap tingkat permintaan berkelanjutan di atas pedoman ini, atau tarif permintaan berkelanjutan bersamaan dengan LIST permintaan. Meski Amazon S3 secara internal mengoptimalkan tingkat permintaan baru, Anda mungkin menerima respons permintaan HTTP 503 untuk sementara hingga optimasi selesai. Perilaku ini mungkin terjadi dengan peningkatan kecepatan permintaan per detik, atau saat pertama kali mengaktifkan S3 RTC. Selama periode ini, latensi replikasi Anda dapat meningkat. Perjanjian tingkat layanan (SLA) S3 RTC tidak berlaku untuk periode waktu ketika pedoman kinerja Amazon S3 pada permintaan per detik terlampaui.

SLA S3 RTC juga tidak berlaku selama periode waktu di mana kecepatan transfer data replikasi Anda melebihi kuota default 1 gigabit per detik (Gbps). Jika Anda mengharapkan kecepatan transfer replikasi melebihi 1 Gbps, Anda dapat menghubungi AWS Dukungan Pusat atau menggunakan Kuota Layanan untuk meminta peningkatan kuota kecepatan transfer replikasi Anda.

Memperkirakan tingkat permintaan replikasi Anda

Tingkat permintaan total Anda termasuk permintaan yang dibuat replikasi Amazon S3 atas nama Anda harus sesuai dengan pedoman tarif permintaan Amazon S3 untuk sumber replikasi dan bucket tujuan. Untuk setiap objek yang direplikasi, replikasi Amazon S3 menghasilkan hingga lima HEAD permintaanGET/dan satu PUT permintaan ke bucket sumber, dan satu PUT permintaan ke setiap bucket tujuan.

Misalnya, jika Anda mengharapkan untuk mereplikasi 100 objek per detik, replikasi Amazon S3 mungkin melakukan 100 PUT permintaan tambahan atas nama Anda dengan total 200 PUT permintaan per detik ke bucket S3 sumber. Replikasi Amazon S3 juga dapat melakukan hingga 500GET/HEADpermintaan (5/ GET HEAD permintaan untuk setiap objek yang direplikasi.)

Melebihi kuota kecepatan transfer data S3 RTC

Jika Anda mengharapkan kecepatan transfer data S3 RTC melebihi kuota default 1 Gbps, hubungi AWS Dukungan Pusat atau gunakan Kuota Layanan untuk meminta peningkatan kuota kecepatan transfer replikasi Anda. Saat menghitung kecepatan transfer Anda, sertakan data anotasi karena byte anotasi dihitung terhadap kuota kecepatan transfer data S3 RTC.

AWS KMS tingkat permintaan replikasi objek terenkripsi

Saat Anda mereplikasi objek yang dienkripsi dengan enkripsi sisi server dengan AWS Key Management Service (AWS KMS) keys (SSE-KMS), kuota AWS KMS permintaan per detik berlaku. AWS KMS mungkin menolak permintaan yang valid karena tingkat permintaan Anda melebihi kuota untuk jumlah permintaan per detik. Ketika permintaan dibatasi, AWS KMS mengembalikan ThrottlingException kesalahan. Kuota tarif AWS KMS permintaan berlaku untuk permintaan yang Anda buat secara langsung dan permintaan yang dibuat oleh replikasi Amazon S3 atas nama Anda.

Misalnya, jika Anda berharap untuk mereplikasi 1.000 objek per detik, Anda dapat mengurangi 2.000 permintaan dari kuota tarif AWS KMS permintaan Anda. Tingkat permintaan per detik yang dihasilkan tersedia untuk AWS KMS beban kerja Anda tidak termasuk replikasi. Anda dapat menggunakan metrik AWS KMS permintaan di Amazon CloudWatch untuk memantau tingkat AWS KMS permintaan total pada Anda Akun AWS.

Untuk meminta kenaikan kuota AWS KMS permintaan per detik, hubungi AWS Dukungan Pusat atau gunakan Kuota Layanan.

Mengaktifkan Kontrol Waktu Replikasi S3

Anda dapat mulai menggunakan Kontrol Waktu Replikasi S3 (S3 RTC) dengan aturan replikasi baru atau yang sudah ada. Anda dapat memilih untuk menerapkan aturan replikasi ke seluruh bucket, atau ke objek dengan awalan atau tag tertentu. Saat Anda mengaktifkan S3 RTC, metrik Replikasi S3 juga diaktifkan pada aturan replikasi Anda.

Anda dapat mengonfigurasi S3 RTC dengan menggunakan konsol Amazon S3, API Amazon S3, AWS SDK, dan AWS Command Line Interface ()AWS CLI.

{
    "Rules": [
        {
            "Status": "Enabled",
            "Filter": {
                "Prefix": "Tax"
            },
            "DeleteMarkerReplication": {
                "Status": "Disabled"
            },
            "Destination": {
                "Bucket": "arn:aws:s3:::amzn-s3-demo-destination-bucket",
                "Metrics": {
                    "Status": "Enabled",
                    "EventThreshold": {
                        "Minutes": 15
                    }
                },
                "ReplicationTime": {
                    "Status": "Enabled",
                    "Time": {
                        "Minutes": 15
                    }
                }
            },
            "Priority": 1
        }
    ],
    "Role": "IAM-Role-ARN"
}

import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.model.DeleteMarkerReplication;
import software.amazon.awssdk.services.s3.model.Destination;
import software.amazon.awssdk.services.s3.model.Metrics;
import software.amazon.awssdk.services.s3.model.MetricsStatus;
import software.amazon.awssdk.services.s3.model.PutBucketReplicationRequest;
import software.amazon.awssdk.services.s3.model.ReplicationConfiguration;
import software.amazon.awssdk.services.s3.model.ReplicationRule;
import software.amazon.awssdk.services.s3.model.ReplicationRuleFilter;
import software.amazon.awssdk.services.s3.model.ReplicationTime;
import software.amazon.awssdk.services.s3.model.ReplicationTimeStatus;
import software.amazon.awssdk.services.s3.model.ReplicationTimeValue;

public class Main {

  public static void main(String[] args) {
    S3Client s3 = S3Client.builder()
      .region(Region.US_EAST_1)
      .credentialsProvider(() -> AwsBasicCredentials.create(
          "AWS_ACCESS_KEY_ID",
          "AWS_SECRET_ACCESS_KEY")
      )
      .build();

    ReplicationConfiguration replicationConfig = ReplicationConfiguration
      .builder()
      .rules(
          ReplicationRule
            .builder()
            .status("Enabled")
            .priority(1)
            .deleteMarkerReplication(
                DeleteMarkerReplication
                    .builder()
                    .status("Disabled")
                    .build()
            )
            .destination(
                Destination
                    .builder()
                    .bucket("destination_bucket_arn")
                    .replicationTime(
                        ReplicationTime.builder().time(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            ReplicationTimeStatus.ENABLED
                        ).build()
                    )
                    .metrics(
                        Metrics.builder().eventThreshold(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            MetricsStatus.ENABLED
                        ).build()
                    )
                    .build()
            )
            .filter(
                ReplicationRuleFilter
                    .builder()
                    .prefix("testtest")
                    .build()
            )
        .build())
        .role("role_arn")
        .build();

    // Put replication configuration
    PutBucketReplicationRequest putBucketReplicationRequest = PutBucketReplicationRequest
      .builder()
      .bucket("source_bucket")
      .replicationConfiguration(replicationConfig)
      .build();

    s3.putBucketReplication(putBucketReplicationRequest);
  }
}