Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Praktik terbaik untuk mengimpor dari Amazon S3 ke DynamoDB

Berikut ini adalah praktik terbaik untuk mengimpor data dari Amazon S3 ke DynamoDB.

Tetap di bawah batas 50.000 objek S3

Setiap pekerjaan impor mendukung maksimum 50.000 objek S3. Jika dataset Anda berisi lebih dari 50.000 objek, pertimbangkan untuk mengkonsolidasikannya menjadi objek yang lebih besar.

Hindari objek S3 yang terlalu besar

Objek S3 diimpor secara paralel. Memiliki banyak objek S3 berukuran sedang memungkinkan eksekusi paralel tanpa overhead yang berlebihan. Untuk item di bawah 1 KB, pertimbangkan untuk menempatkan 4.000.000 item ke dalam setiap objek S3. Jika Anda memiliki ukuran rata-rata item yang lebih besar, tempatkan item yang lebih sedikit secara proporsional ke dalam setiap objek S3.

Mengacak data yang diurutkan

Jika objek S3 menyimpan data dalam urutan yang diurutkan, objek tersebut dapat membuat partisi penerapan panas. Ini adalah situasi di mana satu partisi menerima semua aktivitas, lalu partisi berikutnya setelah itu, dan seterusnya. Data dalam urutan yang diurutkan didefinisikan sebagai item secara berurutan dalam objek S3 yang akan ditulis ke partisi target yang sama selama impor. Salah satu situasi umum ketika data diurutkan adalah file CSV di mana item diurutkan berdasarkan kunci partisi sehingga item berulang berbagi kunci partisi yang sama.

Untuk menghindari partisi penerapan panas, kami sarankan Anda mengacak urutan dalam kasus ini. Hal ini dapat meningkatkan performa dengan menyebarkan operasi tulis. Untuk informasi selengkapnya, lihat Mendistribusikan aktivitas menulis secara efisien selama pengunggahan data di DynamoDB.

Kompres data untuk menjaga ukuran total objek S3 di bawah batas Regional

Dalam proses impor dari S3, terdapat batasan jumlah total ukuran data objek S3 yang akan diimpor. Batasannya adalah 15 TB di Wilayah us-east-1, us-west-2, dan eu-west-1, dan 1 TB di semua Wilayah lainnya. Batasnya didasarkan pada ukuran objek S3 mentah.

Kompresi memungkinkan lebih banyak data mentah sesuai dengan batasnya. Jika kompresi saja tidak cukup untuk memenuhi impor dalam batas tersebut, Anda juga dapat menghubungi AWS Premium Support untuk peningkat kuota.

Waspadai bagaimana ukuran item memengaruhi performa

Jika ukuran item rata-rata Anda sangat kecil (di bawah 200 byte), proses impor mungkin memakan waktu sedikit lebih lama dibandingkan ukuran item yang lebih besar.

Pertimbangkan untuk mengimpor tanpa Indeks Sekunder Global

Durasi tugas impor mungkin bergantung pada keberadaan satu atau beberapa indeks sekunder global (GSI). Jika Anda berencana membuat indeks dengan kunci partisi yang memiliki kardinalitas rendah, Anda mungkin melihat impor yang lebih cepat jika Anda menunda pembuatan indeks hingga tugas impor selesai (daripada memasukkannya ke dalam tugas impor).