AWS Data Pipeline tidak lagi tersedia untuk pelanggan baru. Pelanggan yang sudah ada AWS Data Pipeline dapat terus menggunakan layanan seperti biasa. Pelajari selengkapnya
Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Batasan AWS Data Pipeline
Untuk memastikan bahwa ada kapasitas untuk semua pengguna, AWS Data Pipelinemembebankan batas pada sumber daya yang dapat Anda alokasikan dan tingkat di mana Anda dapat mengalokasikan sumber daya.
Batasan Akun
Batasan berikut ini berlaku ke satu akun AWS. Jika Anda memerlukan kapasitas tambahan, Anda dapat menggunakan Formulir permintaan Pusat Dukungan Amazon Web Services
| Atribut | Kuota | Dapat Disesuaikan |
|---|---|---|
| Jumlah alur | 100 | Ya |
| Jumlah objek per alur | 100 | Ya |
| Jumlah instans aktif per objek | 5 | Ya |
| Jumlah bidang per objek | 50 | Tidak |
| Jumlah byte UTF8 per nama bidang atau pengidentifikasi | 256 | Tidak |
| Jumlah byte UTF8 per bidang | 10,240 | Tidak |
| Jumlah byte UTF8 per objek | 15.360 (termasuk nama bidang) | Tidak |
| Tingkat pembuatan instans dari sebuah objek | 1 per 5 menit | Tidak |
| Coba lagi aktivitas alur | 5 per tugas | Tidak |
| Penundaan minimum antara upaya coba lagi | 2 menit | Tidak |
| Interval penjadwalan minimum | 15 menit | Tidak |
| Jumlah maksimum roll-up ke dalam satu objek | 32 | Tidak |
| Jumlah maksimum instans EC2 per objek Ec2Resource | 1 | Tidak |
Batas Panggilan Layanan Web
AWS Data Pipeline membatasi tingkat di mana Anda dapat memanggil API layanan web. Batasan ini juga berlaku untuk agen AWS Data Pipeline yang memanggil API layanan web atas nama Anda, seperti konsol, CLI, dan Task Runner.
Batasan berikut ini berlaku ke satu akun AWS. Ini berarti penggunaan total pada akun, termasuk bahwa oleh pengguna, tidak dapat melebihi batas ini.
Tingkat ledakan memungkinkan Anda menyimpan panggilan layanan web selama periode tidak aktif dan menghabiskan mereka semua dalam waktu singkat. Sebagai contoh, CreatePipeline mempunyai kadar biasa satu panggilan setiap lima detik. Jika Anda tidak menelepon layanan selama 30 detik, Anda memiliki enam panggilan disimpan. Anda kemudian bisa memanggil layanan web enam kali dalam satu detik. Karena ini adalah di bawah batas meledak dan terus panggilan rata-rata Anda pada batas tarif reguler, panggilan Anda tidak terhalang.
Jika Anda melebihi batas tingkat dan batas meledak, panggilan layanan web Anda gagal dan mengembalikan pengecualian throttling. Implementasi default pekerja, Task Runner, secara otomatis mencoba API panggilan yang gagal dengan pelambatan throttling. Task Runner memiliki mundur sehingga upaya berikutnya untuk memanggil API terjadi pada interval semakin lama. Jika Anda menulis pekerja, sebaiknya Anda menerapkan logika coba lagi yang serupa.
Batasan ini diterapkan terhadap akun AWS individu.
| API | Batas tarif reguler | Batas burst |
|---|---|---|
| ActivatePipeline | 1 panggilan per detik | 100 panggilan |
| CreatePipeline | 1 panggilan per detik | 100 panggilan |
| DeletePipeline | 1 panggilan per detik | 100 panggilan |
| DescribeObjects | 2 panggilan per detik | 100 panggilan |
| DescribePipelines | 1 panggilan per detik | 100 panggilan |
| GetPipelineDefinition | 1 panggilan per detik | 100 panggilan |
| PollForTask | 2 panggilan per detik | 100 panggilan |
| ListPipelines | 1 panggilan per detik | 100 panggilan |
| PutPipelineDefinition | 1 panggilan per detik | 100 panggilan |
| QueryObjects | 2 panggilan per detik | 100 panggilan |
| ReportTaskProgress | 10 panggilan per detik | 100 panggilan |
| SetTaskStatus | 10 panggilan per detik | 100 panggilan |
| SetStatus | 1 panggilan per detik | 100 panggilan |
| ReportTaskRunnerHeartbeat | 1 panggilan per detik | 100 panggilan |
| ValidatePipelineDefinition | 1 panggilan per detik | 100 panggilan |
Pertimbangan Penskalaan
AWS Data Pipeline menskalakan untuk mengakomodasi sejumlah besar tugas bersamaan dan Anda dapat mengonfigurasinya untuk secara otomatis membuat sumber daya yang diperlukan untuk menangani beban kerja yang besar. Sumber daya yang dibuat secara otomatis ini berada di bawah kendali Anda dan memperhitungkan batas sumber daya akun AWS Anda. Sebagai contoh, jika Anda mengonfigurasi AWS Data Pipeline untuk membuat klaster Amazon EMR 20-simpul untuk memproses data dan akun AWS Anda memiliki batas instans EC2 yang diatur ke 20, Anda mungkin secara tidak sengaja menghabiskan sumber daya pengisian ulang yang tersedia. Sebagai hasilnya, pertimbangkan pembatasan sumber daya ini dalam desain Anda atau tingkatkan batas akun Anda dengan sesuai.
Jika Anda memerlukan kapasitas tambahan, Anda dapat menggunakan Formulir permintaan Pusat Dukungan Amazon Web Services
