Memecahkan Masalah Amazon MSK Connect - Amazon Managed Streaming untuk Apache Kafka

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memecahkan Masalah Amazon MSK Connect

Informasi berikut dapat membantu Anda memecahkan masalah yang mungkin Anda alami saat menggunakan MSK Connect. Anda juga dapat memposting masalah Anda ke AWS re:Post.

Konektor tidak dapat mengakses sumber daya yang dihosting di internet publik

Lihat Mengaktifkan akses internet untuk Amazon MSK Connect.

Jumlah tugas yang berjalan konektor tidak sama dengan jumlah tugas yang ditentukan dalam tasks.max

Berikut adalah beberapa alasan konektor mungkin menggunakan lebih sedikit tugas daripada konfigurasi tasks.max yang ditentukan:

  • Beberapa implementasi konektor membatasi jumlah tugas yang dapat digunakan. Misalnya, konektor Debezium untuk MySQL terbatas untuk menggunakan satu tugas.

  • Saat menggunakan mode kapasitas skala otomatis, Amazon MSK Connect mengganti properti tasks.max konektor dengan nilai yang sebanding dengan jumlah pekerja yang berjalan di konektor dan jumlah MCU per pekerja.

  • Untuk konektor wastafel, tingkat paralelisme (jumlah tugas) tidak boleh lebih dari jumlah partisi topik. Meskipun Anda dapat mengatur tasks.max lebih besar dari itu, satu partisi tidak pernah diproses oleh lebih dari satu tugas pada satu waktu.

  • Di Kafka Connect 2.7.x, penetapan partisi konsumen default adalah. RangeAssignor Perilaku pemberi tugas ini adalah memberikan partisi pertama dari setiap topik kepada satu konsumen, partisi kedua dari setiap topik kepada satu konsumen, dll. Ini berarti bahwa jumlah maksimum tugas aktif untuk konektor wastafel menggunakan RangeAssignor sama dengan jumlah maksimum partisi dalam setiap topik yang dikonsumsi. Jika ini tidak berfungsi untuk kasus penggunaan Anda, Anda harus membuat Konfigurasi Pekerja di mana consumer.partition.assignment.strategy properti disetel ke penugasan partisi konsumen yang lebih sesuai. Lihat Antarmuka Kafka 2.7 ConsumerPartitionAssignor: Semua Kelas Penerapan yang Dikenal.