Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Migrasi dari KCL 2.x ke 3.x KCL

Topik ini memberikan step-by-step petunjuk untuk memigrasikan konsumen Anda dari KCL 2.x ke KCL 3.x. KCL3.x mendukung migrasi konsumen KCL 2.x di tempat. Anda dapat terus mengkonsumsi data dari aliran data Kinesis Anda sambil memigrasikan pekerja Anda secara bergulir.

Langkah 1: Prasyarat

Sebelum Anda mulai menggunakan KCL 3.x, pastikan Anda memiliki yang berikut:

Langkah 2: Tambahkan dependensi

Jika Anda menggunakan Maven, tambahkan dependensi berikut ke file Anda. pom.xml Pastikan Anda mengganti 3.xx ke versi terbaru. KCL

<dependency>
    <groupId>software.amazon.kinesis</groupId>
    <artifactId>amazon-kinesis-client</artifactId>
    <version>3.x.x</version> <!-- Use the latest version -->
</dependency>

Jika Anda menggunakan Gradle, tambahkan berikut ini ke build.gradle file Anda. Pastikan Anda mengganti 3.xx ke versi terbaru. KCL

implementation 'software.amazon.kinesis:amazon-kinesis-client:3.x.x'

Anda dapat memeriksa versi terbaru dari KCL Repositori Pusat Maven.

Langkah 3: Siapkan konfigurasi terkait migrasi

Untuk bermigrasi dari KCL 2.x ke KCL 3.x, Anda harus mengatur parameter konfigurasi berikut:

configsBuilder.coordiantorConfig().clientVersionConfig(ClientVersionConfig.CLIENT_VERSION_CONFIG_COMPLATIBLE_WITH_2X)

Berikut ini adalah contoh cara mengatur CoordinatorConfig.clientVersionConfig untuk bermigrasi dari KCL 2.x ke 3.x. Anda dapat menyesuaikan konfigurasi lain sesuai kebutuhan berdasarkan kebutuhan spesifik Anda:

Scheduler scheduler = new Scheduler(
    configsBuilder.checkpointConfig(),
    configsBuilder.coordiantorConfig().clientVersionConfig(ClientVersionConfig.CLIENT_VERSION_CONFIG_COMPLATIBLE_WITH_2X),
    configsBuilder.leaseManagementConfig(),
    configsBuilder.lifecycleConfig(),
    configsBuilder.metricsConfig(),
    configsBuilder.processorConfig(),
    configsBuilder.retrievalConfig()
);

Sangat penting bahwa semua pekerja dalam aplikasi konsumen Anda menggunakan algoritma load balancing yang sama pada waktu tertentu karena KCL 2.x dan 3.x menggunakan algoritma load balancing yang berbeda. Menjalankan pekerja dengan algoritma load balancing yang berbeda dapat menyebabkan distribusi beban suboptimal karena kedua algoritma beroperasi secara independen.

Pengaturan kompatibilitas KCL 2.x ini memungkinkan aplikasi KCL 3.x Anda berjalan dalam mode yang kompatibel dengan KCL 2.x dan menggunakan algoritma load balancing untuk KCL 2.x hingga semua pekerja di aplikasi konsumen Anda telah ditingkatkan ke 3.x. KCL Ketika migrasi selesai, secara otomatis KCL akan beralih ke mode fungsionalitas KCL 3.x penuh dan mulai menggunakan algoritma penyeimbangan beban KCL 3.x baru untuk semua pekerja yang sedang berjalan.

Langkah 4: Ikuti praktik terbaik untuk implementasi metode shutdownRequested ()

KCL3.x memperkenalkan fitur yang disebut handoff sewa anggun untuk meminimalkan pemrosesan ulang data ketika sewa diserahkan kepada pekerja lain sebagai bagian dari proses penggantian sewa. Ini dicapai dengan memeriksa nomor urut yang diproses terakhir di tabel sewa sebelum serah terima sewa. Untuk memastikan handoff sewa anggun berfungsi dengan baik, Anda harus memastikan bahwa Anda memanggil checkpointer objek dalam metode di kelas Anda. shutdownRequested RecordProcessor Jika Anda tidak memanggil checkpointer objek dalam shutdownRequested metode, Anda dapat menerapkannya seperti yang diilustrasikan dalam contoh berikut.

/**
 * Invoked when either Scheduler has been requested to gracefully shutdown
 * or lease ownership is being transferred gracefully so the current owner
 * gets one last chance to checkpoint.
 *
 * Checkpoints and logs the data a final time.
 *
 * @param shutdownRequestedInput Provides access to a checkpointer, allowing a record processor to checkpoint
 *                               before the shutdown is completed.
 */
public void shutdownRequested(ShutdownRequestedInput shutdownRequestedInput) {
    try {
       // Ensure that all delivered records are processed 
       // and has been successfully flushed to the downstream before calling 
       // checkpoint
       // If you are performing any asynchronous processing or flushing to
       // downstream, you must wait for its completion before invoking
       // the below checkpoint method.
        log.info("Scheduler is shutting down, checkpointing.");
        shutdownRequestedInput.checkpointer().checkpoint();
    } catch (ShutdownException | InvalidStateException e) {
        log.error("Exception while checkpointing at requested shutdown. Giving up.", e);
    } 
}

Langkah 5: Periksa prasyarat KCL 3.x untuk mengumpulkan metrik pekerja

KCL3.x mengumpulkan metrik CPU pemanfaatan seperti CPU pemanfaatan dari pekerja untuk menyeimbangkan beban di seluruh pekerja secara merata. Pekerja aplikasi konsumen dapat berjalan di AmazonEC2, AmazonECS, AmazonEKS, atau AWS Fargate. KCL3.x dapat mengumpulkan metrik CPU pemanfaatan dari pekerja hanya jika prasyarat berikut terpenuhi:

Amazon Elastic Compute Cloud(AmazonEC2)

Layanan Kontainer Elastis Amazon (AmazonECS) di Amazon EC2

Amazon ECS di AWS Fargate

Layanan Amazon Elastic Kubernetes (Amazon) di Amazon EKS EC2

Amazon EKS di AWS Fargate

Langkah 6: IAM Perbarui izin untuk 3.x KCL

Anda harus menambahkan izin berikut ke IAM peran atau kebijakan yang terkait dengan aplikasi konsumen KCL 3.x Anda. Ini melibatkan memperbarui IAM kebijakan yang ada yang digunakan oleh KCL aplikasi. Untuk informasi selengkapnya, lihat IAMizin yang diperlukan untuk aplikasi KCL konsumen.

Langkah 7: Menyebarkan kode KCL 3.x ke pekerja Anda

Setelah Anda mengatur konfigurasi yang diperlukan untuk migrasi dan menyelesaikan semua daftar periksa migrasi sebelumnya, Anda dapat membuat dan menerapkan kode Anda ke pekerja Anda.

Langkah 8: Selesaikan migrasi

Selama penerapan kode KCL 3.x, KCL terus menggunakan algoritme penetapan sewa dari 2.x. KCL Ketika Anda telah berhasil menerapkan kode KCL 3.x ke semua pekerja Anda, KCL secara otomatis mendeteksi ini dan beralih ke algoritme penetapan sewa baru berdasarkan pemanfaatan sumber daya pekerja. Untuk detail selengkapnya tentang algoritme penetapan sewa baru, lihat. Bagaimana KCL menugaskan sewa kepada pekerja dan menyeimbangkan beban

Selama penerapan, Anda dapat memantau proses migrasi dengan metrik berikut yang dipancarkan. CloudWatch Anda dapat memantau metrik di bawah Migration operasi. Semua metrik adalah per-KCL-application metrik dan disetel ke tingkat SUMMARY metrik. Jika Sum statistik CurrentState:3xWorker metrik cocok dengan jumlah total pekerja dalam KCL aplikasi Anda, ini menunjukkan bahwa migrasi ke KCL 3.x telah berhasil diselesaikan.

KCLmenyediakan kemampuan rollback ke mode kompatibel 2.x selama migrasi. Setelah migrasi berhasil ke KCL 3.x berhasil, kami sarankan Anda menghapus CoordinatorConfig.clientVersionConfig pengaturan CLIENT_VERSION_CONFIG_COMPATIBLE_WITH_2X jika rollback tidak lagi diperlukan. Menghapus konfigurasi ini menghentikan emisi metrik terkait migrasi dari aplikasi. KCL