Praktik Terbaik untuk Rollback Versi Cluster

Amazon EKS mengelola: Meng embalikan server API Kubernetes dan komponen bidang kontrol. Untuk cluster Mode Otomatis, Amazon EKS juga mengelola node pekerja yang bergulir kembali.

Anda bertanggung jawab untuk: Mengem balikan Grup Node Terkelola, node yang dikelola sendiri, dan node hibrida. Anda juga harus memvalidasi kompatibilitas add-on dan memastikan aplikasi, pengontrol khusus, dan alat pihak ketiga berfungsi dengan benar dengan versi sebelumnya.

Pisahkan peningkatan bidang kontrol dan bidang data (kluster Mode Non-Otomatis). Untuk cluster yang menggunakan Grup Node Terkelola atau node yang dikelola sendiri, pertimbangkan untuk meningkatkan bidang kontrol terlebih dahulu dan mengizinkan periode memanggang sebelum memutakhirkan node pekerja. Sementara node tetap aktif N-1, wawasan miring versi kubelet tetap dalam status PASSING. Ini membuat jalur rollback tetap jelas tanpa perlu memutar kembali node terlebih dahulu.

Tingkatkan add-on ke versi yang kompatibel silang. Sebelum memutakhirkan bidang kontrol, pastikan semua add-on (dikelola dan dikelola sendiri) kompatibel dengan versi Kubernetes saat ini dan target. Ini membuat wawasan kompatibilitas add-on tetap jelas untuk peningkatan dan rollback.

Hindari menggunakan API khusus versi selama periode memanggang. Jika Anda membuat sumber daya yang menggunakan API atau fitur yang hanya tersedia di versi baru selama jendela 7 hari, Anda harus menghapusnya sebelum memutar kembali. Batasi adopsi API khusus versi baru sampai Anda yakin peningkatan stabil.

Tingkatkan lebih cepat, bukan nanti. Dengan rollback tersedia, Anda dapat dengan percaya diri meningkatkan segera setelah rilis versi baru daripada menunggu hingga tenggat waktu dukungan diperpanjang. Upgrade sebelumnya memberi Anda lebih banyak waktu untuk memvalidasi dan mengurangi biaya dukungan yang diperpanjang.

Waspadai pembatasan rollback dukungan yang diperpanjang. Jika cluster Anda ditingkatkan secara otomatis pada akhir dukungan yang diperpanjang, Anda tidak dapat memutar kembali ke versi sebelumnya. Jika Anda ditingkatkan secara otomatis di akhir dukungan standar, Anda dapat memutar kembali, tetapi Anda harus terlebih dahulu mengubah kebijakan peningkatan menjadiEXTENDED.

Tinjau wawasan segera setelah memutakhirkan. Jangan menunggu sampai ada yang tidak beres. Setelah memutakhirkan, periksa wawasan kesiapan rollback sehingga Anda mengetahui postur rollback Anda saat ini.

Mengatasi wawasan ERROR secara proaktif. Jika wawasan menunjukkan status ERROR segera setelah peningkatan, selesaikan lebih awal saat jendela 7 hari masih terbuka. Semakin lama Anda menunggu, semakin besar kemungkinan status cluster Anda menyimpang dan pemblokir baru muncul.

Pahami apa yang dilakukan dan tidak dicakup oleh wawasan. Wawasan memeriksa versi add-on yang dikelola Amazon EKS, penggunaan API, kemiringan versi, dan kesehatan cluster. Mereka tidak memeriksa add-on yang dikelola sendiri, pengontrol khusus, atau kompatibilitas tingkat aplikasi. Pertahankan validasi kompatibilitas Anda sendiri untuk add-on yang dikelola sendiri (misalnya, cluster-autoscaler, pengendali masuk, operator khusus, agen pemantauan).

Grup Node Terkelola. Anda harus memutar kembali grup node terkelola Anda ke versi sebelumnya sebelum memutar kembali bidang kontrol. Gunakan UpdateNodegroupVersion operasi dengan versi Kubernetes sebelumnya. Rollback menghormati pengaturan pembaruan yang dikonfigurasi Anda (maxUnavailable, strategi perbarui).

Self-managed dan node hibrida. Perbarui AMI atau konfigurasi node Anda untuk menggunakan versi Kubernetes sebelumnya sebelum memutar kembali bidang kontrol.

Fargate. Versi rollback tidak didukung untuk node pekerja Fargate. Hapus pod Fargate yang menjalankan versi yang sama dengan bidang kontrol sebelum memulai rollback, atau gunakan --force untuk melewati wawasan kemiringan versi (yang mungkin mengakibatkan perilaku tak terduga hingga pod diganti).

Tinjau anggaran gangguan sebelum memulai rollback. Amazon EKS menyediakan wawasan kesiapan rollback untuk anggaran NodePool gangguan. Anggaran yang disetel ke 0 memicu wawasan ERROR, yang memblokir rollback tanpa batas waktu. Anggaran terbatas dan PodDisruptionBudgets (PDB) memicu wawasan PERINGATAN, yang dapat memperlambat pengembalian tetapi memungkinkan kemajuan ke depan. Atasi wawasan ERROR sebelum memulai rollback.

Bersiaplah untuk menyesuaikan anggaran selama rollback. Jika rollback memakan waktu lebih lama dari yang diharapkan, Anda dapat menyesuaikan anggaran NodePool gangguan dan PDB selama rollback kubectl sedang berlangsung. Meningkatkan anggaran memungkinkan lebih banyak penggantian node bersamaan.

Hapus anotasi yang tidak mengganggu dari node pemblokiran. karpenter.sh/do-not-disruptAnotasi pada node memblokir rollback tanpa batas waktu. Hapus dari node yang harus diganti.

Lacak kemajuan rollback simpul. Gunakan kubectl get nodes -l karpenter.sh/nodepool=<nodepool-name> -o wide untuk memantau node mana yang telah diganti dengan AMI versi sebelumnya.

Gunakan CancelUpdate jika diperlukan. Jika rollback memakan waktu terlalu lama atau menyebabkan lebih banyak masalah daripada yang diselesaikan, batalkan rollback. Setelah pembatalan, node menyatu kembali ke versi saat ini dan Anda dapat mengambil pendekatan yang berbeda.

Tetapkan batas waktu yang sesuai. Gunakan timeoutMinutes parameter rollbackConfig untuk menyelaraskan dengan harapan operasional Anda. Standarnya adalah 720 menit (12 jam). Untuk cluster dengan anggaran konservatif, pertimbangkan untuk meningkatkannya. Untuk IaC-managed cluster, selaraskan dengan batas waktu alat Anda.

DescribeUpdate operasi. Gunakan describe-update untuk memeriksa status operasi rollback saat ini (InProgress,, SuccessfulFailed,Cancelled). Untuk melacak kemajuan pembatalan, periksa cancellation objek dalam respons.

Wawasan klaster. Amazon EKS memeriksa ulang wawasan sebelum melanjutkan dengan rollback bidang kontrol (setelah rollback node selesai untuk Mode Otomatis). Pantau wawasan ERROR baru yang mungkin muncul.

Status klaster. Untuk cluster Mode Otomatis, status cluster tetap ada ACTIVE selama rollback node dan berubah menjadi UPDATING hanya selama rollback bidang kontrol. Jangan hanya mengandalkan status cluster untuk mengetahui rollback sedang berjalan—gunakan. DescribeUpdate

Versi node. Untuk Mode Otomatis, periksa versi node Kubernetes untuk melacak kemajuan penggantian node. Untuk Grup Node Terkelola, pantau status pembaruan grup simpul.

AWS CloudFormation mendukung hingga 36 jam per sumber daya. Jika rollback melebihi ini, per CloudFormation lakukan itu sebagai no-op, yang dapat meninggalkan cluster dalam keadaan hanyut di mana template tidak mencerminkan versi cluster yang sebenarnya. Waktu tunggu rollback default adalah 720 menit (12 jam).

Terraform Enterprise/Cloud memiliki batas waktu sekitar 24 jam, meskipun batas waktu sisi klien bervariasi.

Sej timeoutMinutes ajarkan dengan batas waktu alat iAC Anda untuk mencegah alat iAC habis waktu sebelum Amazon EKS menyelesaikan rollback.

Pertimbangkan untuk memulai rollback CLI/API untuk cluster Mode Otomatis dengan anggaran terbatas, bukan melalui IaC. Gunakan CancelUpdate langsung jika waktu lapisan IAc habis.

Rollback CloudFormation stack AWS tidak memicu rollback versi. Jika pembaruan CloudFormation tumpukan AWS gagal, pengembalian tumpukan otomatis ke versi template sebelumnya tidak memulai rollback versi cluster. Anda harus secara eksplisit memulai rollback versi.

Rollback melengkapi pengujian, itu tidak menggantikannya. Terus gunakan wawasan cluster, pengujian pra-upgrade di lingkungan non-produksi, dan peluncuran bertahap. Rollback menangani kasus yang tidak dapat ditangkap oleh pengujian — masalah yang hanya muncul dalam produksi.

Rollback mengurangi kebutuhan akan prosedur pencadangan dan snapshot manual sebagai mekanisme keselamatan utama Anda. Dengan rollback asli yang tersedia, Anda tidak perlu lagi hanya mengandalkan snapshot etcd atau skrip rollback khusus untuk pemulihan bencana selama peningkatan.

Wawasan adalah upaya terbaik dan titik waktu. Amazon EKS mengevaluasinya saat Anda memicu rollback. Perubahan yang dilakukan setelah pemeriksaan tersebut (misalnya, membuat sumber daya dengan API baru) tidak ditangkap dan dapat menyebabkan masalah setelah rollback selesai.

Rollback tidak menjamin pemulihan aplikasi. Amazon EKS mengembalikan bidang kontrol dengan aman, tetapi aplikasi, konfigurasi, dan dependensi Anda adalah tanggung jawab Anda untuk memvalidasi terhadap versi sebelumnya.

Kembalikan cluster ke versi Kubernetes sebelumnya

Kembalikan cluster Mode Otomatis Amazon EKS

Praktik Terbaik untuk Upgrade Cluster

Wawasan klaster

Siklus hidup versi Kubernetes di EKS