Memecahkan masalah node hibrida

Topik ini mencakup beberapa kesalahan umum yang mungkin Anda lihat saat menggunakan Amazon EKS Hybrid Nodes dan cara memperbaikinya. Untuk informasi pemecahan masalah lainnya, lihat Memecahkan masalah dengan kluster dan node Amazon EKS dan tag Pusat Pengetahuan untuk Amazon EKS di AWS Re:Post. Jika Anda tidak dapat menyelesaikan masalah, hubungi AWS Dukungan.

"msg":"Command failed","error":"failed to install ssm installer: validating ssm-setup-cli signature: Signature Verification Error: No matching signature"

Pemecahan masalah node dengan nodeadm debug Anda dapat menjalankan nodeadm debug perintah dari node hybrid Anda untuk memvalidasi jaringan dan persyaratan kredensi terpenuhi. Untuk informasi lebih lanjut tentang nodeadm debug perintah, lihatReferensi nodead m node hibrida.

Mendeteksi masalah dengan node hibrida Anda dengan wawasan cluster Wawasan klaster Amazon EKS mencakup pemeriksaan wawasan yang mendeteksi masalah umum dengan konfigurasi Node Hibrid EKS di cluster Anda. Anda dapat melihat hasil dari semua pemeriksaan wawasan dari Konsol Manajemen AWS, AWS CLI, dan AWS SDK. Untuk informasi selengkapnya tentang wawasan cluster, lihatMempersiapkan peningkatan versi Kubernetes dan memecahkan masalah kesalahan konfigurasi dengan wawasan klaster.

Memasang pemecahan masalah node hibrida

Topik pemecahan masalah berikut terkait dengan menginstal dependensi node hybrid pada host dengan nodeadm install perintah.

nodeadmperintah gagal must run as root

Per nodeadm install intah harus dijalankan dengan pengguna yang memiliki root atau sudo hak istimewa pada host Anda. Jika Anda menjalankan nodeadm install dengan pengguna yang tidak memiliki root atau sudo hak istimewa, Anda akan melihat kesalahan berikut dalam nodeadm output.

"msg":"Command failed","error":"must run as root"

Tidak dapat terhubung ke dependensi

Per nodeadm install intah menginstal dependensi yang diperlukan untuk node hybrid. Dependensi node hibrida termasukcontainerd,, kubeletkubectl, dan komponen AWS SSM atau AWS IAM Roles Anywhere. Anda harus memiliki akses dari tempat Anda menjalankan nodeadm install untuk mengunduh dependensi ini. Untuk informasi lebih lanjut tentang daftar lokasi yang harus dapat Anda akses, lihatMempersiapkan jaringan untuk node hybrid. Jika Anda tidak memiliki akses, Anda akan melihat kesalahan yang mirip dengan berikut ini di nodeadm install output.

"msg":"Command failed","error":"failed reading file from url: ...: max retries achieved for http request"

Gagal memperbarui manajer paket

Per nodeadm install intah berjalan apt update atau yum update atau dnf update sebelum menginstal dependensi node hybrid. Jika langkah ini tidak berhasil, Anda mungkin melihat kesalahan yang mirip dengan berikut ini. Untuk memperbaiki, Anda dapat menjalankan apt update atau yum update atau dnf update sebelum menjalankan nodeadm install atau Anda dapat mencoba menjalankan kembalinodeadm install.

failed to run update using package manager

Batas waktu atau batas waktu konteks terlampaui

Saat menjalankannodeadm install, jika Anda melihat masalah pada berbagai tahap proses penginstalan dengan kesalahan yang menunjukkan ada batas waktu atau batas waktu konteks terlampaui, Anda mungkin memiliki koneksi lambat yang mencegah pemasangan dependensi node hibrida sebelum batas waktu terpenuhi. Untuk mengatasi masalah ini, Anda dapat mencoba menggunakan --timeout flag in nodeadm untuk memperpanjang durasi batas waktu untuk mengunduh dependensi.

nodeadm install K8S_VERSION --credential-provider CREDS_PROVIDER --timeout 20m0s
      

Menghubungkan pemecahan masalah node hibrida

Topik pemecahan masalah di bagian ini terkait dengan proses menghubungkan node hybrid ke cluster EKS dengan nodeadm init perintah.

Kesalahan operasi atau skema yang tidak didukung

Saat menjalankannodeadm init, jika Anda melihat kesalahan yang terkait dengan operation error atauunsupported scheme, periksa nodeConfig.yaml untuk memastikannya diformat dengan benar dan diteruskan kenodeadm. Untuk informasi selengkapnya tentang format dan opsi untuknodeConfig.yaml, lihatReferensi nodead m node hibrida.

"msg":"Command failed","error":"operation error ec2imds: GetRegion, request canceled, context deadline exceeded"

Peran Hybrid Nodes IAM kehilangan izin untuk tindakan eks:DescribeCluster

Saat menjalankannodeadm init, nodeadm cobalah untuk mengumpulkan informasi tentang cluster EKS Anda dengan memanggil DescribeCluster tindakan EKS. Jika peran IAM Node Hibrid Anda tidak memiliki izin untuk eks:DescribeCluster tindakan tersebut, maka Anda harus meneruskan titik akhir API Kubernetes, bundel CA cluster, dan layanan IPv4 CIDR dalam konfigurasi node yang Anda lewati saat menjalankan. nodeadm nodeadm init Untuk informasi selengkapnya tentang izin yang diperlukan untuk peran IAM Node Hibrid, lihatSiapkan kredenSIAL untuk node hibrida.

"msg":"Command failed","error":"operation error EKS: DescribeCluster, https response error StatusCode: 403 ... AccessDeniedException"

Peran Hybrid Nodes IAM kehilangan izin untuk tindakan eks:ListAccessEntries

Saat menjalankannodeadm init, mencoba nodeadm untuk memvalidasi apakah cluster EKS Anda memiliki entri akses tipe yang HYBRID_LINUX terkait dengan peran IAM Node Hibrid dengan memanggil ListAccessEntries tindakan EKS. Jika peran IAM Node Hibrid Anda tidak memiliki izin untuk eks:ListAccessEntries tindakan tersebut, maka Anda harus mener --skip cluster-access-validation uskan tanda saat menjalankan nodeadm init perintah. Untuk informasi selengkapnya tentang izin yang diperlukan untuk peran IAM Node Hibrid, lihatSiapkan kredenSIAL untuk node hibrida.

"msg":"Command failed","error":"operation error EKS: ListAccessEntries, https response error StatusCode: 403 ... AccessDeniedException"

Node IP tidak di jaringan node jarak jauh CIDR

Saat menjalankannodeadm init, Anda mungkin mengalami kesalahan jika alamat IP node tidak berada dalam CIDR jaringan node jarak jauh yang ditentukan. Kesalahan akan terlihat mirip dengan contoh berikut:

node IP 10.18.0.1 is not in any of the remote network CIDR blocks [10.0.0.0/16 192.168.0.0/16]

Contoh ini menunjukkan node dengan IP 10.18.0.1 mencoba bergabung dengan cluster dengan jaringan jarak jauh CIDRs 10.0.0. 0/16 dan 192.168.0. 0/16. Kesalahan terjadi karena 10.18.0.1 tidak berada dalam salah satu rentang.

Konfirmasikan bahwa Anda telah mengkonfigurasi dengan benar RemoteNodeNetworks untuk menyertakan semua alamat IP node. Untuk informasi selengkapnya tentang konfigurasi jaringan, lihatMempersiapkan jaringan untuk node hybrid.

aws eks describe-cluster --name CLUSTER_NAME --region REGION_NAME --query cluster.remoteNetworkConfig.remoteNodeNetworks

Jika IP node Anda masih tidak seperti yang Anda harapkan, periksa hal berikut:

ip addr show

Node hibrida tidak muncul di cluster EKS

Jika Anda menjalankan nodeadm init dan selesai tetapi node hibrida Anda tidak muncul di cluster Anda, mungkin ada masalah dengan koneksi jaringan antara node hybrid dan bidang kontrol EKS, Anda mungkin tidak memiliki izin grup keamanan yang diperlukan dikonfigurasi, atau Anda mungkin tidak memiliki pemetaan yang diperlukan dari peran IAM Node Hibrid ke Kontrol Role-Based Akses Kubernetes (RBAC). Anda dapat memulai proses debugging dengan memeriksa status kubelet dan kubelet log dengan perintah berikut. Jalankan perintah berikut dari node hybrid yang gagal bergabung dengan cluster Anda.

systemctl status kubelet

journalctl -u kubelet -f

Tidak dapat berkomunikasi dengan cluster

Jika node hybrid Anda tidak dapat berkomunikasi dengan bidang kontrol cluster, Anda mungkin melihat log yang mirip dengan berikut ini.

"Failed to ensure lease exists, will retry" err="Get ..."

"Unable to register node with API server" err="Post ..."

Failed to contact API server when waiting for CSINode publishing ... dial tcp <ip address>: i/o timeout

Jika Anda melihat pesan ini, periksa hal berikut untuk memastikannya memenuhi persyaratan node hibrida yang dirinci diMempersiapkan jaringan untuk node hybrid.

Tidak sah

Jika node hybrid Anda dapat berkomunikasi dengan bidang kontrol EKS tetapi tidak dapat mendaftar, Anda mungkin melihat log yang mirip dengan berikut ini. Perhatikan perbedaan utama dalam pesan log di bawah ini adalah Unauthorized kesalahan. Ini menandakan bahwa node tidak dapat melakukan tugasnya karena tidak memiliki izin yang diperlukan.

"Failed to ensure lease exists, will retry" err="Unauthorized"

"Unable to register node with API server" err="Unauthorized"

Failed to contact API server when waiting for CSINode publishing: Unauthorized

Jika Anda melihat pesan ini, periksa hal berikut untuk memastikannya memenuhi detail persyaratan node hibrida di Siapkan kredenSIAL untuk node hibrida danMempersiapkan akses cluster untuk node hybrid.

Node hibrida terdaftar dengan cluster EKS tetapi menunjukkan status Tidak Siap

Jika node hybrid Anda berhasil terdaftar dengan cluster EKS Anda, tetapi node hybrid menunjukkan statusNot Ready, hal pertama yang harus diperiksa adalah status Container Networking Interface (CNI) Anda. Jika Anda belum menginstal CNI, maka diharapkan node hybrid Anda memiliki statusNot Ready. Setelah CNI diinstal dan berjalan dengan sukses, node diperbarui ke statusReady. Jika Anda mencoba menginstal CNI tetapi tidak berhasil berjalan, lihat Pemecahan masalah CNI node hibrida di halaman ini.

Permintaan Penandatanganan Sertifikat (CSR) macet Tertunda

Setelah menghubungkan node hybrid ke cluster EKS Anda, jika Anda melihat bahwa ada CSR yang tertunda untuk node hibrida Anda, node hibrida Anda tidak memenuhi persyaratan untuk persetujuan otomatis. CSR untuk node hibrida secara otomatis disetujui dan dikeluarkan jika CSR untuk node hibrida dibuat oleh node dengan eks.amazonaws.com/compute-type: hybrid label, dan CSR memiliki Subjek Alternative Names (SAN) berikut: setidaknya satu DNS SAN sama dengan nama node dan SAN IP milik CIDR jaringan node jarak jauh.

Profil hybrid sudah ada

Jika Anda mengubah nodeadm konfigurasi dan mencoba mendaftarkan ulang node dengan konfigurasi baru, Anda mungkin melihat kesalahan yang menyatakan bahwa profil hibrida sudah ada tetapi isinya telah berubah. Alih-alih berjalan nodeadm init di antara perubahan konfigurasi, jalankan nodeadm uninstall diikuti oleh a nodeadm install dannodeadm init. Ini memastikan pembersihan yang tepat dengan perubahan konfigurasi.

"msg":"Command failed","error":"hybrid profile already exists at /etc/aws/hybrid/config but its contents do not align with the expected configuration"

Node hibrida gagal menyelesaikan API Pribadi

Setelah menjalankannodeadm init, jika Anda melihat kesalahan pada kubelet log yang menunjukkan kegagalan untuk menghubungi server API EKS Kubernetes karena adano such host, Anda mungkin harus mengubah entri DNS untuk titik akhir EKS Kubernetes API di jaringan lokal Anda atau di tingkat host. Lihat M eneruskan kueri DNS masuk ke VPC Anda di dokumentasi AWS Route53.

Failed to contact API server when waiting for CSINode publishing: Get ... no such host

Tidak dapat melihat node hybrid di konsol EKS

Jika Anda telah mendaftarkan node hybrid Anda tetapi tidak dapat melihatnya di konsol EKS, periksa izin prinsipal IAM yang Anda gunakan untuk melihat konsol. Prinsip IAM yang Anda gunakan harus memiliki izin IAM dan Kubernetes minimum tertentu untuk melihat sumber daya di konsol. Untuk informasi selengkapnya, lihat Lihat sumber daya Kubernetes di Konsol Manajemen AWS.

Menjalankan pemecahan masalah node hibrida

Jika node hybrid Anda terdaftar dengan cluster EKS Anda, memiliki statusReady, dan kemudian beralih ke statusNot Ready, ada berbagai masalah yang mungkin berkontribusi pada status tidak sehat seperti simpul kekurangan sumber daya yang cukup untuk CPU, memori, atau ruang disk yang tersedia, atau node terputus dari bidang kontrol EKS. Anda dapat menggunakan langkah-langkah di bawah ini untuk memecahkan masalah node Anda, dan jika Anda tidak dapat menyelesaikan masalah, hubungi AWS Dukungan.

Jalan nodeadm debug kan dari node hybrid Anda untuk memvalidasi jaringan dan persyaratan kredensi terpenuhi. Untuk informasi lebih lanjut tentang nodeadm debug perintah, lihatReferensi nodead m node hibrida.

Dapatkan status simpul

kubectl get nodes -o wide

Periksa kondisi simpul dan peristiwa

kubectl describe node NODE_NAME
      

Dapatkan status pod

kubectl get pods -A -o wide

Periksa kondisi dan acara pod

kubectl describe pod POD_NAME
      

Periksa log pod

kubectl logs POD_NAME
      

Periksa kubectl log

systemctl status kubelet

journalctl -u kubelet -f

Probe keaktifan pod gagal atau webhook tidak berfungsi

Jika aplikasi, add-on, atau webhook yang berjalan di node hybrid Anda tidak dimulai dengan benar, Anda mungkin memiliki masalah jaringan yang memblokir komunikasi ke pod. Agar bidang kontrol EKS dapat menghubungi webhook yang berjalan pada node hybrid, Anda harus mengonfigurasi cluster EKS Anda dengan jaringan pod jarak jauh dan memiliki rute untuk CIDR pod lokal Anda di tabel routing VPC Anda dengan target sebagai Transit Gateway (TGW), gateway pribadi virtual (VGW), atau gateway lain yang Anda gunakan untuk menghubungkan VPC dengan jaringan lokal Anda. Untuk informasi selengkapnya tentang persyaratan jaringan untuk node hibrida, lihatMempersiapkan jaringan untuk node hybrid. Anda juga harus mengizinkan lalu lintas ini di firewall lokal Anda dan memastikan router Anda dapat merutekan dengan benar ke pod Anda. Lihat Konfigurasikan webhook untuk node hybrid untuk informasi selengkapnya tentang persyaratan untuk menjalankan webhook pada node hybrid.

Pesan log pod umum untuk skenario ini ditunjukkan di bawah ini di mana ip-alamat adalah IP Cluster untuk layanan Kubernetes.

dial tcp <ip-address>:443: connect: no route to host

kubectl logsatau kubectl exec perintah tidak berfungsi (perintah kubelet API)

Jikakubectl attach,kubectl cp,kubectl exec,kubectl logs, dan kubectl port-forward perintah habis sementara kubectl perintah lain berhasil, masalahnya kemungkinan terkait dengan konfigurasi jaringan jarak jauh. Perintah ini terhubung melalui cluster ke kubelet titik akhir pada node. Untuk mengetahui informasi selengkapnya, lihat Titik akhir kubelet.

Verifikasi bahwa IP node dan IP pod Anda termasuk dalam jaringan node jarak jauh dan CIDR jaringan pod jarak jauh yang dikonfigurasi untuk cluster Anda. Gunakan perintah di bawah ini untuk memeriksa penugasan IP.

kubectl get nodes -o wide

kubectl get pods -A -o wide

Bandingkan IP ini dengan CIDR jaringan jarak jauh yang dikonfigurasi untuk memastikan routing yang tepat. Untuk persyaratan konfigurasi jaringan, lihatMempersiapkan jaringan untuk node hybrid.

Pemecahan masalah CNI node hibrida

Jika Anda mengalami masalah dengan awalnya memulai Cilium atau Calico dengan node hibrida, itu paling sering disebabkan oleh masalah jaringan antara node hybrid atau pod CNI yang berjalan pada node hybrid, dan bidang kontrol EKS. Pastikan lingkungan Anda memenuhi persyaratan dalam Mempersiapkan jaringan untuk node hibrida. Ini berguna untuk memecah masalah menjadi beberapa bagian.

Node hibrida memiliki status Ready tanpa CNI diinstal

Jika node hybrid Anda menampilkan statusReady, tetapi Anda belum menginstal CNI di cluster Anda, ada kemungkinan bahwa ada artefak CNI lama pada node hybrid Anda. Secara default, saat Anda menghapus Cilium dan Calico dengan alat seperti Helm, sumber daya pada disk tidak dihapus dari mesin fisik atau virtual Anda. Selain itu, Definisi Sumber Daya Kustom (CRD) untuk CNI ini mungkin masih ada di cluster Anda dari instalasi lama. Untuk informasi lebih lanjut, lihat bagian Hapus Cilium dan Hapus Calico dari. Konfigurasikan CNI untuk node hybrid

Pemecahan masalah cilium

Jika Anda mengalami masalah menjalankan Cilium pada node hybrid, lihat langkah-langkah pemec ahan masalah dalam dokumentasi Cilium. Bagian di bawah ini mencakup masalah yang mungkin unik untuk menerapkan Cilium pada node hibrida.

Cilium tidak dimulai

Jika agen Cilium yang berjalan pada setiap node hibrida tidak dimulai, periksa log pod agen Cilium untuk kesalahan. Agen Cilium memerlukan konektivitas ke titik akhir EKS Kubernetes API untuk memulai. Startup agen cilium akan gagal jika konektivitas ini tidak dikonfigurasi dengan benar. Dalam hal ini, Anda akan melihat pesan log yang mirip dengan yang berikut di log pod agen Cilium.

msg="Unable to contact k8s api-server"
level=fatal msg="failed to start: Get \"https://<k8s-cluster-ip>:443/api/v1/namespaces/kube-system\": dial tcp <k8s-cluster-ip>:443: i/o timeout"

Agen Cilium berjalan di jaringan host. Cluster EKS Anda harus dikonfigurasi RemoteNodeNetwork untuk konektivitas Cilium. Konfirmasikan bahwa Anda memiliki grup keamanan tambahan untuk cluster EKS dengan aturan masuk untuk AndaRemoteNodeNetwork, bahwa Anda memiliki rute di VPC untuk AndaRemoteNodeNetwork, dan bahwa jaringan lokal Anda dikonfigurasi dengan benar untuk memungkinkan konektivitas ke bidang kontrol EKS.

Jika operator Cilium sedang berjalan dan beberapa agen Cilium Anda berjalan tetapi tidak semuanya, konfirmasikan bahwa Anda memiliki IP pod yang tersedia untuk dialokasikan untuk semua node di cluster Anda. Anda mengonfigurasi ukuran CIDR Pod yang dapat dialokasikan saat menggunakan IPAM kumpulan cluster dengan clusterPoolIPv4PodCIDRList konfigurasi Cilium Anda. Ukuran CIDR per node dikonfigurasi dengan clusterPoolIPv4MaskSize pengaturan dalam konfigurasi Cilium Anda. Lihat Memperluas kumpulan cluster dalam dokumentasi Cilium untuk informasi selengkapnya.

Cilium BGP tidak bekerja

Jika Anda menggunakan Cilium BGP Control Plane untuk mengiklankan alamat pod atau layanan Anda ke jaringan lokal Anda, Anda dapat menggunakan perintah Cilium CLI berikut untuk memeriksa apakah BGP mengiklankan rute ke sumber daya Anda. Untuk langkah-langkah untuk menginstal CLI Cilium, lihat Menginstal Cilium CLI dalam dokumentasi Cilium.

Jika BGP bekerja dengan benar, Anda akan melihat node hybrid Anda dengan Status Sesi established di output. Anda mungkin perlu bekerja dengan tim jaringan Anda untuk mengidentifikasi nilai yang benar untuk AS Lokal, Peer AS, dan Alamat Peer lingkungan Anda.

cilium bgp peers

cilium bgp routes

Jika Anda menggunakan Cilium BGP untuk mengiklankan IP Layanan dengan jenisLoadBalancer, Anda harus memiliki label yang sama pada Anda CiliumLoadBalancerIPPool dan Layanan, yang harus digunakan di pemilih Anda. CiliumBGPAdvertisement Contoh ditunjukkan di bawah ini. Perhatikan, jika Anda menggunakan Cilium BGP untuk mengiklankan IP Layanan dengan tipe LoadBalancer, rute BGP mungkin terganggu selama restart agen Cilium. Untuk informasi selengkapnya, lihat Sken ario Kegag alan dalam dokumentasi Cilium.

Layanan

kind: Service
apiVersion: v1
metadata:
  name: guestbook
  labels:
    app: guestbook
spec:
  ports:
  - port: 3000
    targetPort: http-server
  selector:
    app: guestbook
  type: LoadBalancer

CiliumLoadBalancerIPPool

apiVersion: cilium.io/v2alpha1
kind: CiliumLoadBalancerIPPool
metadata:
  name: guestbook-pool
  labels:
    app: guestbook
spec:
  blocks:
  - cidr: <CIDR to advertise>
  serviceSelector:
    matchExpressions:
      - { key: app, operator: In, values: [ guestbook ] }

CiliumbGPADiklan

apiVersion: cilium.io/v2alpha1
kind: CiliumBGPAdvertisement
metadata:
  name: bgp-advertisements-guestbook
  labels:
    advertise: bgp
spec:
  advertisements:
    - advertisementType: "Service"
      service:
        addresses:
          - ExternalIP
          - LoadBalancerIP
      selector:
        matchExpressions:
          - { key: app, operator: In, values: [ guestbook ] }

Pemecahan masalah Calico

Jika Anda mengalami masalah menjalankan Calico pada node hybrid, lihat langkah-langkah pemec ahan masalah dalam dokumentasi Calico. Bagian di bawah ini mencakup masalah yang mungkin unik untuk menerapkan Calico pada node hybrid.

Tabel di bawah ini merangkum komponen Calico dan apakah mereka berjalan pada jaringan node atau pod secara default. Jika Anda mengonfigurasi Calico untuk menggunakan NAT untuk lalu lintas pod keluar, jaringan lokal Anda harus dikonfigurasi untuk merutekan lalu lintas ke CIDR node lokal Anda dan tabel perutean VPC Anda harus dikonfigurasi dengan rute untuk CIDR node lokal dengan gateway transit (TGW) atau gateway pribadi virtual (VGW) sebagai target. Jika Anda tidak mengonfigurasi Calico untuk menggunakan NAT untuk lalu lintas pod keluar, jaringan lokal Anda harus dikonfigurasi untuk merutekan lalu lintas ke CIDR pod lokal dan tabel routing VPC Anda harus dikonfigurasi dengan rute untuk pod lokal CIDR dengan gateway transit (TGW) atau gateway pribadi virtual (VGW) sebagai target.

Sumber daya Calico dijadwalkan atau berjalan pada node tertutup

Sumber daya Calico yang tidak berjalan sebagai a DaemonSet memiliki toleransi fleksibel secara default yang memungkinkannya dijadwalkan pada node tertutup yang tidak siap untuk penjadwalan atau menjalankan pod. Anda dapat memperketat toleransi untuk sumber daya non- DaemonSet Calico dengan mengubah instalasi operator Anda untuk menyertakan yang berikut ini.

installation:
  ...
  controlPlaneTolerations:
  - effect: NoExecute
    key: node.kubernetes.io/unreachable
    operator: Exists
    tolerationSeconds: 300
  - effect: NoExecute
    key: node.kubernetes.io/not-ready
    operator: Exists
    tolerationSeconds: 300
  calicoKubeControllersDeployment:
    spec:
      template:
        spec:
          tolerations:
          - effect: NoExecute
            key: node.kubernetes.io/unreachable
            operator: Exists
            tolerationSeconds: 300
          - effect: NoExecute
            key: node.kubernetes.io/not-ready
            operator: Exists
            tolerationSeconds: 300
  typhaDeployment:
    spec:
      template:
        spec:
          tolerations:
          - effect: NoExecute
            key: node.kubernetes.io/unreachable
            operator: Exists
            tolerationSeconds: 300
          - effect: NoExecute
            key: node.kubernetes.io/not-ready
            operator: Exists
            tolerationSeconds: 300

Pemecahan masalah kredensi

Untuk aktivasi hibrida AWS SSM dan Peran AWS IAM Anywhere, Anda dapat memvalidasi bahwa kredenSIAL untuk peran IAM Node Hibrid dikonfigurasi dengan benar pada node hibrida Anda dengan menjalankan perintah berikut dari node hibrida Anda. Konfirmasikan nama node dan nama Peran IAM Node Hybrid adalah apa yang Anda harapkan.

sudo aws sts get-caller-identity

{
    "UserId": "ABCDEFGHIJKLM12345678910:<node-name>",
    "Account": "<aws-account-id>",
    "Arn": "arn:aws: sts::<aws-account-id>:assumed-role/<hybrid-nodes-iam-role/<node-name>"
}

AWS Pemecahan masalah Manajer Sistem (SSM)

Jika Anda menggunakan aktivasi hibrida AWS SSM untuk kredensional node hibrida Anda, perhatikan direktori dan artefak SSM berikut yang diinstal pada node hibrida Anda oleh. nodeadm Untuk informasi selengkapnya tentang agen SSM, lihat Bek erja dengan agen SSM di Panduan Pengguna Manajer AWS Sistem.

Memulai ulang agen SSM

Beberapa masalah dapat diselesaikan dengan memulai ulang agen SSM. Anda dapat menggunakan perintah di bawah ini untuk memulai ulang.

AL2023 dan sistem operasi lainnya

systemctl restart amazon-ssm-agent

Ubuntu

systemctl restart snap.amazon-ssm-agent.amazon-ssm-agent

Periksa konektivitas ke titik akhir SSM

Konfirmasikan Anda dapat terhubung ke titik akhir SSM dari node hybrid Anda. Untuk daftar titik akhir SSM, lihat titik akhir dan kuota Manajer AWS Sistem. Ganti perintah us-west-2 di bawah ini dengan Wil AWS ayah untuk aktivasi hibrida AWS SSM Anda.

ping ssm.us-west-2.amazonaws.com

Melihat status koneksi instans SSM terdaftar

Anda dapat memeriksa status koneksi instans yang terdaftar dengan aktivasi hibrida SSM dengan perintah AWS CLI berikut. Ganti ID mesin dengan ID mesin instans Anda.

aws ssm get-connection-status --target mi-012345678abcdefgh
      

Ketidakcocokan checksum CLI Pengaturan SSM

Saat menjalankan nodeadm install jika Anda melihat masalah dengan ketidakcocokan ssm-setup-cli checksum, Anda harus mengonfirmasi bahwa tidak ada instalasi SSM yang lebih lama di host Anda. Jika ada instalasi SSM lama di host Anda, hapus dan jalankan kembali nodeadm install untuk menyelesaikan masalah.

Failed to perform agent-installation/on-prem registration: error while verifying installed ssm-setup-cli checksum: checksum mismatch with latest ssm-setup-cli.

SSM InvalidActivation

Jika Anda melihat kesalahan saat mendaftarkan instance Anda dengan AWS SSM, konfirmas region ikanactivationCode,, dan activationId di nodeConfig.yaml Anda benar. Wil AWS ayah untuk cluster EKS Anda harus sesuai dengan wilayah aktivasi hibrida SSM Anda. Jika nilai-nilai ini salah dikonfigurasi, Anda mungkin melihat kesalahan yang mirip dengan berikut ini.

ERROR Registration failed due to error registering the instance with AWS SSM. InvalidActivation

SSMExpiredTokenException: Token keamanan yang termasuk dalam permintaan telah kedaluwarsa

Jika agen SSM tidak dapat menyegarkan kredenSIAL, Anda mungkin melihat. ExpiredTokenException Dalam skenario ini, jika Anda dapat terhubung ke titik akhir SSM dari node hibrida, Anda mungkin perlu memulai ulang agen SSM untuk memaksa penyegaran kredensia.

"msg":"Command failed","error":"operation error SSM: DescribeInstanceInformation, https response error StatusCode: 400, RequestID: eee03a9e-f7cc-470a-9647-73d47e4cf0be, api error ExpiredTokenException: The security token included in the request is expired"

Kesalahan SSM dalam menjalankan perintah mesin register

Jika Anda melihat kesalahan mendaftarkan mesin dengan SSM, Anda mungkin perlu menjalankan ulang nodeadm install untuk memastikan semua dependensi SSM diinstal dengan benar.

"error":"running register machine command: , error: fork/exec /opt/aws/ssm-setup-cli: no such file or directory"

SSM ActivationExpired

Saat menjalankannodeadm init, jika Anda melihat kesalahan saat mendaftarkan instance dengan SSM karena aktivasi kedaluwarsa, Anda perlu membuat aktivasi hibrida SSM baru, memperbarui nodeConfig.yaml dengan activationCode dan activationId aktivasi hibrida SSM baru Anda, dan jalankan kembali. nodeadm init

"msg":"Command failed","error":"SSM activation expired. Please use a valid activation"

ERROR Registration failed due to error registering the instance with AWS SSM. ActivationExpired

SSM gagal menyegarkan kredenSIAL yang di-cache

Jika Anda melihat kegagalan untuk menyegarkan kredenSIAL yang di-cache, /root/.aws/credentials file tersebut mungkin telah dihapus di host Anda. Pertama periksa aktivasi hibrida SSM Anda dan pastikan aktif dan node hybrid Anda dikonfigurasi dengan benar untuk menggunakan aktivasi. Periksa log agen SSM di /var/log/amazon/ssm dan jalankan kembali nodeadm init perintah setelah Anda menyelesaikan masalah di sisi SSM.

"Command failed","error":"operation error SSM: DescribeInstanceInformation, get identity: get credentials: failed to refresh cached credentials"

Bersihkan SSM

Untuk menghapus agen SSM dari host Anda, Anda dapat menjalankan perintah berikut.

dnf remove -y amazon-ssm-agent
sudo apt remove --purge amazon-ssm-agent
snap remove amazon-ssm-agent
rm -rf /var/lib/amazon/ssm/Vault/Store/RegistrationKey

AWS Pemecahan masalah IAM Roles Anywhere

Jika Anda menggunakan AWS IAM Roles Anywhere untuk kredenSIAL node hibrida Anda, perhatikan direktori dan artefak berikut yang diinstal pada node hybrid Anda olehnodeadm. Untuk informasi selengkapnya tentang pemecahan masalah IAM Roles Anywhere, lihat Mem ecahkan AWS Masalah identitas dan akses IAM Roles Anywhere di Panduan Pengguna AWS IAM Roles Anywhere.

IAM Roles Anywhere gagal menyegarkan kredenSIAL yang di-cache

Jika Anda melihat kegagalan untuk menyegarkan kredenSIAL yang di-cache, tinjau konten /etc/aws/hybrid/config dan konfirmasikan bahwa IAM Roles Anywhere telah dikonfigurasi dengan benar dalam konfigurasi Andanodeadm. Konfirmasikan /etc/iam/pki itu ada. Setiap node harus memiliki sertifikat dan kunci yang unik. Secara default, saat menggunakan IAM Roles Anywhere sebagai penyedia kredensia, nodeadm /etc/iam/pki/server.pem digunakan untuk lokasi dan nama sertifikat, dan /etc/iam/pki/server.key untuk kunci pribadi. Anda mungkin perlu membuat direktori sebelum menempatkan sertifikat dan kunci di direktori dengansudo mkdir -p /etc/iam/pki. Anda dapat memverifikasi konten sertifikat Anda dengan perintah di bawah ini.

openssl x509 -text -noout -in server.pem

open /etc/iam/pki/server.pem: no such file or directory
could not parse PEM data
Command failed {"error": "... get identity: get credentials: failed to refresh cached credentials, process provider error: error in credential_process: exit status 1"}

Peran IAM Anywhere tidak berwenang untuk melakukan sts:AssumeRole

Di kubelet log, jika Anda melihat masalah akses ditolak untuk sts:AssumeRole operasi saat menggunakan Peran IAM Anywhere, periksa kebijakan kepercayaan peran IAM Node Hibrid Anda untuk mengonfirmasi bahwa prinsip layanan IAM Roles Anywhere diizinkan untuk mengambil Peran IAM Node Hibrid. Selain itu, konfirmasikan bahwa jangkar kepercayaan ARN dikonfigurasi dengan benar dalam kebijakan kepercayaan peran IAM Node Hibrid Anda dan bahwa peran IAM Node Hibrid ditambahkan ke profil IAM Roles Anywhere Anda.

could not get token: AccessDenied: User: ... is not authorized to perform: sts:AssumeRole on resource: ...

Peran IAM Anywhere tidak diberi wewenang untuk mengatur roleSessionName

Di kubelet log, jika Anda melihat masalah akses ditolak untuk menyetelroleSessionName, konfirmasikan bahwa Anda telah menyetel acceptRoleSessionName ke true untuk profil IAM Roles Anywhere Anda.

AccessDeniedException: Not authorized to set roleSessionName

Pemecahan masalah sistem operasi

RHEL

Kegagalan pendaftaran manajer hak atau langganan

Jika Anda menjalankan nodeadm install dan mengalami kegagalan untuk menginstal dependensi node hybrid karena masalah pendaftaran hak, pastikan Anda telah menetapkan nama pengguna dan kata sandi Red Hat dengan benar di host Anda.

This system is not registered with an entitlement server

Ubuntu

GLIBC tidak ditemukan

Jika Anda menggunakan Ubuntu untuk sistem operasi Anda dan IAM Roles Anywhere untuk penyedia kredensia Anda dengan node hybrid dan melihat masalah dengan GLIBC tidak ditemukan, Anda dapat menginstal dependensi itu secara manual untuk menyelesaikan masalah.

GLIBC_2.32 not found (required by /usr/local/bin/aws_signing_helper)

Jalankan perintah berikut untuk menginstal dependensi:

ldd --version
sudo apt update && apt install libc6
sudo apt install glibc-source

Bottlerocket

Jika Anda mengaktifkan wadah admin Bottlerocket, Anda dapat mengaksesnya dengan SSH untuk debugging lanjutan dan pemecahan masalah dengan hak istimewa yang ditingkatkan. Bagian berikut berisi perintah yang perlu dijalankan pada konteks host Bottlerocket. Setelah Anda berada di wadah admin, Anda dapat menjalankan sheltie untuk mendapatkan shell root penuh di host Bottlerocket.

sheltie

Anda juga dapat menjalankan perintah di bagian berikut dari shell wadah admin dengan mengawali setiap perintah dengansudo chroot /.bottlerocket/rootfs.

sudo chroot /.bottlerocket/rootfs <command>

Menggunakan logdog untuk pengumpulan log

Bottlerocket menyediakan logdog utilitas untuk mengumpulkan log dan informasi sistem secara efisien untuk tujuan pemecahan masalah.

logdog

logdogUtilitas mengumpulkan log dari berbagai lokasi pada host Bottlerocket dan menggabungkannya menjadi tarball. Secara default, tarball akan dibuat di/var/log/support/bottlerocket-logs.tar.gz, dan dapat diakses dari wadah host di/.bottlerocket/support/bottlerocket-logs.tar.gz.

Mengakses log sistem dengan journalctl

Anda dapat memeriksa status berbagai layanan sistem sepertikubelet,containerd, dll dan melihat log mereka dengan perintah berikut. -fBendera akan mengikuti log secara real time.

Untuk memeriksa status kubelet layanan dan mengambil kubelet log, Anda dapat menjalankan:

systemctl status kubelet
journalctl -u kubelet -f

Untuk memeriksa status containerd layanan dan mengambil log untuk containerd instance yang diatur, Anda dapat menjalankan:

systemctl status containerd
journalctl -u containerd -f

Untuk memeriksa status host-containerd layanan dan mengambil log untuk containerd instance host, Anda dapat menjalankan:

systemctl status host-containerd
journalctl -u host-containerd -f

Untuk mengambil log untuk wadah bootstrap dan kontainer host, Anda dapat menjalankan:

journalctl _COMM=host-ctr -f