View a markdown version of this page

Pemecahan Masalah Ray aktif HyperPod - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pemecahan Masalah Ray aktif HyperPod

Gunakan halaman ini untuk mendiagnosis masalah umum dengan cluster Ray, dasbor, pekerjaan, dan observabilitas pada. HyperPod Setiap entri memberikan gejala, penyebab, dan resolusi.

Cluster ray terjebak di Pending

Gejala

Pod kepala atau pekerja tetap ada Pending dan cluster tidak pernah mencapaiRunning.

Penyebab

VCPU atau memori yang diminta lebih tinggi dari kapasitas yang dapat dialokasikan Kubernetes pada tipe instans yang dipilih. Allocatable lebih rendah dari nameplate instance karena kube-system menyimpan dan mengkonsumsi sebagian dari setiap node. DaemonSets

Resolusi

Turunkan permintaan vCPU dan memori sehingga sesuai dengan kapasitas yang dapat dialokasikan, atau pilih jenis instans yang lebih besar. Periksa alokasi dengan kubectl describe node my-node dan atur permintaan di bawah nilai yang dilaporkan.

ray.init () gagal dengan kesalahan versi

Gejala

ray.init()gagal, atau cluster dimulai tetapi klien tidak dapat terhubung.

Penyebab

Versi Ray di ruang atau gambar klien tidak cocok spec.rayVersion dalam manifes cluster.

Resolusi

Setel spec.rayVersion ke versi Ray dalam gambar kontainer, dan gunakan versi Ray yang sama di ruang atau klien. Untuk informasi selengkapnya, lihat Menginstal KubeRay di HyperPod Amazon EKS.

Tautan dasbor mengembalikan kesalahan otorisasi

Gejala

Tautan Dasbor Ray terbuka tetapi mengembalikan kesalahan otorisasi.

Penyebab

Di bawah strategi akses pribadi, dasbor mencakup identitas yang menciptakan koneksi. Identitas yang berbeda ditolak.

Resolusi

Buka dasbor sebagai identitas yang membuat klaster, atau gunakan strategi akses publik untuk memberikan akses kepada siapa pun yang memiliki izin terhubung di namespace. Untuk informasi selengkapnya, lihat Strategi akses dan praktik terbaik keamanan.

Beban kerja Ray tidak pernah diakui

Gejala

A RayCluster atau RayJob tetap tidak diterima dan tidak ada pod yang dibuat.

Penyebab

Namespace tidak memiliki alokasi komputasi dalam HyperPod Tata Kelola Tugas, jadi Tata Kelola Tugas menahan beban kerja tanpa kuota untuk mengakuinya.

Resolusi

Tetapkan alokasi komputasi ke namespace, atau kirimkan ke namespace yang memilikinya. Untuk informasi selengkapnya, lihat Menyiapkan tata kelola tugas untuk Ray.

Dasbor Grafana kosong

Gejala

Dasbor Ray Grafana memuat tetapi tidak menampilkan data untuk cluster yang sedang berjalan.

Penyebab

Metrik sinar tidak dihidupkan di add-on HyperPod Observability, jadi tidak ada metrik Ray yang tergores.

Resolusi

Aktifkan metrik Ray di add-on Observability dan konfirmasikan bahwa versi add-on mendukung pengikisan metrik Ray. Untuk informasi selengkapnya, lihat Menyiapkan koleksi metrik Ray.

Pengajuan Job gagal mencapai titik akhir

Gejala

ray job submitgagal terhubung, atau mengembalikan kesalahan otorisasi.

Penyebab

Titik akhir pengiriman pekerjaan tidak dapat dijangkau, atau token sesi kedaluwarsa. Sesi dasbor atau titik akhir berlaku hingga enam jam.

Resolusi

Konfirmasikan alamat titik akhir, lalu buat URL koneksi baru untuk menyegarkan token dan coba lagi. Untuk informasi selengkapnya, lihat Menghasilkan URL koneksi dasbor.