Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Ray di SageMaker HyperPod
Ray adalah kerangka kerja terpadu open source untuk penskalaan aplikasi AI dan Python. Ini menyediakan lapisan komputasi untuk pemrosesan paralel, sehingga Anda tidak perlu menjadi ahli sistem terdistribusi untuk menjalankan pekerjaan di seluruh cluster. Ray Core mendistribusikan pekerjaan, dan perpustakaan Ray AI mencakup pemrosesan data, pelatihan terdistribusi, penyetelan hiperparameter, pembelajaran penguatan, dan penyajian model. Untuk informasi selengkapnya, lihat Ikhtisar
Ray on SageMaker HyperPod menjalankan beban kerja Ray Anda pada HyperPod komputasi yang diatur oleh Amazon EKS, menggunakan operator open source. KubeRay Kode Ray Anda, API Ray, dan sumber daya KubeRay khusus tidak berubah.
Tetap sepenuhnya selaras dengan open source Ray, HyperPod menambahkan kemampuan di sekitarnya daripada mengganti bagian mana pun darinya:
-
Antarmuka web yang dibuat khusus untuk mengoperasikan beban kerja Ray di SageMaker Amazon Studio yang membawa semua kemampuan di bawah ini di bawah satu antarmuka.
-
Pengembangan interaktif, di mana sesi JupyterLab, Editor Kode, atau IDE jarak jauh menempel ke cluster Ray dan
ray.init()terhubung. -
Akses Dasbor Ray Aman melalui tautan browser yang diautentikasi, tanpa
kubectl port-forward. -
Cache KV berjenjang terkelola yang menurunkan waktu ke token pertama, penerapan JumpStart model, dan penskalaan otomatis Karpenter terkelola untuk Ray Serve.
-
Tim menghitung alokasi, penjadwalan berbasis prioritas, dan peminjaman dan peminjaman komputasi idle melalui Tata Kelola Tugas. HyperPod
-
Metrik Ray dan dasbor Grafana disediakan oleh add-on Observability. HyperPod
-
Pelatihan tangguh dengan pemulihan node otomatis, deteksi pekerjaan yang digantung, dan pos pemeriksaan berjenjang di lapisan infrastruktur.
Anda dapat mengadopsi semua ini, atau hanya menginstal kemampuan yang Anda lewatkan. Untuk informasi lebih lanjut tentang dua pendekatan, lihatMemulai.
Prasyarat
Ray on HyperPod membutuhkan HyperPod cluster yang diatur oleh Amazon EKS. Untuk informasi selengkapnya tentang membuatnya, lihatMembuat SageMaker HyperPod cluster dengan orkestrasi Amazon EKS.
Wilayah
HyperPod Ray on tersedia di semua Wilayah AWS tempat SageMaker HyperPod mendukung orkestrasi Amazon EKS. Untuk daftar Wilayah, lihatWilayah AWS didukung oleh SageMaker HyperPod.
Topik
