Kelola titik akhir Anda - Amazon SageMaker
Kelola titik akhir di Studio SageMaker Kelola titik akhir di konsol SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kelola titik akhir Anda

Setelah menerapkan model Anda ke titik akhir, Anda mungkin ingin melihat dan mengelola titik akhir. Dengan SageMaker, Anda dapat melihat status dan detail titik akhir Anda, memeriksa metrik dan log untuk memantau kinerja titik akhir Anda, memperbarui model yang diterapkan ke titik akhir Anda, dan banyak lagi.

Halaman berikut menjelaskan cara melihat dan membuat perubahan secara interaktif pada titik akhir Anda menggunakan SageMaker konsol Amazon atau SageMaker Studio.

Kelola titik akhir di Studio SageMaker

Di Amazon SageMaker Studio, Anda dapat melihat dan mengelola titik akhir SageMaker Hosting Anda. Untuk mempelajari lebih lanjut tentang Studio, lihat Amazon SageMaker Studio.

Untuk menemukan daftar titik akhir Anda di SageMaker Studio lakukan hal berikut:

  1. Buka aplikasi Studio.

  2. Di panel navigasi kiri, pilih Deployment.

  3. Dari menu dropdown, pilih Endpoints.

Halaman Endpoints terbuka, yang mencantumkan semua titik akhir SageMaker Hosting Anda. Dari halaman ini, Anda dapat melihat titik akhir dan Statusnya. Anda juga dapat membuat titik akhir baru, mengedit titik akhir yang ada, atau menghapus titik akhir.

Untuk melihat detail titik akhir tertentu, pilih titik akhir dari daftar. Pada halaman detail titik akhir, Anda mendapatkan ikhtisar seperti tangkapan layar berikut.

Screenshot dari halaman utama endpoint yang menampilkan ringkasan detail endpoint di Studio.

Setiap halaman detail endpoint berisi tab informasi berikut:

Varian (atau Model)

Tab Varians (juga disebut tab Model jika titik akhir Anda memiliki beberapa model yang diterapkan) menunjukkan daftar varian model atau model yang saat ini diterapkan ke titik akhir Anda. Tangkapan layar berikut menunjukkan kepada Anda seperti apa ikhtisar dan bagian Model untuk titik akhir dengan beberapa model yang digunakan.

Screenshot dari halaman utama endpoint yang menampilkan beberapa model yang digunakan.

Anda dapat menambahkan atau mengedit pengaturan untuk setiap varian atau model. Anda juga dapat memilih varian dan mengaktifkan kebijakan auto-scaling default, yang dapat Anda edit nanti di tab Penskalaan otomatis.

Pengaturan

Pada tab Pengaturan, Anda dapat melihat peran AWS IAM terkait titik akhir, AWS KMS kunci yang digunakan untuk enkripsi (jika ada), nama VPC Anda, dan pengaturan isolasi jaringan.

Inferensi uji

Pada tab Inferensi uji, Anda dapat mengirim permintaan inferensi pengujian ke model yang diterapkan. Ini berguna jika Anda ingin memverifikasi bahwa titik akhir Anda merespons permintaan seperti yang diharapkan.

Untuk menguji inferensi, lakukan hal berikut:

  1. Pada tab Inferensi uji model, pilih salah satu opsi berikut:

    1. Pilih Masukkan isi permintaan jika Anda ingin menguji titik akhir dan menerima respons melalui antarmuka Studio.

    2. Pilih Salin kode contoh (Python) jika Anda ingin menyalin AWS SDK for Python (Boto3) contoh yang dapat Anda gunakan untuk memanggil titik akhir Anda dari lingkungan lokal dan menerima respons secara terprogram.

  2. Untuk Model, pilih model yang ingin Anda uji pada titik akhir.

  3. Jika Anda memilih metode pengujian antarmuka Studio, Anda juga dapat memilih jenis Konten yang diinginkan untuk respons dari tarik-turun.

Setelah mengonfigurasi permintaan Anda, maka Anda dapat memilih Kirim permintaan (untuk menerima respons melalui antarmuka Studio) atau Salin untuk menyalin contoh Python.

Jika Anda menerima respons melalui antarmuka Studio, itu akan terlihat seperti tangkapan layar berikut.

Screenshot dari permintaan pengujian inferensi yang berhasil pada titik akhir di Studio.

Penskalaan otomatis

Pada tab Penskalaan otomatis, Anda dapat melihat kebijakan auto-scaling yang dikonfigurasi untuk model yang dihosting di titik akhir Anda. Tangkapan layar berikut menunjukkan tab Penskalaan otomatis.

Tangkapan layar tab Penskalaan otomatis, menampilkan satu kebijakan aktif.

Anda dapat memilih Edit auto-scaling untuk mengubah kebijakan apa pun dan mengaktifkan atau menonaktifkan kebijakan auto-scaling default.

Untuk mempelajari lebih lanjut tentang auto-scaling untuk titik akhir real-time, lihat Menskalakan Model Amazon secara otomatis. SageMaker Jika Anda tidak yakin cara mengonfigurasi kebijakan auto-scaling untuk endpoint, Anda dapat menggunakan lowongan rekomendasi penskalaan otomatis Inference Recommender untuk mendapatkan rekomendasi kebijakan auto-scaling.

Kelola titik akhir di konsol SageMaker

Untuk melihat titik akhir Anda di SageMaker konsol, lakukan hal berikut:

  1. Buka SageMaker konsol di https://console.aws.amazon.com/sagemaker/.

  2. Di panel navigasi kiri, pilih Inferensi.

  3. Dari daftar dropdown, pilih Endpoints.

  4. Pada halaman Endpoints, pilih endpoint Anda.

Halaman detail titik akhir harus terbuka, menampilkan ringkasan titik akhir dan metrik yang telah dikumpulkan untuk titik akhir Anda.

Bagian berikut menjelaskan tab pada halaman detail titik akhir.

Pemantauan

Setelah membuat titik akhir SageMaker Hosting, Anda dapat memantau titik akhir menggunakan Amazon CloudWatch, yang mengumpulkan data mentah dan memprosesnya menjadi metrik yang dapat dibaca, mendekati waktu nyata. Dengan menggunakan metrik ini, Anda dapat mengakses informasi historis dan mendapatkan perspektif yang lebih baik tentang kinerja titik akhir Anda. Untuk informasi selengkapnya, lihat Panduan CloudWatch Pengguna Amazon.

Dari tab Monitoring pada halaman detail titik akhir, Anda dapat melihat data CloudWatch metrik yang telah dikumpulkan dari titik akhir Anda.

Tab Monitoring mencakup bagian-bagian berikut:

  • Metrik operasional: Lihat metrik yang melacak pemanfaatan sumber daya titik akhir Anda, seperti Pemanfaatan CPU dan Pemanfaatan Memori.

  • Metrik pemanggilan: Lihat metrik yang melacak jumlah, kesehatan, dan status InvokeEndpoint permintaan yang masuk ke titik akhir Anda, seperti Kesalahan Model Pemanggilan dan Latensi Model.

  • Metrik Kesehatan: Lihat metrik yang melacak kesehatan keseluruhan titik akhir Anda, seperti Kegagalan Pemanggilan dan Kegagalan Pemberitahuan.

Untuk deskripsi rinci dari setiap metrik, lihat Memantau SageMaker dengan CloudWatch.

Tangkapan layar berikut menunjukkan bagian Metrik operasional untuk titik akhir tanpa server.

Tangkapan layar grafik metrik di bagian metrik operasional halaman detail titik akhir.

Anda dapat menyesuaikan Periode dan Statistik yang ingin Anda lacak untuk metrik di bagian tertentu, serta lamanya waktu yang Anda inginkan untuk melihat data metrik. Anda juga dapat menambahkan dan menghapus widget metrik dari tampilan untuk setiap bagian dengan memilih Tambah widget. Dalam kotak dialog Add widget, Anda dapat memilih dan membatalkan pilihan metrik yang ingin Anda lihat.

Metrik yang tersedia mungkin bergantung pada jenis titik akhir Anda. Misalnya, titik akhir tanpa server memiliki beberapa metrik yang tidak tersedia untuk titik akhir real-time. Untuk informasi metrik yang lebih spesifik menurut jenis titik akhir, lihat halaman berikut:

Pengaturan

Anda dapat memilih tab Pengaturan untuk melihat informasi tambahan tentang titik akhir Anda, seperti pengaturan pengambilan data, konfigurasi titik akhir, dan tag.

Alarm

Dari tab Alarm di halaman detail titik akhir, Anda dapat melihat dan membuat alarm metrik ambang batas statis sederhana, tempat Anda menentukan nilai ambang batas untuk metrik. Jika metrik melanggar nilai ambang batas, alarm masuk ke ALARM negara bagian. Untuk informasi selengkapnya tentang CloudWatch alarm, lihat Menggunakan CloudWatch alarm Amazon.

Di bagian Ringkasan titik akhir, Anda dapat melihat bidang Alarm, yang memberi tahu Anda berapa banyak alarm yang saat ini aktif di titik akhir Anda.

Untuk melihat alarm mana yang berada dalam ALARM status, pilih tab Alarm. Tab Alarm menampilkan daftar lengkap alarm endpoint Anda, bersama dengan detail tentang status dan kondisinya. Tangkapan layar berikut menunjukkan daftar alarm di bagian ini yang telah dikonfigurasi untuk titik akhir.

Tangkapan layar tab alarm di halaman detail titik akhir yang menampilkan daftar CloudWatch alarm.

Status alarm dapat berupa In alarmOK, atau Insufficient data jika tidak ada cukup data metrik yang dikumpulkan.

Untuk membuat alarm baru untuk titik akhir Anda, lakukan hal berikut:

  1. Di tab Alarm, pilih Buat alarm.

  2. Halaman Create alarm terbuka. Untuk nama Alarm, masukkan nama untuk alarm.

  3. (Opsional) Masukkan deskripsi untuk alarm.

  4. Untuk Metrik, pilih CloudWatch metrik yang ingin dilacak alarm.

  5. Untuk nama Variant, pilih varian model endpoint yang ingin Anda pantau.

  6. Untuk Statistik, pilih salah satu statistik yang tersedia untuk metrik yang Anda pilih.

  7. Untuk Periode, pilih periode waktu yang akan digunakan untuk menghitung setiap nilai statistik. Misalnya, jika Anda memilih statistik Rata-rata dan periode 5 menit, setiap titik data yang dipantau oleh alarm adalah rata-rata titik data metrik pada interval 5 menit.

  8. Untuk periode Evaluasi, masukkan jumlah titik data yang Anda ingin alarm pertimbangkan saat mengevaluasi apakah akan memasuki status alarm atau tidak.

  9. Untuk Kondisi, pilih kondisional yang ingin Anda gunakan untuk ambang alarm Anda.

  10. Untuk nilai Ambang, masukkan nilai yang diinginkan untuk ambang batas Anda.

  11. (Opsional) Untuk Pemberitahuan, Anda dapat memilih Tambahkan pemberitahuan untuk membuat atau menentukan topik Amazon SNS yang menerima pemberitahuan saat status alarm Anda berubah.

  12. Pilih Buat alarm.

Setelah membuat alarm, Anda dapat kembali ke tab Alarm untuk melihat statusnya kapan saja. Dari bagian ini, Anda juga dapat memilih alarm dan Edit atau Hapus.