Apa itu SageMaker Proyek? - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Apa itu SageMaker Proyek?

SageMaker Proyek membantu organisasi mengatur dan menstandarisasi lingkungan pengembang untuk ilmuwan data dan sistem CI/CD untuk insinyur. MLOps Proyek juga membantu organisasi mengatur manajemen ketergantungan, manajemen repositori kode, membangun reproduktifitas, dan berbagi artefak.

Anda dapat menyediakan SageMaker Projects dari AWS Service Catalog menggunakan template kustom atau SageMaker -provided. Untuk informasi tentang AWS Service Catalog, lihat Apa itu AWS Service Catalog. Dengan SageMaker Proyek, MLOps insinyur dan admin organisasi dapat menentukan templat mereka sendiri atau menggunakan templat SageMaker yang disediakan. Template yang SageMaker disediakan mem-bootstrap alur kerja HTML dengan kontrol versi sumber, saluran pipa HTML otomatis, dan satu set kode untuk dengan cepat mulai mengulangi kasus penggunaan ML.

Kapan Anda Harus Menggunakan SageMaker Proyek?

Meskipun notebook sangat membantu untuk pembuatan model dan eksperimen, tim ilmuwan data dan insinyur ML yang berbagi kode membutuhkan cara yang lebih skalabel untuk mempertahankan konsistensi kode dan kontrol versi yang ketat.

Setiap organisasi memiliki standar dan praktik tersendiri yang memberikan keamanan dan tata kelola bagi AWS lingkungannya. SageMaker menyediakan satu set template pihak pertama untuk organisasi yang ingin cepat memulai dengan alur kerja ML dan CI/CD. Template mencakup proyek yang menggunakan layanan AWS-native untuk CI/CD, seperti AWS CodeBuild,, dan. AWS CodePipeline AWS CodeCommit Template juga menawarkan opsi untuk membuat proyek yang menggunakan alat pihak ketiga, seperti Jenkins dan GitHub. Untuk daftar templat proyek yang SageMaker menyediakan, lihatGunakan SageMaker Template Proyek yang Disediakan.

Organizations sering membutuhkan kontrol ketat atas MLOps sumber daya yang mereka sediakan dan kelola. Tanggung jawab tersebut mengasumsikan tugas-tugas tertentu, termasuk mengonfigurasi IAM peran dan kebijakan, menegakkan tag sumber daya, menegakkan enkripsi, dan memisahkan sumber daya di beberapa akun. SageMaker Proyek dapat mendukung semua tugas ini melalui penawaran template kustom di mana organisasi menggunakan AWS CloudFormation template untuk menentukan sumber daya yang diperlukan untuk alur kerja ML. Ilmuwan Data dapat memilih template untuk bootstrap dan pra-konfigurasi alur kerja ML mereka. Template kustom ini dibuat sebagai produk Service Catalog dan Anda dapat menyediakannya di UI Studio atau Studio Classic di bawah Template Organisasi. Service Catalog adalah layanan yang membantu organisasi membuat dan mengelola katalog produk yang disetujui untuk digunakan. AWS Untuk informasi selengkapnya tentang membuat templat kustom, lihat Membangun Template SageMaker Proyek Kustom — Praktik Terbaik.

SageMaker Proyek dapat membantu Anda mengelola repositori Git Anda sehingga Anda dapat berkolaborasi lebih efisien di seluruh tim, memastikan konsistensi kode, dan mendukung CI/CD. SageMaker Proyek dapat membantu Anda dengan tugas-tugas berikut:

  • Atur semua entitas siklus hidup ML di bawah satu proyek.

  • Menetapkan pendekatan satu klik untuk menyiapkan infrastruktur standar ML untuk pelatihan model dan penerapan yang menggabungkan praktik terbaik.

  • Membuat dan berbagi template untuk infrastruktur ML untuk melayani beberapa kasus penggunaan.

  • Manfaatkan templat pra-bangun yang SageMaker disediakan untuk mulai berfokus pada pembuatan model dengan cepat, atau membuat templat khusus dengan sumber daya dan pedoman khusus organisasi.

  • Integrasikan dengan alat pilihan Anda dengan memperluas templat proyek. Sebagai contoh, lihat Membuat SageMaker Proyek untuk diintegrasikan dengan GitLab dan GitLab Pipelines.

  • Atur semua entitas siklus hidup ML di bawah satu proyek.

Apa yang ada dalam sebuah SageMaker proyek?

Pelanggan memiliki fleksibilitas untuk menyiapkan proyek mereka dengan sumber daya yang paling sesuai dengan kasus penggunaan mereka. Contoh di bawah ini menampilkan MLOps penyiapan untuk alur kerja ML, termasuk pelatihan model dan penerapan.

Diagram alur kerja ML untuk pipeline yang mencakup pelatihan model dan langkah-langkah penerapan.

Sebuah proyek tipikal dengan template SageMaker -provided mungkin termasuk yang berikut:

  • Satu atau lebih repositori dengan kode sampel untuk membangun dan menerapkan solusi ML. Ini adalah contoh kerja yang dapat Anda modifikasi untuk kebutuhan Anda. Anda memiliki kode ini dan dapat memanfaatkan repositori yang dikendalikan versi untuk tugas Anda.

  • SageMaker Pipeline yang mendefinisikan langkah-langkah untuk persiapan data, pelatihan, evaluasi model, dan penyebaran model, seperti yang ditunjukkan pada diagram berikut.

    SageMaker Pipeline dengan persiapan data, pelatihan, evaluasi model, dan langkah-langkah penerapan model.
  • Pipeline A CodePipeline atau Jenkins yang menjalankan SageMaker pipeline Anda setiap kali Anda memeriksa versi kode yang baru. Untuk informasi tentang CodePipeline, lihat Apa itu AWS CodePipeline. Untuk informasi tentang Jenkins, lihat Dokumentasi Pengguna Jenkins.

  • Grup model yang berisi versi model. Setiap kali Anda menyetujui versi model yang dihasilkan dari SageMaker proses pipeline, Anda dapat menerapkannya ke titik akhir. SageMaker

Setiap SageMaker proyek memiliki nama dan ID unik yang diterapkan sebagai tag untuk semua SageMaker dan AWS sumber daya yang dibuat dalam proyek. Dengan nama dan ID, Anda dapat melihat semua entitas yang terkait dengan proyek Anda. Ini termasuk:

  • Alur

  • Model terdaftar

  • Model yang diterapkan (titik akhir)

  • Set Data

  • Produk Service Catalog

  • CodePipeline dan jaringan pipa Jenkins

  • CodeCommit dan repositori Git pihak ketiga

Apakah Saya Perlu Membuat Proyek untuk Menggunakan SageMaker Pipelines?

Tidak. SageMaker pipeline adalah entitas mandiri seperti pekerjaan pelatihan, pekerjaan pemrosesan, dan pekerjaan lainnya SageMaker . Anda dapat membuat, memperbarui, dan menjalankan pipeline langsung di dalam notebook dengan menggunakan SageMaker SDK Python tanpa menggunakan SageMaker proyek.

Proyek menyediakan lapisan tambahan untuk membantu Anda mengatur kode Anda dan mengadopsi praktik terbaik operasional yang Anda butuhkan untuk sistem kualitas produksi.