Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Setelah mendefinisikan langkah-langkah pipeline Anda sebagai grafik asiklik terarah (DAG), Anda dapat menjalankan pipeline Anda, yang menjalankan langkah-langkah yang ditentukan dalam DAG Anda. Panduan berikut menunjukkan cara menjalankan pipeline Amazon SageMaker AI menggunakan editor drag-and-drop visual di Amazon SageMaker Studio atau Amazon Python SageMaker SDK.
Untuk memulai eksekusi baru pipeline Anda, lakukan hal berikut:
Untuk memulai eksekusi baru pipeline Anda, lakukan hal berikut:
-
Buka SageMaker Studio dengan mengikuti petunjuk di Luncurkan Amazon SageMaker Studio.
-
Di panel navigasi kiri, pilih Pipelines.
-
(Opsional) Untuk memfilter daftar saluran pipa berdasarkan nama, masukkan nama pipa lengkap atau sebagian di bidang pencarian.
-
Pilih nama pipeline.
-
Pilih tab Eksekusi.
-
Masukkan atau perbarui informasi yang diperlukan berikut:
-
Nama — Nama yang unik untuk akun Anda di AWS Wilayah.
-
Deskripsi — Deskripsi opsional untuk eksekusi Anda.
-
ProcessingInstanceType— Jenis EC2 instans Amazon yang akan digunakan untuk pekerjaan pemrosesan.
-
TrainingInstanceType— Jenis EC2 instans Amazon yang akan digunakan untuk pekerjaan pelatihan
-
InputData— URI Amazon S3 ke data input.
-
PreprocessScript— URI Amazon S3 ke skrip preprocessing.
-
EvaluateScript— URI Amazon S3 ke skrip evaluasi model.
-
AccuracyConditionThreshold— Ambang akurasi model yang harus dicapai untuk mendaftarkan model ke dalam registri.
-
ModelGroup— Registri untuk mendaftarkan model.
-
MaximumParallelTrainingJobs— Jumlah maksimum pekerjaan pelatihan untuk dijalankan secara paralel.
-
MaximumTrainingJobs— Jumlah maksimum pekerjaan pelatihan untuk dijalankan.
-
-
Pilih Buat.
catatan
Jika pipeline Anda gagal, spanduk status akan menampilkan status Gagal. Setelah memecahkan masalah langkah yang gagal, pilih Coba lagi pada spanduk status untuk melanjutkan menjalankan pipeline dari langkah itu.
Setelah Anda membuat definisi pipeline menggunakan SageMaker AI Python SDK, Anda dapat mengirimkannya ke SageMaker AI untuk memulai eksekusi Anda. Tutorial berikut menunjukkan cara mengirimkan pipeline, memulai eksekusi, memeriksa hasil eksekusi itu, dan menghapus pipeline Anda.
Topik
Prasyarat
Tutorial ini membutuhkan yang berikut:
-
Sebuah contoh SageMaker notebook.
-
Definisi pipa pipa. Tutorial ini mengasumsikan Anda menggunakan definisi pipeline yang dibuat dengan menyelesaikan Tentukan pipa tutorial.
Langkah 1: Mulai Pipeline
Pertama, Anda perlu memulai pipa.
Untuk memulai pipa
-
Periksa definisi pipa JSON untuk memastikan bahwa itu terbentuk dengan baik.
import json json.loads(pipeline.definition()) -
Kirimkan definisi pipeline ke layanan Pipelines untuk membuat pipeline jika tidak ada, atau perbarui pipeline jika ada. Peran yang diteruskan digunakan oleh Pipelines untuk menciptakan semua pekerjaan yang ditentukan dalam langkah-langkah.
pipeline.upsert(role_arn=role) -
Mulai eksekusi pipeline.
execution = pipeline.start()
Langkah 2: Periksa Eksekusi Pipeline
Selanjutnya, Anda perlu memeriksa eksekusi pipa.
Untuk memeriksa eksekusi pipa
-
Jelaskan status eksekusi pipeline untuk memastikan bahwa itu telah dibuat dan dimulai dengan sukses.
execution.describe() -
Tunggu eksekusi selesai.
execution.wait() -
Buat daftar langkah-langkah eksekusi dan statusnya.
execution.list_steps()Output Anda akan terlihat seperti berikut:
[{'StepName': 'AbaloneTransform', 'StartTime': datetime.datetime(2020, 11, 21, 2, 41, 27, 870000, tzinfo=tzlocal()), 'EndTime': datetime.datetime(2020, 11, 21, 2, 45, 50, 492000, tzinfo=tzlocal()), 'StepStatus': 'Succeeded', 'CacheHitResult': {'SourcePipelineExecutionArn': ''}, 'Metadata': {'TransformJob': {'Arn': 'arn:aws:sagemaker:us-east-2:111122223333:transform-job/pipelines-cfvy1tjuxdq8-abalonetransform-ptyjoef3jy'}}}, {'StepName': 'AbaloneRegisterModel', 'StartTime': datetime.datetime(2020, 11, 21, 2, 41, 26, 929000, tzinfo=tzlocal()), 'EndTime': datetime.datetime(2020, 11, 21, 2, 41, 28, 15000, tzinfo=tzlocal()), 'StepStatus': 'Succeeded', 'CacheHitResult': {'SourcePipelineExecutionArn': ''}, 'Metadata': {'RegisterModel': {'Arn': 'arn:aws:sagemaker:us-east-2:111122223333:model-package/abalonemodelpackagegroupname/1'}}}, {'StepName': 'AbaloneCreateModel', 'StartTime': datetime.datetime(2020, 11, 21, 2, 41, 26, 895000, tzinfo=tzlocal()), 'EndTime': datetime.datetime(2020, 11, 21, 2, 41, 27, 708000, tzinfo=tzlocal()), 'StepStatus': 'Succeeded', 'CacheHitResult': {'SourcePipelineExecutionArn': ''}, 'Metadata': {'Model': {'Arn': 'arn:aws:sagemaker:us-east-2:111122223333:model/pipelines-cfvy1tjuxdq8-abalonecreatemodel-jl94rai0ra'}}}, {'StepName': 'AbaloneMSECond', 'StartTime': datetime.datetime(2020, 11, 21, 2, 41, 25, 558000, tzinfo=tzlocal()), 'EndTime': datetime.datetime(2020, 11, 21, 2, 41, 26, 329000, tzinfo=tzlocal()), 'StepStatus': 'Succeeded', 'CacheHitResult': {'SourcePipelineExecutionArn': ''}, 'Metadata': {'Condition': {'Outcome': 'True'}}}, {'StepName': 'AbaloneEval', 'StartTime': datetime.datetime(2020, 11, 21, 2, 37, 34, 767000, tzinfo=tzlocal()), 'EndTime': datetime.datetime(2020, 11, 21, 2, 41, 18, 80000, tzinfo=tzlocal()), 'StepStatus': 'Succeeded', 'CacheHitResult': {'SourcePipelineExecutionArn': ''}, 'Metadata': {'ProcessingJob': {'Arn': 'arn:aws:sagemaker:us-east-2:111122223333:processing-job/pipelines-cfvy1tjuxdq8-abaloneeval-zfraozhmny'}}}, {'StepName': 'AbaloneTrain', 'StartTime': datetime.datetime(2020, 11, 21, 2, 34, 55, 867000, tzinfo=tzlocal()), 'EndTime': datetime.datetime(2020, 11, 21, 2, 37, 34, 34000, tzinfo=tzlocal()), 'StepStatus': 'Succeeded', 'CacheHitResult': {'SourcePipelineExecutionArn': ''}, 'Metadata': {'TrainingJob': {'Arn': 'arn:aws:sagemaker:us-east-2:111122223333:training-job/pipelines-cfvy1tjuxdq8-abalonetrain-tavd6f3wdf'}}}, {'StepName': 'AbaloneProcess', 'StartTime': datetime.datetime(2020, 11, 21, 2, 30, 27, 160000, tzinfo=tzlocal()), 'EndTime': datetime.datetime(2020, 11, 21, 2, 34, 48, 390000, tzinfo=tzlocal()), 'StepStatus': 'Succeeded', 'CacheHitResult': {'SourcePipelineExecutionArn': ''}, 'Metadata': {'ProcessingJob': {'Arn': 'arn:aws:sagemaker:us-east-2:111122223333:processing-job/pipelines-cfvy1tjuxdq8-abaloneprocess-mgqyfdujcj'}}}] -
Setelah eksekusi pipeline Anda selesai, unduh
evaluation.jsonfile yang dihasilkan dari Amazon S3 untuk memeriksa laporan.evaluation_json = sagemaker.s3.S3Downloader.read_file("{}/evaluation.json".format( step_eval.arguments["ProcessingOutputConfig"]["Outputs"][0]["S3Output"]["S3Uri"] )) json.loads(evaluation_json)
Langkah 3: Ganti Parameter Default untuk Eksekusi Pipeline
Anda dapat menjalankan eksekusi tambahan dari pipeline dengan menentukan parameter pipeline yang berbeda untuk mengganti default.
Untuk mengganti parameter default
-
Buat eksekusi pipeline. Ini memulai eksekusi pipeline lain dengan penggantian status persetujuan model disetel ke “Disetujui”. Ini berarti bahwa versi paket model yang dihasilkan oleh
RegisterModellangkah secara otomatis siap untuk penyebaran melalui pipeline CI/CD, seperti dengan Proyek. SageMaker Untuk informasi selengkapnya, lihat MLOps Otomatisasi Dengan SageMaker Proyek.execution = pipeline.start( parameters=dict( ModelApprovalStatus="Approved", ) ) -
Tunggu eksekusi selesai.
execution.wait() -
Buat daftar langkah-langkah eksekusi dan statusnya.
execution.list_steps() -
Setelah eksekusi pipeline Anda selesai, unduh
evaluation.jsonfile yang dihasilkan dari Amazon S3 untuk memeriksa laporan.evaluation_json = sagemaker.s3.S3Downloader.read_file("{}/evaluation.json".format( step_eval.arguments["ProcessingOutputConfig"]["Outputs"][0]["S3Output"]["S3Uri"] )) json.loads(evaluation_json)
Langkah 4: Hentikan dan Hapus Eksekusi Pipeline
Setelah selesai dengan pipeline, Anda dapat menghentikan eksekusi yang sedang berlangsung dan menghapus pipeline.
Untuk menghentikan dan menghapus eksekusi pipeline
-
Hentikan eksekusi pipa.
execution.stop() -
Hapus pipa.
pipeline.delete()
