Eksekusi terjadwal dan berbasis acara untuk pipeline Prosesor Fitur - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Eksekusi terjadwal dan berbasis acara untuk pipeline Prosesor Fitur

Eksekusi pipeline Pemrosesan SageMaker Fitur Amazon Feature Store dapat dikonfigurasi untuk memulai secara otomatis dan asinkron berdasarkan jadwal yang telah dikonfigurasi sebelumnya atau sebagai hasil dari peristiwa layanan lain. AWS Misalnya, Anda dapat menjadwalkan pipeline Pemrosesan Fitur untuk dieksekusi pada bulan pertama setiap bulan atau menghubungkan dua saluran pipa bersama-sama sehingga pipeline target dijalankan secara otomatis setelah eksekusi pipa sumber selesai.

Jadwal eksekusi berdasarkan

Prosesor Fitur SDK menyediakan saluran pipa Prosesor Fitur scheduleAPIuntuk menjalankan secara berulang dengan integrasi Amazon EventBridge Scheduler. Jadwal dapat ditentukan denganat,rate, atau cron ekspresi menggunakan ScheduleExpressionparameter dengan ekspresi yang sama didukung oleh Amazon EventBridge. Jadwal API secara semantik merupakan operasi upsert karena memperbarui jadwal jika sudah ada; jika tidak, itu membuatnya. Untuk informasi selengkapnya tentang EventBridge ekspresi dan contoh, lihat Jenis jadwal pada EventBridge Penjadwal di Panduan Pengguna EventBridge Penjadwal.

Contoh berikut menggunakan Prosesor Fitur scheduleAPI, menggunakanat,rate, dan cron ekspresi.

from sagemaker.feature_store.feature_processor import schedule pipeline_name='feature-processor-pipeline' event_bridge_schedule_arn = schedule( pipeline_name=pipeline_name, schedule_expression="at(2020-11-30T00:00:00)" ) event_bridge_schedule_arn = schedule( pipeline_name=pipeline_name, schedule_expression="rate(24 hours)" ) event_bridge_schedule_arn = schedule( pipeline_name=pipeline_name, schedule_expression="cron(0 0-23/1 ? * * 2023-2024)" )

Zona waktu default untuk masukan tanggal dan waktu di dalam scheduleAPI. UTC Untuk informasi selengkapnya tentang ekspresi jadwal EventBridge Scheduler, lihat ScheduleExpressiondi dokumentasi API Referensi EventBridge Penjadwal.

Eksekusi pipeline Prosesor Fitur Terjadwal menyediakan fungsi transformasi Anda dengan waktu eksekusi terjadwal, untuk digunakan sebagai token idempotensi atau titik referensi tetap untuk input berbasis rentang tanggal. Untuk menonaktifkan (mis., Jeda) atau mengaktifkan kembali jadwal, gunakan state parameter scheduleAPIwith ‘DISABLED’ atau‘ENABLED’, masing-masing.

Untuk informasi tentang Prosesor Fitur, lihatFitur Sumber SDK data prosesor.

Eksekusi berbasis acara

Pipeline Pemrosesan Fitur dapat dikonfigurasi untuk mengeksekusi secara otomatis ketika suatu AWS peristiwa terjadi. Pemrosesan Fitur SDK menyediakan put_triggerfungsi yang menerima daftar peristiwa sumber dan saluran target. Peristiwa sumber harus berupa contoh FeatureProcessorPipelineEvent, yang menentukan peristiwa status pipeline dan eksekusi.

put_triggerFungsi ini mengonfigurasi EventBridge aturan Amazon dan menargetkan untuk merutekan peristiwa dan memungkinkan Anda menentukan pola EventBridge peristiwa untuk merespons AWS peristiwa apa pun. Untuk informasi tentang konsep ini, lihat EventBridge aturan Amazon, target, dan pola peristiwa.

Pemicu dapat diaktifkan atau dinonaktifkan. EventBridge akan memulai eksekusi pipa target menggunakan peran yang disediakan dalam role_arn parameter put_triggerAPI. Peran eksekusi digunakan secara default jika SDK digunakan di lingkungan Amazon SageMaker Studio Classic atau Notebook. Untuk informasi tentang cara mendapatkan peran eksekusi Anda, lihatDapatkan peran eksekusi Anda.

Contoh berikut mengatur:

  • SageMaker Pipeline menggunakan to_pipelineAPI, yang mengambil nama pipeline target (target-pipeline) dan fungsi transformasi Anda (transform). Untuk informasi tentang Prosesor Fitur dan fungsi transformasi, lihatFitur Sumber SDK data prosesor.

  • Pemicu menggunakan put_triggerAPI, yang menerima acara dan nama pipeline target Anda (target-pipeline). FeatureProcessorPipelineEvent

    FeatureProcessorPipelineEventMendefinisikan pemicu kapan status source pipeline (source-pipeline) Anda menjadiSucceeded. Untuk informasi tentang fungsi acara Pipeline Prosesor Fitur, lihat FeatureProcessorPipelineEventdi Toko Fitur Baca Dokumen.

from sagemaker.feature_store.feature_processor import put_trigger, to_pipeline, FeatureProcessorPipelineEvent to_pipeline(pipeline_name="target-pipeline", step=transform) put_trigger( source_pipeline_events=[ FeatureProcessorPipelineEvent( pipeline_name="source-pipeline", status=["Succeeded"] ) ], target_pipeline="target-pipeline" )

Untuk contoh penggunaan pemicu berbasis peristiwa untuk membuat eksekusi berkelanjutan dan percobaan ulang otomatis untuk pipeline Prosesor Fitur Anda, lihat. Eksekusi berkelanjutan dan percobaan ulang otomatis menggunakan pemicu berbasis peristiwa

Untuk contoh menggunakan pemicu berbasis peristiwa untuk membuat streaming berkelanjutan dan percobaan ulang otomatis menggunakan pemicu berbasis peristiwa, lihat. Contoh sumber data khusus streaming