Esecuzioni pianificate e basate su eventi per le pipeline del Processore di funzionalità - Amazon SageMaker
Esecuzioni basate sulla pianificazione Esecuzioni basate su eventi

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esecuzioni pianificate e basate su eventi per le pipeline del Processore di funzionalità

Le esecuzioni della pipeline di Amazon SageMaker Feature Store Feature Processing possono essere configurate per l'avvio automatico e asincrono in base a una pianificazione preconfigurata o in seguito a un altro evento di servizio. AWS Ad esempio, è possibile pianificare l'esecuzione delle pipeline di elaborazione delle funzionalità il primo giorno di ogni mese o concatenare due pipeline in modo che una pipeline di destinazione venga eseguita automaticamente dopo il completamento dell'esecuzione di una pipeline di origine.

Esecuzioni basate sulla pianificazione

Il Feature Processor SDK fornisce una pipeline scheduleAPIdi Feature Processor per eseguire su base ricorrente con l'integrazione di Amazon EventBridge Scheduler. La pianificazione può essere specificata con un'cronespressione atrate, o utilizzando il ScheduleExpressionparametro con le stesse espressioni supportate da Amazon EventBridge. La pianificazione API è semanticamente un'operazione di alterazione in quanto aggiorna la pianificazione se esiste già; in caso contrario, la crea. Per ulteriori informazioni sulle EventBridge espressioni e sugli esempi, vedere Schedule types on EventBridge Scheduler nella Scheduler User Guide. EventBridge

Gli esempi seguenti utilizzano il Feature Processor scheduleAPI, utilizzando le at espressionirate, andcron.

from sagemaker.feature_store.feature_processor import schedule
pipeline_name='feature-processor-pipeline'

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="at(2020-11-30T00:00:00)"
)

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="rate(24 hours)"
)

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="cron(0 0-23/1 ? * * 2023-2024)"
)

Il fuso orario predefinito per gli input di data e ora in è scheduleAPI. UTC Per ulteriori informazioni sulle espressioni di EventBridge pianificazione di Scheduler, consultate la documentazione di Scheduler ScheduleExpressionReference EventBridge . API

Le esecuzioni di pipeline pianificate del Processore di funzionalità forniscono alla funzione di trasformazione il tempo di esecuzione pianificato, da utilizzare come token di idempotenza o punto di riferimento fisso per gli input basati su intervalli di date. Per disabilitare (ad esempio mettere in pausa) o riattivare una pianificazione, utilizzate il state parametro scheduleAPIwith ‘DISABLED’ o, rispettivamente. ‘ENABLED’

Per informazioni sul Processore di funzionalità, consulta Fonti di SDK dati del Feature Processor.

Esecuzioni basate su eventi

Una pipeline di elaborazione delle funzionalità può essere configurata per l'esecuzione automatica quando si verifica un evento AWS . Il Feature Processing SDK fornisce una put_triggerfunzione che accetta un elenco di eventi di origine e una pipeline di destinazione. Gli eventi di origine devono essere istanze di FeatureProcessorPipelineEvent, che specifica una pipeline ed eventi di stato di esecuzione.

La put_trigger funzione configura una EventBridge regola e un target Amazon per instradare gli eventi e consente di specificare un modello di EventBridge evento per rispondere a qualsiasi AWS evento. Per informazioni su questi concetti, consulta Amazon EventBridge rules, targets and event patterns.

I trigger possono essere abilitati o disabilitati. EventBridge avvierà l'esecuzione di una pipeline di destinazione utilizzando il ruolo fornito nel role_arn parametro di. put_trigger API Il ruolo di esecuzione viene utilizzato per impostazione predefinita se SDK viene utilizzato in un ambiente Amazon SageMaker Studio Classic o Notebook. Per informazioni su come ottenere il ruolo di esecuzione, consulta Assumi il tuo ruolo di esecuzione.

L'esempio seguente configura:

  • Una SageMaker pipeline che utilizza to_pipelineAPI, che include il nome della pipeline di destinazione (target-pipeline) e la funzione di trasformazione (transform). Per informazioni sul Processore di funzionalità e sulla funzione di trasformazione, consulta Fonti di SDK dati del Feature Processor.

  • Un trigger che utilizza put_triggerAPI, che sostituisce l'evento e FeatureProcessorPipelineEvent il nome della pipeline di destinazione (). target-pipeline

    FeatureProcessorPipelineEvent definisce il trigger per quando lo stato della pipeline di origine (source-pipeline) diventa Succeeded. Per informazioni sulla funzione evento della pipeline del Processore di funzionalità, consulta FeatureProcessorPipelineEvent in Leggi i documenti del Processore di funzionalità. 

from sagemaker.feature_store.feature_processor import put_trigger, to_pipeline, FeatureProcessorPipelineEvent

to_pipeline(pipeline_name="target-pipeline", step=transform)

put_trigger(
    source_pipeline_events=[
        FeatureProcessorPipelineEvent(
            pipeline_name="source-pipeline",
            status=["Succeeded"]
        )
    ],
    target_pipeline="target-pipeline"
)

Per un esempio di utilizzo di trigger basati su eventi per creare esecuzioni continue e tentativi automatici per la pipeline del Processore di funzionalità, consulta Esecuzioni continue e tentativi automatici utilizzando trigger basati su eventi.

Per un esempio di utilizzo di trigger basati su eventi per creare streaming continuo e tentativi automatici utilizzando trigger basati su eventi, consulta Esempi di origini dati personalizzate di streaming.