View a markdown version of this page

Geplante und ereignisbasierte Ausführungen für Feature-Prozessor-Pipelines - Amazon SageMaker KI
Ausführungen auf der Grundlage von ZeitplänenAuf Ereignissen basierende Ausführungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Geplante und ereignisbasierte Ausführungen für Feature-Prozessor-Pipelines

Die Ausführung der Amazon SageMaker Feature Store Feature Processing-Pipeline kann so konfiguriert werden, dass sie automatisch und asynchron auf der Grundlage eines vorkonfigurierten Zeitplans oder als Ergebnis eines anderen Serviceereignisses gestartet werden. AWS Sie können beispielsweise festlegen, dass Feature-Verarbeitungs-Pipelines am ersten jedes Monats ausgeführt werden, oder Sie können zwei Pipelines miteinander verketten, sodass eine Zielpipeline automatisch ausgeführt wird, nachdem die Ausführung einer Quell-Pipeline abgeschlossen ist.

Ausführungen auf der Grundlage von Zeitplänen

Das Feature Processor SDK bietet eine schedule API zur regelmäßigen Ausführung von Feature Processor-Pipelines mit Amazon Scheduler-Integration. EventBridge Der Zeitplan kann mit einem cron Ausdruck,, oder angegeben werden atrate, wobei der ScheduleExpression Parameter mit denselben Ausdrücken verwendet wird, die von Amazon unterstützt werden. EventBridge Die Zeitplan-API ist semantisch gesehen ein Upsert-Vorgang, da sie den Zeitplan aktualisiert, falls er bereits existiert; andernfalls erstellt sie ihn. Weitere Informationen zu den EventBridge Ausdrücken und Beispiele finden Sie im EventBridge Scheduler-Benutzerhandbuch unter Schedule types on EventBridge Scheduler.

In den folgenden Beispielen wird die Feature-Prozessor-schedule-API mit den Ausdrücken at, rate, und cron verwendet.

from sagemaker.mlops.feature_store.feature_processor import schedule
pipeline_name='feature-processor-pipeline'

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="at(2020-11-30T00:00:00)"
)

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="rate(24 hours)"
)

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="cron(0 0-23/1 ? * * 2023-2024)"
)

Die Standardzeitzone für Datums- und Uhrzeiteingaben in der schedule-API ist UTC. Weitere Informationen zu EventBridge Scheduler-Zeitplanausdrücken finden Sie ScheduleExpression in der EventBridge Scheduler API-Referenzdokumentation.

Geplante Feature-Prozessor-Pipeline-Ausführungen stellen Ihrer Transformationsfunktion die geplante Ausführungszeit zur Verfügung, die als Idempotenz-Token oder als fester Bezugspunkt für datumsbereichsbasierte Eingaben verwendet werden kann. Um einen Zeitplan zu deaktivieren (d. h. anzuhalten) oder erneut zu aktivieren, verwenden Sie den state schedule-API-Parameter mit ‘DISABLED’ bzw. ‘ENABLED’.

Weitere Informationen über RPO-Funktion finden Sie unter Feature-Prozessor SDK-Datenquellen.

Auf Ereignissen basierende Ausführungen

Eine Feature-Verarbeitungs-Pipeline kann so konfiguriert werden, dass sie automatisch ausgeführt wird, wenn ein AWS Ereignis eintritt. Das Feature-Verarbeitungs-SDK bietet eine put_trigger Funktion, die eine Liste von Quellereignissen und eine Zielpipeline akzeptiert. Bei den Quellereignissen muss es sich um Instances von FeatureProcessorPipelineEventhandeln, was eine Pipeline und Ereignisse zum Ausführungsstatus angibt.

Die put_trigger Funktion konfiguriert eine EventBridge Amazon-Regel und ein Ziel für die Weiterleitung von Ereignissen und ermöglicht es Ihnen, ein EventBridge Ereignismuster anzugeben, um auf jedes Ereignis zu reagieren. AWS Informationen zu diesen Konzepten finden Sie unter EventBridge Amazon-Regeln, -Ziele und -Ereignismuster.

Trigger können aktiviert oder deaktiviert werden. EventBridge startet eine Ziel-Pipeline-Ausführung unter Verwendung der Rolle, die im role_arn Parameter der put_trigger API angegeben ist. Die Ausführungsrolle wird standardmäßig verwendet, wenn das SDK in einer Amazon SageMaker Studio Classic- oder Notebook-Umgebung verwendet wird. Weitere Informationen zum Abrufen Ihrer Ausführungsrolle finden Sie unter Abrufen Ihrer Ausführungsrolle.

Im folgenden Beispiel wird auf festgelegt.

  • Eine SageMaker AI-Pipeline, die die to_pipeline API verwendet und den Namen Ihrer Zielpipeline (target-pipeline) und Ihre Transformationsfunktion (transform) aufnimmt. Informationen zu Ihrem Feature-Prozessor und Ihrer Transformationsfunktion finden Sie unter Feature-Prozessor SDK-Datenquellen.

  • Ein Trigger, der die put_trigger API verwendet und das FeatureProcessorPipelineEvent Ereignis und Ihren Ziel-Pipeline-Namen (target-pipeline) berücksichtigt.

    Der FeatureProcessorPipelineEvent definiert den Auslöser für den Zeitpunkt, zu dem der Status Ihrer Quellpipeline (source-pipeline) wird Succeeded. Informationen zur Feature-Prozessor-Pipeline-Ereignisfunktion finden Sie FeatureProcessorPipelineEvent im Feature Store unter Read the Docs. 

from sagemaker.mlops.feature_store.feature_processor import put_trigger, to_pipeline, FeatureProcessorPipelineEvent

to_pipeline(pipeline_name="target-pipeline", step=transform)

put_trigger(
    source_pipeline_events=[
        FeatureProcessorPipelineEvent(
            pipeline_name="source-pipeline",
            status=["Succeeded"]
        )
    ],
    target_pipeline="target-pipeline"
)

Ein Beispiel für die Verwendung ereignisbasierter Trigger zur Erstellung kontinuierlicher Ausführungen und automatischer Wiederholungen für Ihre Feature-Prozessor-Pipeline finden Sie unter Kontinuierliche Ausführungen und automatische Wiederholungen mithilfe ereignisbasierter Trigger.

Ein Beispiel für die Verwendung von ereignisbasierten Triggern zur Erstellung von kontinuierlichem Streaming und für automatische Wiederholungsversuche mithilfe ereignisbasierter Trigger finden Sie unter Beispiele für das Streamen benutzerdefinierter Datenquellen.