Exécutions planifiées et basées sur des événements pour les pipelines de processeurs de fonctionnalités - Amazon SageMaker

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exécutions planifiées et basées sur des événements pour les pipelines de processeurs de fonctionnalités

Les exécutions du pipeline de traitement des SageMaker fonctionnalités Amazon Feature Store peuvent être configurées pour démarrer automatiquement et de manière asynchrone en fonction d'un calendrier préconfiguré ou à la suite d'un autre AWS événement de service. Par exemple, vous pouvez planifier l'exécution des pipelines Feature Processing le premier de chaque mois ou enchaîner deux pipelines afin qu'un pipeline cible soit exécuté automatiquement une fois l'exécution du pipeline source terminée.

Exécutions basées sur le calendrier

Le processeur de fonctionnalités SDK permet d'scheduleAPIexécuter des pipelines de processeurs de fonctionnalités de manière récurrente grâce à l'intégration d'Amazon EventBridge Scheduler. Le calendrier peut être spécifié avec une cron expression atrate, ou en utilisant le ScheduleExpressionparamètre avec les mêmes expressions prises en charge par Amazon EventBridge. D'un point de vue sémantique, le calendrier API est une opération de bouleversement dans la mesure où il est mis à jour s'il existe déjà ; dans le cas contraire, il le crée. Pour plus d'informations sur les EventBridge expressions et les exemples, consultez la section Types de planification sur le EventBridge planificateur dans le guide de l'utilisateur du EventBridge planificateur.

Les exemples suivants utilisent le processeur scheduleAPIde fonctionnalités à l'aide des cron expressions atrate, et.

from sagemaker.feature_store.feature_processor import schedule pipeline_name='feature-processor-pipeline' event_bridge_schedule_arn = schedule( pipeline_name=pipeline_name, schedule_expression="at(2020-11-30T00:00:00)" ) event_bridge_schedule_arn = schedule( pipeline_name=pipeline_name, schedule_expression="rate(24 hours)" ) event_bridge_schedule_arn = schedule( pipeline_name=pipeline_name, schedule_expression="cron(0 0-23/1 ? * * 2023-2024)" )

Le fuseau horaire par défaut pour les entrées de date et d'heure dans schedule API are inUTC. Pour plus d'informations sur les expressions de planification du EventBridge planificateur, consultez la documentation ScheduleExpressionde référence du EventBridge planificateurAPI.

Les exécutions du pipeline de processeurs de fonctionnalités planifiées fournissent à votre fonction de transformation l'heure d'exécution planifiée, à utiliser comme jeton d'idempuissance ou point de référence fixe pour les entrées basées sur des plages de dates. Pour désactiver (c'est-à-dire suspendre) ou réactiver un calendrier, utilisez le state paramètre scheduleAPIwith ‘DISABLED’ ou‘ENABLED’, respectivement.

Pour plus d'informations sur le Feature Processor, consultezFonctionnalités : sources SDK de données du processeur.

Exécutions basées sur des événements

Un pipeline de traitement des fonctionnalités peut être configuré pour s'exécuter automatiquement lorsqu'un AWS événement se produit. Le Feature Processing SDK fournit une put_triggerfonction qui accepte une liste d'événements sources et un pipeline cible. Les événements source doivent être des instances de FeatureProcessorPipelineEvent, qui spécifient un pipeline et des événements d'état d'exécution.

La put_trigger fonction configure une EventBridge règle et une cible Amazon pour acheminer les événements et vous permet de spécifier un modèle d' EventBridge événement pour répondre à n'importe quel AWS événement. Pour plus d'informations sur ces concepts, consultez les EventBridge règles, les cibles et les modèles d'événements d'Amazon.

Les déclencheurs peuvent être activés ou désactivés. EventBridge lancera l'exécution d'un pipeline cible en utilisant le rôle fourni dans le role_arn paramètre du put_triggerAPI. Le rôle d'exécution est utilisé par défaut s'il SDK est utilisé dans un environnement Amazon SageMaker Studio Classic ou Notebook. Pour plus d'informations sur la façon d'obtenir votre rôle d'exécution, consultezObtenez votre rôle d'exécution.

L'exemple suivant permet de configurer :

  • Un SageMaker pipeline utilisant le to_pipelineAPI, qui prend le nom de votre pipeline cible (target-pipeline) et votre fonction de transformation (transform). Pour plus d'informations sur votre processeur de fonctionnalités et votre fonction de transformation, consultezFonctionnalités : sources SDK de données du processeur.

  • Un déclencheur utilisant le put_triggerAPI, qui prend en FeatureProcessorPipelineEvent compte l'événement et le nom de votre pipeline cible (target-pipeline).

    FeatureProcessorPipelineEventDéfinit le déclencheur lorsque le statut de votre pipeline source (source-pipeline) devientSucceeded. Pour plus d'informations sur la fonction événementielle Feature Processor Pipeline, consultez FeatureProcessorPipelineEventle Feature Store Read the Docs.

from sagemaker.feature_store.feature_processor import put_trigger, to_pipeline, FeatureProcessorPipelineEvent to_pipeline(pipeline_name="target-pipeline", step=transform) put_trigger( source_pipeline_events=[ FeatureProcessorPipelineEvent( pipeline_name="source-pipeline", status=["Succeeded"] ) ], target_pipeline="target-pipeline" )

Pour un exemple d'utilisation de déclencheurs basés sur des événements pour créer des exécutions continues et des tentatives automatiques pour votre pipeline de processeurs de fonctionnalités, voirExécutions continues et tentatives automatiques à l'aide de déclencheurs basés sur des événements.

Pour un exemple d'utilisation de déclencheurs basés sur des événements pour créer un streaming continu et de nouvelles tentatives automatiques à l'aide de déclencheurs basés sur des événements, voirExemples de sources de données personnalisées en streaming.