Programar execuções de pipeline

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Você pode programar suas execuções do Amazon SageMaker Pipelines usando a Amazon. EventBridge O Amazon SageMaker Pipelines é suportado como alvo na Amazon EventBridge. Isso permite que você inicie a execução do seu pipeline de construção de modelos com base em qualquer evento em seu barramento de eventos. Com EventBridge, você pode automatizar suas execuções de pipeline e responder automaticamente a eventos, como tarefas de treinamento ou mudanças no status do endpoint. Os eventos incluem um novo arquivo sendo carregado para seu bucket do Amazon S3, uma alteração no status do seu endpoint do Amazon SageMaker AI devido à deriva e tópicos do Amazon Simple Notification Service (SNS).

As seguintes ações do Pipelines podem ser iniciadas automaticamente: 

Para obter mais informações sobre o agendamento de trabalhos de SageMaker IA, consulte Automatização da IA SageMaker com a Amazon. EventBridge

Agende um pipeline com a Amazon EventBridge

Para iniciar a execução de um pipeline com o Amazon CloudWatch Events, você deve criar uma EventBridge regra. Ao criar uma regra para eventos, você especifica uma ação de destino a ser tomada ao EventBridge receber um evento que corresponda à regra. Quando um evento corresponde à regra, EventBridge envia o evento para o destino especificado e inicia a ação definida na regra.

Os tutoriais a seguir mostram como agendar a execução de um pipeline EventBridge usando o EventBridge console ou o. AWS CLI 

Pré-requisitos

Crie uma EventBridge regra usando o EventBridge console

O procedimento a seguir mostra como criar uma EventBridge regra usando o EventBridge console. 

Sua regra agora está em vigor e pronta para iniciar suas execuções de pipeline.

Crie uma EventBridge regra usando o AWS CLI

O procedimento a seguir mostra como criar uma EventBridge regra usando AWS CLI o.

Agende um pipeline com o SDK do SageMaker Python

As seções a seguir mostram como configurar permissões para acessar EventBridge recursos e criar seu cronograma de pipeline usando o SDK do SageMaker Python.

Permissões obrigatórias

Você precisa ter as permissões necessárias para usar o programador de pipeline. Conclua as seguintes etapas para configurar suas permissões:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "scheduler.amazonaws.com",
                    "sagemaker.amazonaws.com"
                ]
            },
        "Action": "sts:AssumeRole"
        }
    ]
}

Criar e programar um pipeline

Usando o construtor PipelineSchedule, você pode programar um pipeline para ser executado uma vez ou em um intervalo predeterminado. Um cronograma de pipeline deve ser do tipo at, rate ou cron. Esse conjunto de tipos de agendamento é uma extensão das opções de EventBridge agendamento. Para obter mais informações sobre como usar a PipelineSchedule classe, consulte sagemaker.workflow.triggers. PipelineSchedule. O exemplo a seguir demonstra como criar cada tipo de agendamento com PipelineSchedule.

from sagemaker.workflow.triggers import PipelineSchedule

# schedules a pipeline run for 12/13/2023 at time 10:15:20 UTC
my_datetime_schedule = PipelineSchedule(
    name="<schedule-name>", 
    at=datetime(2023, 12, 13, 10, 15, 20)
)

# schedules a pipeline run every 5 minutes
my_rate_schedule = PipelineSchedule(
    name="<schedule-name>", 
    rate=(5, "minutes")
)

# schedules a pipeline run at 10:15am UTC on the last Friday of each month during the years 2022 to 2023
my_cron_schedule = PipelineSchedule(
    name="<schedule-name>", 
    cron="15 10 ? * 6L 2022-2023"
)

Anexar o acionador ao seu pipeline

Para anexar seu PipelineSchedule ao seu pipeline, invoque a chamada put_triggers no objeto de pipeline criado com uma lista de acionadores. Se você receber um ARN de resposta, você criou com sucesso o cronograma em sua conta e EventBridge começa a invocar o funil de destino no horário ou na taxa especificada. Você deve especificar uma função com as permissões corretas para anexar acionadores a um pipeline principal. Se você não fornecer nenhuma, o Pipelines busca a função padrão usada para criar o pipeline a partir do arquivo de configuração.

O exemplo a seguir demonstra como anexar um cronograma a um pipeline.

scheduled_pipeline = Pipeline(
    name="<pipeline-name>",
    steps=[...],
    sagemaker_session=<sagemaker-session>,
)
custom_schedule = PipelineSchedule(
    name="<schedule-name>", 
    at=datetime(year=2023, month=12, date=25, hour=10, minute=30, second=30)
)
scheduled_pipeline.put_triggers(triggers=[custom_schedule], role_arn=<role>)

Descrever os acionadores atuais

Para recuperar informações sobre os acionadores do pipeline criado, você pode invocar a API describe_trigger() com o nome do acionador. Esse comando retorna detalhes sobre a expressão de agendamento criada, como horário de início, estado ativado e outras informações úteis. O trecho a seguir mostra um exemplo de invocação:

scheduled_pipeline.describe_trigger(name="<schedule-name>")

Recursos de remoção de acionador

Antes de excluir seu pipeline, limpe os acionadores existentes para evitar um vazamento de recursos em sua conta. Você deve excluir os acionadores antes de destruir o pipeline principal. Você pode excluir seus acionadores passando uma lista de nomes de acionadores para a API delete_triggers. O trecho a seguir demonstra como excluir acionadores.

pipeline.delete_triggers(trigger_names=["<schedule-name>"])