Criar e executar pipelines do Processador de atributos do Feature Store

O processador de recursos SDK permite APIs promover suas definições de processador de recursos em um SageMaker pipeline totalmente gerenciado. Para obter mais informações sobre pipelines, consulteVisão geral dos oleodutos. Para converter suas definições de processador de recursos em um SageMaker pipeline, use o to_pipeline API com sua definição de processador de recursos. Você pode agendar execuções de seu processador de recursos. A definição pode ser agendada, monitorá-las operacionalmente com CloudWatch métricas e integrá-las EventBridge para atuar como fontes de eventos ou assinantes. Para obter mais informações sobre o monitoramento de pipelines criados com pipelines, consulte. Monitore os pipelines SageMaker do processador de recursos da Amazon Feature Store

Para ver seus pipelines do Processador de atributos, consulte Veja as execuções do pipeline no console.

Se sua função também estiver decorada com o decorador @remote, suas configurações serão transferidas para o pipeline do Processador de atributos. Você pode especificar configurações avançadas, como tipo e contagem de instâncias de computação, dependências de tempo de execução, configurações de rede e segurança usando o decorador @remote.

O exemplo a seguir usa to_pipeline execute APIs e.

from sagemaker.feature_store.feature_processor import (
    execute, to_pipeline, describe, TransformationCode
)

pipeline_name="feature-processor-pipeline"
pipeline_arn = to_pipeline(
    pipeline_name=pipeline_name,
    step=transform,
    transformation_code=TransformationCode(s3_uri="s3://bucket/prefix"),
)

pipeline_execution_arn = execute(
    pipeline_name=pipeline_name
)

Isso to_pipeline API é semanticamente uma operação invertida. Ele atualiza o pipeline se ele já existir; caso contrário, ele cria um pipeline.

to_pipelineAPIOpcionalmente, aceita um Amazon URI S3 que faz referência a um arquivo contendo a definição do Feature Processor para associá-lo ao pipeline do Feature Processor para rastrear a função de transformação e suas versões em SageMaker sua linhagem de aprendizado de máquina.

Para recuperar uma lista de cada pipeline do Feature Processor em sua conta, você pode usar o. list_pipelines API Uma solicitação subsequente para describe API devolver detalhes relacionados ao pipeline do Feature Processor, incluindo, mas não se limitando a, pipelines e detalhes do cronograma.

O exemplo a seguir usa list_pipelines describe APIs e.

from sagemaker.feature_store.feature_processor import list_pipelines, describe

feature_processor_pipelines = list_pipelines()

pipeline_description = describe(
    pipeline_name = feature_processor_pipelines[0]
)