Visão geral do Pipelines - Amazon SageMaker

Visão geral do Pipelines

Um pipeline do Amazon SageMaker Pipelines é uma série de etapas interconectadas em um gráfico acíclico direcionado (DAG) que são definidas usando a interface de usuário de arrastar e soltar ou o SDK do Pipelines. Você também pode criar seu pipeline usando o esquema JSON de definição de pipeline. Esse DAG JSON fornece informações sobre os requisitos e as relações entre cada etapa do seu pipeline. A estrutura do DAG de um pipeline é determinada pelas dependências de dados entre as etapas. Essas dependências de dados são criadas quando as propriedades da saída de uma etapa são passadas como entrada para outra etapa. A imagem a seguir é um exemplo de DAG de pipeline:

Um exemplo de gráfico acíclico direcionado (DAG) de pipeline.
O exemplo inclui as seguintes etapas:

  1. AbaloneProcess, uma instância da etapa de processamento, executa um script de pré-processamento nos dados usados para treinamento. Por exemplo, o script pode preencher valores ausentes, normalizar dados numéricos ou dividir dados nos conjuntos de dados de treinamento, validação e teste.

  2. AbaloneTrain, uma instância da etapa de treinamento, configura hiperparâmetros e treina um modelo a partir dos dados de entrada pré-processados.

  3. AbaloneEval, outra instância da etapa de processamento, avalia a precisão do modelo. Esta etapa mostra um exemplo de dependência de dados: usa a saída do conjunto de dados de teste do AbaloneProcess.

  4. AbaloneMSECond é uma instância de uma etapa de condição que, neste exemplo, verifica se o resultado do erro quadrático médio da avaliação de modelo está abaixo de um determinado limite. Se o modelo não atender aos critérios, o funcionamento do pipeline é interrompido.

  5. A execução do pipeline prossegue com as seguintes etapas:

    1. AbaloneRegisterModel, em que o SageMaker chama a etapa RegisterModel para registrar o modelo como um grupo de pacotes de modelo versionados no Registro de Modelos do Amazon SageMaker.

    2. AbaloneCreateModel, em que o SageMaker chama a etapa CreateModel para criar o modelo em preparação para a transformação em lote. Em AbaloneTransform, o SageMaker chama a etapa de transformação para gerar predições de modelo em um conjunto de dados especificado por você.

Os tópicos a seguir descrevem conceitos fundamentais do Pipelines. Para obter um tutorial descrevendo a implementação desses conceitos, consulte Ações de pipelines.

Tópicos