Notebooks de exemplo do Amazon SageMaker Autopilot

Por padrão, o Autopilot permite a implantação de modelos gerados em endpoints de inferência em tempo real. Nesse repositório, o caderno ilustra como implantar modelos de piloto automático treinados com ENSEMBLING e HYPERPARAMETER OPTIMIZATION (HPO) modos em endpoints sem servidor. Os endpoints sem servidor iniciam automaticamente os recursos de computação e os escalam para dentro e para baixo, dependendo do tráfego, eliminando a necessidade de escolher tipos de instância ou gerenciar políticas de escalabilidade.

Seleção de atributos personalizados

O piloto automático inspeciona seu conjunto de dados e executa vários candidatos para descobrir a combinação ideal de etapas de pré-processamento de dados, algoritmos de machine learning e hiperparâmetros. Você pode implantar facilmente em um endpoint em tempo real ou para processamento em lote.

Em alguns casos, você pode desejar ter a flexibilidade de trazer um código de processamento de dados personalizado para o Autopilot. Por exemplo, seus conjuntos de dados podem conter um grande número de variáveis independentes, e talvez você queira incorporar uma etapa personalizada de seleção de atributos para remover primeiro as variáveis irrelevantes. O conjunto de dados menor resultante pode então ser usado para iniciar um trabalho de Autopilot. Por fim, você também gostaria de incluir o código de processamento personalizado e os modelos do Autopilot para processamento em tempo real ou em lote.

Exemplo de pipeline

Embora o Autopilot simplifique o processo de criação de modelos de ML, MLOps os engenheiros ainda são responsáveis por criar, automatizar e gerenciar fluxos de trabalho de end-to-end ML na produção. SageMaker Os pipelines podem ajudar na automação de várias etapas do ciclo de vida do ML, como pré-processamento de dados, treinamento de modelos, ajuste de hiperparâmetros, avaliação de modelos e implantação. Este notebook serve como uma demonstração de como incorporar o piloto automático em um SageMaker fluxo de trabalho de treinamento do end-to-end AutoML do Pipelines. Para iniciar um experimento de Autopilot no Pipelines, você deve criar um fluxo de trabalho de criação de modelos escrevendo um código de integração personalizado usando as etapas Lambda ou de Processamento do Pipelines. Para obter mais informações, consulte Mova os modelos de ML do Amazon SageMaker Autopilot da experimentação para a produção usando o Amazon SageMaker Pipelines.

Como alternativa, ao usar o Autopilot no modo Ensembling, você pode consultar o exemplo do notebook que demonstra como usar a etapa nativa do AutoML na etapa nativa do AutoML do PipelineSageMaker . Com o Autopilot suportado como uma etapa nativa nos Pipelines, agora você pode adicionar uma etapa de treinamento automatizado (AutoMLStep) aos seus Pipelines e invocar um experimento de piloto automático no modo Ensembling.

Este caderno demonstra como usa o Conjunto de Dados de Marketing Bancário para prever se um cliente se inscreverá para receber um depósito a prazo em um banco. Você pode usar o Autopilot nesse conjunto de dados para obter o pipeline de ML mais preciso, explorando as opções contidas em vários pipelines candidatos. O Autopilot gera cada candidato em um procedimento de duas etapas. A primeira etapa executa a engenharia automatizada de recursos no conjunto de dados. A segunda etapa treina e ajusta um algoritmo para produzir um modelo. O caderno contém instruções sobre como treinar o modelo e como implantar o modelo para realizar inferência em lote usando o melhor candidato.

Este caderno descreve o uso do aprendizado de máquina para a identificação automatizada de clientes insatisfeitos, também conhecida como previsão de rotatividade de clientes. O exemplo mostra como analisar um conjunto de dados disponível publicamente e executar nele a engenharia de atributos. Depois, ele mostra como ajustar um modelo selecionando o pipeline de melhor desempenho juntamente com os hiperparâmetros ideais para o algoritmo de treinamento. Finalmente, ele mostra como implantar o modelo em um endpoint hospedado e como avaliar suas previsões com o Ground Truth. No entanto, os modelos de ML raramente fornecem previsões perfeitas. É por isso que este caderno também mostra como incorporar os custos relativos de erros de previsão ao determinar o resultado financeiro do uso de ML.

Este caderno também descreve o uso do aprendizado de máquina para a identificação automatizada de clientes insatisfeitos, também conhecida como previsão de rotatividade de clientes. Este caderno demonstra como configurar o modelo para obter a probabilidade de inferência, selecionar os principais modelos N e fazer a Transformação do Processamento em Lote em um conjunto de testes para avaliação.

Este notebook demonstra como incorporar e implantar código de processamento de dados personalizado ao usar o Amazon SageMaker Autopilot. Ele adiciona uma etapa personalizada de seleção de recursos para remover variáveis irrelevantes de um trabalho do Autopilot. Em seguida, mostra como implantar o código de processo personalizado e os modelos gerados pelo Autopilot em um endpoint em tempo real e, alternativamente, para processamento em lote.

Mais cadernos

Você pode encontrar mais cadernos ilustrando outros casos de uso, como transformação em lote, previsão de séries temporais e muito mais no diretório raiz.