Notebook di esempio di Amazon SageMaker Autopilot

Per impostazione predefinita, Autopilot consente di distribuire modelli generati su endpoint di inferenza in tempo reale. In questo repository, il notebook illustra come distribuire modelli Autopilot addestrati con le modalità ENSEMBLING e HYPERPARAMETER OPTIMIZATION (HPO) su endpoint serverless. Gli endpoint serverless avviano automaticamente le risorse di calcolo e le ridimensionano in base al traffico, eliminando la necessità di scegliere i tipi di istanza o gestire le policy di scalabilità.

Selezione di funzionalità personalizzate

Autopilot ispeziona il set di dati ed esegue una serie di candidati per individuare la combinazione ottimale di fasi di preelaborazione dei dati, algoritmi di machine learning e iperparametri. È possibile implementarlo facilmente su un endpoint in tempo reale o per l'elaborazione in batch.

In alcuni casi, può essere opportuno avere la flessibilità necessaria per aggiungere codice di elaborazione dati personalizzato ad Autopilot. Ad esempio, i set di dati potrebbero contenere un gran numero di variabili indipendenti e potresti voler incorporare una fase di selezione delle funzionalità personalizzata per rimuovere prima le variabili irrilevanti. Il set di dati più piccolo risultante può quindi essere utilizzato per avviare un processo Autopilot. In definitiva, dovresti includere anche il codice di elaborazione personalizzato e i modelli di Autopilot per l'elaborazione in tempo reale o in batch.

Esempio di pipeline

Sebbene Autopilot semplifichi il processo di creazione di modelli ML, MLOps gli ingegneri sono comunque responsabili della creazione, dell'automazione e della gestione dei flussi di lavoro ML in produzione. end-to-end SageMaker Le pipeline possono aiutare ad automatizzare varie fasi del ciclo di vita del machine learning, come la preelaborazione dei dati, l'addestramento dei modelli, l'ottimizzazione degli iperparametri, la valutazione dei modelli e l'implementazione. Questo notebook serve come dimostrazione di come incorporare Autopilot in un flusso di lavoro di formazione di Pipelines SageMaker AutoML. end-to-end Per avviare un esperimento Autopilot all'interno di Pipelines, è necessario creare un flusso di lavoro per la creazione di modelli scrivendo codice di integrazione personalizzato utilizzando le fasi Lambda o Elaborazione di Pipelines. Per ulteriori informazioni, consulta Spostare i modelli Amazon SageMaker Autopilot ML dalla sperimentazione alla produzione utilizzando Amazon Pipelines. SageMaker

In alternativa, quando si utilizza Autopilot in modalità Ensembling, è possibile fare riferimento all'esempio del notebook che dimostra come utilizzare il passaggio AutoML nativo nel passaggio AutoML nativo di Pipeline. SageMaker Con Autopilot supportato come passaggio nativo all'interno di Pipelines, ora puoi aggiungere una fase di addestramento automatizzata (AutoMLStep) alle tue Pipelines e richiamare un esperimento Autopilot in modalità Ensembling.

Questo taccuino dimostra come utilizza il Bank Marketing Data Set per prevedere se un cliente richiederà un deposito a termine presso una banca. È possibile utilizzare Autopilot in questo set di dati per ottenere la pipeline ML più accurata esplorando le opzioni contenute in varie pipeline candidate. Autopilot genera ogni candidato in una procedura in due fasi. La prima fase esegue l'ingegneria automatizzata delle funzionalità sul set di dati. La seconda fase addestra e sintonizza un algoritmo per produrre un modello. Il notebook contiene istruzioni su come addestrare il modello e su come distribuire il modello per eseguire l'inferenza batch utilizzando i migliori candidati.

Questo taccuino descrive l'utilizzo dell'apprendimento automatico per l'identificazione automatica dei clienti insoddisfatti, nota anche come previsione del tasso di abbandono dei clienti. Nell'esempio viene illustrato come analizzare un set di dati disponibile pubblicamente ed eseguire su di esso l'engineering delle funzionalità. Successivamente viene illustrato come ottimizzare un modello selezionando la pipeline con le prestazioni migliori insieme agli iperparametri ottimali per l'algoritmo di addestramento. Infine, mostra come distribuire il modello su un endpoint ospitato e valutarne le previsioni rispetto alla verità di base. Tuttavia, i modelli ML raramente forniscono previsioni perfette. Ecco perché questo notebook si riferisce anche a come incorporare i costi relativi degli errori di previsione quando si determina il risultato finanziario dell'uso del ML.

Questo taccuino descrive anche l'utilizzo dell'apprendimento automatico per l'identificazione automatica dei clienti insoddisfatti, nota anche come previsione del tasso di abbandono dei clienti. Questo notebook dimostra come configurare il modello per ottenere la probabilità di inferenza, selezionare i migliori N modelli ed eseguire Batch Transform su un set di test hold-out per la valutazione.

Questo notebook dimostra come incorporare e distribuire codice di elaborazione dati personalizzato quando si utilizza Amazon SageMaker Autopilot. Aggiunge una fase di selezione delle funzionalità personalizzata per rimuovere le variabili irrilevanti da un lavoro Autopilot. Quindi mostra come implementare sia il codice di elaborazione personalizzato che i modelli generati da Autopilot su un endpoint in tempo reale e, in alternativa, per l'elaborazione in batch.

Altri notebook

Puoi trovare altri notebook che illustrano altri casi d'uso come la trasformazione in batch, la previsione delle serie temporali e altro ancora nella directory root.