Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
La preparazione dei dati nell'apprendimento automatico si riferisce al processo di raccolta, preelaborazione e organizzazione dei dati grezzi per renderli adatti all'analisi e alla modellazione. Questo passaggio garantisce che i dati siano in un formato dal quale gli algoritmi di apprendimento automatico possano apprendere in modo efficace. Le attività di preparazione dei dati possono includere la gestione dei valori mancanti, la rimozione di valori anomali, il ridimensionamento delle funzionalità, la codifica delle variabili categoriche, la valutazione di potenziali pregiudizi e l'adozione di misure per mitigarli, la suddivisione dei dati in set di formazione e test, l'etichettatura e altre trasformazioni necessarie per ottimizzare la qualità e l'usabilità dei dati per le successive attività di apprendimento automatico.
Scegli una funzionalità
Esistono 3 casi d'uso principali per la preparazione dei dati con Amazon SageMaker AI. Scegli il caso d'uso in linea con i tuoi requisiti, quindi fai riferimento alla funzionalità consigliata corrispondente.
Casi d'uso
Di seguito sono riportati i casi d'uso principali per l'esecuzione della preparazione dei dati per il Machine Learning.
-
Caso d'uso 1: per coloro che preferiscono un'interfaccia visiva, l' SageMaker intelligenza artificiale offre modi per esplorare, preparare e progettare funzionalità per la formazione dei modelli in un point-and-click ambiente.
-
Caso d'uso 2: per gli utenti che hanno dimestichezza con la programmazione e che desiderano maggiore flessibilità e controllo sulla preparazione dei dati, l' SageMaker IA integra strumenti nei suoi ambienti di codifica per l'esplorazione, le trasformazioni e l'ingegnerizzazione delle funzionalità.
-
Caso d'uso 3: per gli utenti focalizzati sulla preparazione scalabile dei dati, l' SageMaker intelligenza artificiale offre funzionalità serverless che sfruttano l'ecosistema Hadoop/Spark per l'elaborazione distribuita di big data.
Funzionalità consigliate
La tabella seguente illustra le considerazioni e i compromessi chiave per le funzionalità di SageMaker intelligenza artificiale relative a ciascun caso d'uso della preparazione dei dati per l'apprendimento automatico. Per iniziare, identifica il caso d'uso che soddisfa i tuoi requisiti e accedi alla funzionalità di intelligenza artificiale consigliata. SageMaker
| Descrittore | Caso d'uso 1 | Caso d'uso 2 | Caso d'uso 3 |
|---|---|---|---|
| SageMaker Funzionalità AI | Data Wrangler all'interno di Amazon Canvas SageMaker | Preparazione dei dati con SQL in Studio | Preparare i dati utilizzando EMR Serverlessapplicazioni in Studio |
| Descrizione | SageMaker Canvas è un ambiente visivo a basso codice per la creazione, l'addestramento e l'implementazione di modelli di apprendimento automatico nell' SageMaker intelligenza artificiale. Il suo strumento Data Wrangler integrato consente agli utenti di combinare, trasformare e pulire i set di dati attraverso interazioni. point-and-click | L'estensione SQL di Studio consente agli utenti di connettersi ad Amazon Redshift, Snowflake, Athena e Amazon S3 per creare query SQL ad hoc e visualizzare in anteprima i risultati nei notebook. JupyterLab L'output di queste query può essere manipolato utilizzando Python e Pandas per ulteriori elaborazioni, visualizzazioni e trasformazioni in formati utilizzabili per lo sviluppo di modelli di machine learning. | L'integrazione tra EMR Serverless e Amazon SageMaker Studio fornisce un ambiente serverless scalabile per la preparazione di dati su larga scala per l'apprendimento automatico utilizzando framework open source come Apache Spark e Apache Hive. Gli utenti possono accedere direttamente alle applicazioni e ai dati EMR Serverless dai propri notebook Studio per eseguire le attività di preparazione dei dati su larga scala. |
| Ottimizzato per | Utilizzando un'interfaccia visiva in cui è possibile: Ottimizzato per attività di dati tabulari come la gestione dei valori mancanti, la codifica di variabili categoriali e l'applicazione di trasformazioni dei dati. |
Per gli utenti i cui dati risiedono in Amazon Redshift, Snowflake, Athena o Amazon S3 e desiderano combinare SQL esplorativo e Python per l'analisi e la preparazione dei dati senza la necessità di imparare Spark. | Per gli utenti che preferiscono un'esperienza serverless con fornitura e terminazione automatiche delle risorse per scalare carichi di lavoro interattivi di breve durata o intermittenti che ruotano attorno ad Apache Spark, sfruttando al contempo le funzionalità di apprendimento automatico dell'IA. SageMaker |
| Considerazioni |
|
|
|
| Ambiente consigliato | Guida introduttiva all'utilizzo di SageMaker Canvas | Avvia Studio | Avvia Studio |
Opzioni aggiuntive
SageMaker L'intelligenza artificiale offre le seguenti opzioni aggiuntive per preparare i dati da utilizzare nei modelli di apprendimento automatico.
-
Preparazione dei dati con Amazon EMR: per attività di elaborazione dati di lunga durata, con uso intensivo di calcolo e su larga scala, prendi in considerazione l'utilizzo dei cluster Amazon EMR di Studio. SageMaker I cluster Amazon EMR sono progettati per gestire una parallelizzazione massiccia e possono essere scalati fino a centinaia o migliaia di nodi, il che li rende adatti per carichi di lavoro di big data che richiedono framework come Apache Spark, Hadoop, Hive e Presto. L'integrazione di Amazon EMR con SageMaker Studio ti consente di sfruttare la scalabilità e le prestazioni di Amazon EMR, mantenendo la sperimentazione completa del machine learning, la formazione e l'implementazione dei modelli, centralizzati e gestiti all'interno dell'ambiente Studio. SageMaker
-
Prepara i dati utilizzando le sessioni interattive Glue: puoi utilizzare il motore serverless basato su Apache Spark proveniente da sessioni AWS Glue interattive per aggregare, trasformare e preparare dati da più fonti in Studio. SageMaker
-
Identifica le distorsioni nei dati di formazione utilizzando i processi di elaborazione di Amazon SageMaker Clarify: SageMaker Clarify analizza i dati e rileva potenziali distorsioni su più aspetti. Ad esempio, puoi utilizzare l'API Clarify in Studio per rilevare se i dati di allenamento contengono rappresentazioni squilibrate o pregiudizi di etichettatura tra gruppi come sesso, razza o età. Clarify può aiutarvi a identificare questi pregiudizi prima di addestrare un modello per evitare di propagarli nelle previsioni del modello.
-
Crea, archivia e condividi funzionalità: Amazon SageMaker Feature Store ottimizza la scoperta e il riutilizzo di funzionalità curate per l'apprendimento automatico. Fornisce un archivio centralizzato per archiviare i dati delle funzionalità che possono essere cercati e recuperati per l'addestramento dei modelli. L'archiviazione delle funzionalità in un formato standardizzato consente il riutilizzo tra progetti di machine learning. Il Feature Store gestisce l'intero ciclo di vita delle funzionalità, tra cui il tracciamento della discendenza, le statistiche e gli audit trail per la progettazione di funzionalità di apprendimento automatico scalabili e gestite.
-
Etichetta i dati con a human-in-the-loop: Puoi utilizzare SageMaker Ground Truth per gestire i flussi di lavoro di etichettatura dei dati dei tuoi set di dati di allenamento.
-
Usa l'API di SageMaker elaborazione: dopo aver eseguito l'analisi esplorativa dei dati e creato le fasi di trasformazione dei dati, puoi produrre il codice di trasformazione utilizzando i processi di elaborazione SageMaker AI e automatizzare il flusso di lavoro di preparazione utilizzando Model Building Pipelines. SageMaker
