Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Carichi di lavoro di trasformazione dei dati con Processing SageMaker
SageMaker L'elaborazione si riferisce alle capacità dell' SageMaker IA di eseguire attività di pre e post-elaborazione dei dati, ingegneria delle funzionalità e valutazione dei modelli sull'infrastruttura completamente gestita dell' SageMaker IA. Queste attività vengono eseguite come processi di elaborazione. Di seguito vengono fornite informazioni e risorse per saperne di più sull' SageMaker elaborazione.
Utilizzando SageMaker Processing API, i data scientist possono eseguire script e notebook per elaborare, trasformare e analizzare i set di dati per prepararli all'apprendimento automatico. Se combinato con le altre attività critiche di apprendimento automatico fornite dall' SageMaker IA, come la formazione e l'hosting, Processing offre i vantaggi di un ambiente di apprendimento automatico completamente gestito, incluso tutto il supporto per la sicurezza e la conformità integrato nell'IA. SageMaker Hai la flessibilità di utilizzare i contenitori di elaborazione dati integrati o di importare i tuoi contenitori per una logica di elaborazione personalizzata e quindi inviare lavori da eseguire su un'infrastruttura gestita dall' SageMaker IA.
Nota
È possibile creare un processo di elaborazione a livello di codice richiamando l'azione CreateProcessingJob API in qualsiasi linguaggio supportato dall' SageMaker IA o utilizzando il. AWS CLI Per informazioni su come questa azione API si traduce in una funzione nella lingua di tua scelta, consulta la sezione Vedi anche di CreateProcessingJob e scegli un SDK. Ad esempio, per gli utenti Python, consulta la sezione
Il diagramma seguente mostra come Amazon SageMaker AI avvia un processo di elaborazione. Amazon SageMaker AI prende lo script, copia i dati da Amazon Simple Storage Service (Amazon S3) e quindi estrae un contenitore di elaborazione. L'infrastruttura sottostante per un processo di elaborazione è completamente gestita da Amazon SageMaker AI. Dopo aver inviato un processo di elaborazione, l' SageMaker IA avvia le istanze di calcolo, elabora e analizza i dati di input e rilascia le risorse una volta completato. L'output del processo di elaborazione viene archiviato nel bucket Amazon S3 che hai specificato.
Nota
I dati di input devono essere archiviati in un bucket S3 Amazon. In alternativa, puoi utilizzare Amazon Athena o Amazon Redshift come origini input.
Suggerimento
Per conoscere le migliori pratiche per il calcolo dei processi di addestramento distribuito ed elaborazione del machine learning (ML) in generale, consulta Elaborazione distribuita con best practice di SageMaker intelligenza artificiale.
Usa i taccuini di esempio di Amazon Processing SageMaker
Sono disponibili due notebook Jupyter di esempio che mostrano come eseguire la preelaborazione dei dati, la valutazione del modello o entrambe le attività.
Per un taccuino di esempio che mostra come eseguire script scikit-learn per eseguire la preelaborazione dei dati e l'addestramento e la valutazione dei modelli con l'SDK SageMaker Python for Processing, consulta scikit-learn Processing. https://github.com/awslabs/amazon-sagemaker-examples/tree/master/sagemaker_processing/scikit_learn_data_processing_and_model_evaluation
Per un taccuino di esempio che mostra come utilizzare Amazon SageMaker Processing per eseguire la preelaborazione distribuita dei dati con Spark, consulta Distributed Processing (Spark). https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker_processing/spark_distributed_data_processing/sagemaker-spark-processing.ipynb
Per istruzioni su come creare e accedere alle istanze del notebook Jupyter da utilizzare per eseguire questi esempi in AI, consulta. SageMaker Istanze di notebook Amazon SageMaker Dopo aver creato un'istanza di notebook e averla aperta, scegli la scheda Esempi di SageMaker intelligenza artificiale per visualizzare un elenco di tutti gli esempi di intelligenza artificiale. SageMaker Per aprire un notebook, seleziona la relativa scheda Utilizza e scegli Crea copia.
Monitora i SageMaker processi di elaborazione di Amazon con CloudWatch log e metriche
Amazon SageMaker Processing fornisce CloudWatch log e metriche Amazon per monitorare i processi di elaborazione. CloudWatch fornisce le metriche di CPU, GPU, memoria, memoria GPU e disco e la registrazione degli eventi. Per ulteriori informazioni, consultare Metriche Amazon SageMaker AI in Amazon CloudWatch e CloudWatch Log per Amazon AI SageMaker.
