Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Usa Apache Spark con Amazon SageMaker
Amazon SageMaker Spark è una libreria Spark open source che ti aiuta a creare pipeline di machine learning (ML) Spark con. SageMaker Ciò semplifica l'integrazione delle fasi di Spark ML con SageMaker fasi, come la formazione e l'hosting dei modelli. Per informazioni su SageMaker Spark, consulta il SageMaker repository Spark.
La libreria SageMaker Spark è disponibile in Python e Scala. Puoi usare SageMaker Spark per addestrare i modelli all' SageMaker uso org.apache.spark.sql.DataFrame
dei frame di dati nei tuoi cluster Spark. Dopo l'addestramento del modello, puoi anche ospitare il modello utilizzando SageMaker i servizi di hosting.
La libreria SageMaker Spark forniscecom.amazonaws.services.sagemaker.sparksdk
, tra le altre, le seguenti classi:
-
SageMakerEstimator
: estende l'interfacciaorg.apache.spark.ml.Estimator
. Puoi usare questo stimatore per addestrare i modelli in. SageMaker -
KMeansSageMakerEstimator
,PCASageMakerEstimator
eXGBoostSageMakerEstimator
: estendono la classeSageMakerEstimator
. -
SageMakerModel
: estende la classeorg.apache.spark.ml.Model
. È possibile utilizzarloSageMakerModel
per l'hosting di modelli e l'inserimento di inferenze. SageMaker
Per l'installazione ed esempi della libreria SageMaker Spark, consulta o. SageMaker Esempi di Spark per Scala SageMaker Esempi di Spark per Python (PySpark)
Se usi Amazon EMR on AWS per gestire i cluster Spark, consulta Apache
Argomenti
Integra la tua applicazione Apache Spark con SageMaker
Di seguito è riportato un riepilogo di alto livello dei passaggi per l'integrazione dell'applicazione Apache Spark con. SageMaker
-
Continua con la preelaborazione dei dati utilizzando la libreria Apache Spark con cui hai familiarità. Il set di dati rimane un
DataFrame
nel tuo cluster Spark. Carica i tuoi dati in un.DataFrame
Preelaboralo in modo da avere unafeatures
colonna conorg.apache.spark.ml.linalg.Vector
ofDoubles
e unalabel
colonna opzionale con valori diDouble
tipo. -
Usa lo stimatore nella libreria SageMaker Spark per addestrare il tuo modello. Ad esempio, se scegli l'algoritmo k-means fornito da SageMaker per l'addestramento dei modelli, chiama il metodo.
KMeansSageMakerEstimator.fit
Come input fornisci il tuo
DataFrame
. Lo strumento di valutazione restituisce un oggettoSageMakerModel
.Nota
SageMakerModel
estendeorg.apache.spark.ml.Model
.Il metodo
fit
esegue quanto segue:-
Converte l'input nel formato
DataFrame
protobuf. Lo fa selezionando lelabel
colonnefeatures
e dall'input.DataFrame
Quindi carica i dati protobuf in un bucket Amazon S3. Il formato protobuf è efficiente per l'addestramento dei modelli. SageMaker -
Avvia l'addestramento dei modelli SageMaker inviando una SageMaker
CreateTrainingJob
richiesta. Una volta completato l'addestramento del modello, SageMaker salva gli artefatti del modello in un bucket S3.SageMaker assume il IAM ruolo che avete specificato per la formazione dei modelli per eseguire attività per vostro conto. Ad esempio, utilizza il ruolo per leggere i dati di addestramento da un bucket S3 e scrivere artefatti del modello in un bucket.
-
Crea e restituisce un oggetto
SageMakerModel
. Il costruttore esegue le seguenti attività, relative alla distribuzione del modello in. SageMaker-
Invia una
CreateModel
richiesta a. SageMaker -
Invia una richiesta
CreateEndpointConfig
a SageMaker. -
Invia una
CreateEndpoint
richiesta a SageMaker, che quindi avvia le risorse specificate e ospita il modello su di esse.
-
-
-
È possibile ottenere inferenze dal modello ospitato SageMaker in.
SageMakerModel.transform
Fornisci un input
DataFrame
con caratteristiche come input. Il metodotransform
lo converte in unDataFrame
contenente inferenze. Internamente, iltransform
metodo invia una richiesta a perInvokeEndpoint
SageMaker APIottenere inferenze. Il metodotransform
collega le inferenze all'inputDataFrame
.