Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

# Apache Spark con Amazon AI SageMaker
<a name="apache-spark"></a>

Amazon SageMaker AI Spark è una libreria Spark open source che ti aiuta a creare pipeline di machine learning (ML) Spark con l'intelligenza artificiale. SageMaker Ciò semplifica l'integrazione delle fasi di Spark ML con le fasi di SageMaker intelligenza artificiale, come la formazione e l'hosting dei modelli. Per informazioni su SageMaker AI Spark, consulta il repository [SageMaker AI](https://github.com/aws/sagemaker-spark) Spark. GitHub I seguenti argomenti forniscono informazioni per imparare a usare Apache Spark con l'intelligenza artificiale. SageMaker 

La libreria SageMaker AI Spark è disponibile in Python e Scala. Puoi usare SageMaker AI Spark per addestrare modelli nell' SageMaker intelligenza artificiale utilizzando i frame di `org.apache.spark.sql.DataFrame` dati nei tuoi cluster Spark. Dopo l'addestramento del modello, puoi anche ospitare il modello utilizzando i servizi di hosting SageMaker AI. 

La libreria SageMaker AI Spark fornisce`com.amazonaws.services.sagemaker.sparksdk`, tra le altre, le seguenti classi:
+ `SageMakerEstimator`: estende l'interfaccia `org.apache.spark.ml.Estimator`. Puoi usare questo stimatore per l'addestramento dei modelli nell' SageMaker intelligenza artificiale.
+ `KMeansSageMakerEstimator`, `PCASageMakerEstimator` e `XGBoostSageMakerEstimator`: estendono la classe `SageMakerEstimator`. 
+ `SageMakerModel`: estende la classe `org.apache.spark.ml.Model`. Puoi usarlo `SageMakerModel` per l'hosting di modelli e ottenere inferenze nell' SageMaker intelligenza artificiale.

Puoi scaricare il codice sorgente per entrambe le librerie Python Spark (PySpark) e Scala dal repository [SageMaker AI](https://github.com/aws/sagemaker-spark) Spark. GitHub

Per l'installazione ed esempi della libreria SageMaker AI Spark, consulta o. [SageMaker Esempi di AI Spark per Scala](apache-spark-example1.md) [Risorse per l'utilizzo di esempi di SageMaker AI Spark for Python (PySpark)](apache-spark-additional-examples.md)

[Se usi Amazon EMR AWS per gestire i cluster Spark, consulta Apache Spark.](https://aws.amazon.com/emr/features/spark/) Per ulteriori informazioni sull'utilizzo di Amazon EMR nell' SageMaker intelligenza artificiale, consulta. [Preparazione dei dati con Amazon EMR](studio-notebooks-emr-cluster.md)

**Topics**
+ [Integra la tua applicazione Apache Spark con l'intelligenza artificiale SageMaker](#spark-sdk-common-process)
+ [SageMaker Esempi di AI Spark per Scala](apache-spark-example1.md)
+ [Risorse per l'utilizzo di esempi di SageMaker AI Spark for Python (PySpark)](apache-spark-additional-examples.md)

## Integra la tua applicazione Apache Spark con l'intelligenza artificiale SageMaker
<a name="spark-sdk-common-process"></a>

Di seguito è riportato un riepilogo di alto livello dei passaggi per l'integrazione dell'applicazione Apache Spark con l'intelligenza artificiale. SageMaker 

1. Continua con la preelaborazione dei dati utilizzando la libreria Apache Spark con cui hai familiarità. Il set di dati rimane un `DataFrame` nel tuo cluster Spark. Carica i dati in un `DataFrame`. Pre-elaborali in modo da avere una colonna `features` con `org.apache.spark.ml.linalg.Vector` di `Doubles` e una colonna `label` facoltativa con valori di tipo `Double`.

1. Usa lo stimatore nella libreria SageMaker AI Spark per addestrare il tuo modello. Ad esempio, se scegli l'algoritmo k-means fornito dall' SageMaker IA per l'addestramento dei modelli, chiama il metodo. `KMeansSageMakerEstimator.fit` 

   Come input fornisci il tuo `DataFrame`. Lo strumento di valutazione restituisce un oggetto `SageMakerModel`. 
**Nota**  
`SageMakerModel` estende `org.apache.spark.ml.Model`.

   Il metodo `fit` esegue quanto segue: 

   1. Converte l’input `DataFrame` nel formato protobuf. Per farlo, seleziona le colonne `features` e `label` dall’input `DataFrame`. Quindi carica i dati protobuf in un bucket Amazon S3. Il formato protobuf è efficiente per l'addestramento dei modelli nell'intelligenza artificiale. SageMaker 

   1. Avvia l'addestramento dei modelli in SageMaker intelligenza artificiale inviando una richiesta di SageMaker intelligenza artificiale [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTrainingJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTrainingJob.html). Una volta completato l'addestramento del modello, l' SageMaker intelligenza artificiale salva gli artefatti del modello in un bucket S3. 

      SageMaker L'IA assume il ruolo IAM che hai specificato per la formazione dei modelli per eseguire attività per tuo conto. Ad esempio, utilizza il ruolo per leggere i dati di addestramento da un bucket S3 e scrivere artefatti del modello in un bucket. 

   1. Crea e restituisce un oggetto `SageMakerModel`. Il costruttore svolge le seguenti attività, correlate all'implementazione del modello nell'IA. SageMaker 

      1. Invia una [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)richiesta all'IA. SageMaker 

      1. Invia una [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)richiesta all' SageMaker IA.

      1. Invia una [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)richiesta all' SageMaker IA, che quindi avvia le risorse specificate e ospita il modello su di esse. 

1. Puoi ottenere inferenze dal tuo modello ospitato in SageMaker AI con. `SageMakerModel.transform` 

   Fornisci un input `DataFrame` con caratteristiche come input. Il metodo `transform` lo converte in un `DataFrame` contenente inferenze. Internamente, il `transform` metodo invia una richiesta all'[https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html) SageMaker API per ottenere inferenze. Il metodo `transform` collega le inferenze all'input `DataFrame`.