Usa i componenti AI SageMaker

1. Installa l'SDK KFP seguendo le istruzioni contenute nella Documentazione di Kubeflow Pipelines.

2. Verificare che l'SDK KFP sia installato con il seguente comando:

   pip show kfp

3. Verifica che dsl-compile sia stato installato correttamente, secondo quanto segue:

   which dsl-compile

1. Modifica il tuo file Python con il nome del bucket Amazon S3 e l'ARN del ruolo IAM.

2. Usa il comando dsl-compile dalla riga di comando per compilare la pipeline come segue. Sostituisci <path-to-python-file> con il percorso della pipeline e <path-to-output> con la posizione in cui desideri che si trovi il file tar.gz.

   dsl-compile --py <path-to-python-file> --output <path-to-output>

1. Carica la tua pipeline come segue:

   kfp pipeline upload --pipeline-name <pipeline-name> <path-to-output-tar.gz>

   L'aspetto dell'output sarà simile al seguente. Prendi nota della pipeline ID.

   Pipeline 29c3ff21-49f5-4dfe-94f6-618c0e2420fe has been submitted
   
   Pipeline Details
   ------------------
   ID           29c3ff21-49f5-4dfe-94f6-618c0e2420fe
   Name         sm-pipeline
   Description
   Uploaded at  2020-04-30T20:22:39+00:00
   ...
   ...

2. Crea un’esecuzione utilizzando il comando seguente. Il comando di esecuzione della CLI di KFP attualmente non supporta la specifica dei parametri di input durante la creazione dell'esecuzione. È necessario aggiornare i parametri nel file della AWS SDK per Python (Boto3) pipeline prima della compilazione. Sostituisci <experiment-name> e <job-name> con qualsiasi nome. Sostituisci <pipeline-id> con l'ID della pipeline inviata. Sostituisci <your-role-arn> con l'ARN di kfp-example-pod-role. Sostituisci <your-bucket-name> con il nome del bucket Amazon S3 creato.

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --pipeline-id <pipeline-id> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   È inoltre possibile inviare direttamente un'esecuzione utilizzando il pacchetto di pipeline compilato creato come output del comando dsl-compile.

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --package-file <path-to-output> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   L'aspetto dell'output deve essere simile al seguente:

   Creating experiment aws.
   Run 95084a2c-f18d-4b77-a9da-eba00bf01e63 is submitted
   +--------------------------------------+--------+----------+---------------------------+
   | run id                               | name   | status   | created at                |
   +======================================+========+==========+===========================+
   | 95084a2c-f18d-4b77-a9da-eba00bf01e63 | sm-job |          | 2020-04-30T20:36:41+00:00 |
   +--------------------------------------+--------+----------+---------------------------+

3. Accedi all'interfaccia utente per verificare lo stato di avanzamento del processo.

1. Nel pannello a sinistra, scegli la scheda Pipelines.

2. Nell'angolo in alto a destra, scegli +. UploadPipeline

3. Inserisci il nome e la descrizione della pipeline.

4. Scegli Carica file e inserisci il percorso del file tar.gz creato utilizzando la CLI o AWS SDK per Python (Boto3).

5. Nel pannello a sinistra, scegli la scheda Pipelines.

6. Trova la pipeline creata.

7. Scegli +. CreateRun

8. Inserisci i parametri di input.

9. Scegli Esegui.

Per utilizzare qualsiasi altro computer per eseguire previsioni, assegna l'autorizzazione sagemaker:InvokeEndpoint al ruolo IAM usato dal computer client.

1. Sul nodo gateway, svolgi le seguenti operazioni per creare un file di policy IAM:

   cat <<EoF > ./sagemaker-invoke.json
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:InvokeEndpoint"
               ],
               "Resource": "*"
           }
       ]
   }
   EoF

2. Collega la policy al ruolo IAM del nodo client.

   Esegui il comando seguente. Sostituisci <your-instance-IAM-role> con il nome del ruolo IAM. Sostituisci <path-to-sagemaker-invoke-json> con il percorso del file di policy creato.

   aws iam put-role-policy --role-name <your-instance-IAM-role> --policy-name sagemaker-invoke-for-worker --policy-document file://<path-to-sagemaker-invoke-json>

1. Crea un AWS SDK per Python (Boto3) file dal tuo computer client denominato mnist-predictions.py con il seguente contenuto. Sostituisci la variabile ENDPOINT_NAME. Lo script carica il set di dati MNIST, crea un file CSV a partire da quelle cifre, quindi invia il file CSV all'endpoint per la previsione e stampa i risultati.

   import boto3
   import gzip
   import io
   import json
   import numpy
   import pickle
   
   ENDPOINT_NAME='<endpoint-name>'
   region = boto3.Session().region_name
   
   # S3 bucket where the original mnist data is downloaded and stored
   downloaded_data_bucket = f"jumpstart-cache-prod-{region}"
   downloaded_data_prefix = "1p-notebooks-datasets/mnist"
   
   # Download the dataset
   s3 = boto3.client("s3")
   s3.download_file(downloaded_data_bucket, f"{downloaded_data_prefix}/mnist.pkl.gz", "mnist.pkl.gz")
   
   # Load the dataset
   with gzip.open('mnist.pkl.gz', 'rb') as f:
       train_set, valid_set, test_set = pickle.load(f, encoding='latin1')
   
   # Simple function to create a csv from our numpy array
   def np2csv(arr):
       csv = io.BytesIO()
       numpy.savetxt(csv, arr, delimiter=',', fmt='%g')
       return csv.getvalue().decode().rstrip()
   
   runtime = boto3.Session(region).client('sagemaker-runtime')
   
   payload = np2csv(train_set[0][30:31])
   
   response = runtime.invoke_endpoint(EndpointName=ENDPOINT_NAME,
                                      ContentType='text/csv',
                                      Body=payload)
   result = json.loads(response['Body'].read().decode())
   print(result)

2. Esegui il AWS SDK per Python (Boto3) file come segue:

   python mnist-predictions.py

1. Dal dashboard di KFP, interrompi i percorsi della pipeline se non è possibile uscirne correttamente selezionando Termina.

2. Se l'opzione Termina non funziona, accedi al nodo gateway e interrompi manualmente tutti i pod creati dalla pipeline, svolgendo le seguenti operazioni:

   kubectl get pods -n kubeflow
   kubectl delete pods -n kubeflow <name-of-pipeline-pod>

3. Utilizzando il tuo AWS account, accedi al servizio SageMaker AI. Interrompi manualmente tutti i processi di addestramento, trasformazione in batch e HPO. Elimina modelli, bucket di dati ed endpoint per evitare che influiscano sulle tue risorse. L'interruzione delle operazioni della pipeline non interrompe i lavori nell' SageMaker intelligenza artificiale.