Utiliser des composants d' SageMaker IA

1. Installez les instructions KFP SDK suivantes dans la documentation des pipelines Kubeflow.

2. Vérifiez que le KFP SDK est installé à l'aide de la commande suivante :

   pip show kfp

3. Vérifiez que dsl-compile a été installé correctement comme suit :

   which dsl-compile

1. Modifiez votre fichier Python avec le nom et le IAM rôle de votre compartiment Amazon S3ARN.

2. Utilisez la commande dsl-compile à partir de la ligne de commande pour compiler votre pipeline comme suit. Remplacez <path-to-python-file> par le chemin d'accès à votre pipeline et <path-to-output> par l'emplacement où vous souhaitez avoir votre fichier tar.gz.

   dsl-compile --py <path-to-python-file> --output <path-to-output>

1. Téléchargez votre pipeline comme suit :

   kfp pipeline upload --pipeline-name <pipeline-name> <path-to-output-tar.gz>

   Le résultat doit être similaire à ce qui suit. Prenez note de l'ID du pipeline.

   Pipeline 29c3ff21-49f5-4dfe-94f6-618c0e2420fe has been submitted
   
   Pipeline Details
   ------------------
   ID           29c3ff21-49f5-4dfe-94f6-618c0e2420fe
   Name         sm-pipeline
   Description
   Uploaded at  2020-04-30T20:22:39+00:00
   ...
   ...

2. Créez une exécution à l'aide de la commande suivante. La commande KFP CLI run ne permet actuellement pas de spécifier les paramètres d'entrée lors de la création de l'exécution. Vous devez mettre à jour vos paramètres dans le fichier de AWS SDK for Python (Boto3) pipeline avant de procéder à la compilation. Remplacez <experiment-name> et <job-name> par des noms quelconques. Remplacez <pipeline-id> par l'ID de votre pipeline envoyé. <your-role-arn>Remplacez par ARN lekfp-example-pod-role. Remplacez <your-bucket-name> par le nom du compartiment Amazon S3 que vous avez créé.

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --pipeline-id <pipeline-id> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   Vous pouvez également soumettre directement une exécution à l'aide du package de pipeline compilé créé en tant que sortie de la commande dsl-compile.

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --package-file <path-to-output> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   Le résultat doit être similaire à ce qui suit :

   Creating experiment aws.
   Run 95084a2c-f18d-4b77-a9da-eba00bf01e63 is submitted
   +--------------------------------------+--------+----------+---------------------------+
   | run id                               | name   | status   | created at                |
   +======================================+========+==========+===========================+
   | 95084a2c-f18d-4b77-a9da-eba00bf01e63 | sm-job |          | 2020-04-30T20:36:41+00:00 |
   +--------------------------------------+--------+----------+---------------------------+

3. Accédez à l'interface utilisateur pour vérifier la progression de la tâche.

1. Dans le panneau de gauche, choisissez l'option Pipelines.

2. Dans le coin supérieur droit, choisissez +. UploadPipeline

3. Saisissez le nom du pipeline et sa description.

4. Choisissez Charger un fichier et entrez le chemin du fichier tar.gz que vous avez créé à l'aide du CLI ou avec AWS SDK for Python (Boto3).

5. Dans le panneau de gauche, choisissez l'onglet Pipelines.

6. Recherchez le pipeline que vous avez créé.

7. Choisissez + CreateRun.

8. Entrez vos paramètres d'entrée.

9. Cliquez sur Exécuter.

Pour utiliser une autre machine pour exécuter des prédictions, attribuez l'sagemaker:InvokeEndpointautorisation au IAM rôle utilisé par la machine cliente.

1. Sur votre nœud de passerelle, exécutez ce qui suit pour créer un fichier IAM de politique :

   cat <<EoF > ./sagemaker-invoke.json
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:InvokeEndpoint"
               ],
               "Resource": "*"
           }
       ]
   }
   EoF

2. Attachez la politique au IAM rôle du nœud client.

   Exécutez la commande suivante. Remplacez <your-instance-IAM-role> par le nom du IAM rôle. Remplacez <path-to-sagemaker-invoke-json> par le chemin d'accès au fichier de politique que vous avez créé.

   aws iam put-role-policy --role-name <your-instance-IAM-role> --policy-name sagemaker-invoke-for-worker --policy-document file://<path-to-sagemaker-invoke-json>

1. Créez un AWS SDK for Python (Boto3) fichier à partir de votre machine cliente nommé mnist-predictions.py avec le contenu suivant. Remplacez la variable ENDPOINT_NAME. Le script charge l'MNISTensemble de données, crée un CSV à partir de ces chiffres, puis l'envoie CSV au point de terminaison pour prédiction et imprime les résultats.

   import boto3
   import gzip
   import io
   import json
   import numpy
   import pickle
   
   ENDPOINT_NAME='<endpoint-name>'
   region = boto3.Session().region_name
   
   # S3 bucket where the original mnist data is downloaded and stored
   downloaded_data_bucket = f"jumpstart-cache-prod-{region}"
   downloaded_data_prefix = "1p-notebooks-datasets/mnist"
   
   # Download the dataset
   s3 = boto3.client("s3")
   s3.download_file(downloaded_data_bucket, f"{downloaded_data_prefix}/mnist.pkl.gz", "mnist.pkl.gz")
   
   # Load the dataset
   with gzip.open('mnist.pkl.gz', 'rb') as f:
       train_set, valid_set, test_set = pickle.load(f, encoding='latin1')
   
   # Simple function to create a csv from our numpy array
   def np2csv(arr):
       csv = io.BytesIO()
       numpy.savetxt(csv, arr, delimiter=',', fmt='%g')
       return csv.getvalue().decode().rstrip()
   
   runtime = boto3.Session(region).client('sagemaker-runtime')
   
   payload = np2csv(train_set[0][30:31])
   
   response = runtime.invoke_endpoint(EndpointName=ENDPOINT_NAME,
                                      ContentType='text/csv',
                                      Body=payload)
   result = json.loads(response['Body'].read().decode())
   print(result)

2. Exécutez le AWS SDK for Python (Boto3) fichier comme suit :

   python mnist-predictions.py

1. Dans le KFP tableau de bord, mettez fin à vos cycles de pipeline s'ils ne se terminent pas correctement en choisissant Terminate.

2. Si l'option Résilier ne fonctionne pas, connectez-vous à votre nœud de passerelle et résiliez manuellement tous les pods créés par votre exécution de pipeline, comme suit :

   kubectl get pods -n kubeflow
   kubectl delete pods -n kubeflow <name-of-pipeline-pod>

3. À l'aide de votre AWS compte, connectez-vous au service SageMaker AI. Arrêtez manuellement toutes les formations, les transformations par lots et les HPO tâches. Supprimez les modèles, les compartiments de données et les points de terminaison pour éviter des coûts supplémentaires. L'arrêt des cycles de pipeline n'arrête pas les emplois dans le domaine de l' SageMaker IA.