Verwenden Sie Komponenten SageMaker

1. Installieren Sie die KFP SDK folgenden Anweisungen in der Dokumentation zu den Kubeflow-Pipelines.

2. Stellen Sie mit dem folgenden Befehl sicher, dass der installiert KFP SDK ist:

   pip show kfp

3. Stellen Sie wie folgt sicher, dass dsl-compile korrekt installiert wurde:

   which dsl-compile

1. Ändern Sie Ihre Python-Datei mit Ihrem Amazon S3 S3-Bucket-Namen und Ihrer IAM RolleARN.

2. Verwenden Sie den dsl-compile Befehl von der Befehlszeile aus, um Ihre Pipeline wie folgt zu kompilieren. Ersetzen Sie <path-to-python-file> durch den Pfad zu Ihrer Pipeline und <path-to-output> durch den Speicherort, an dem sich Ihre Datei tar.gz befinden soll.

   dsl-compile --py <path-to-python-file> --output <path-to-output>

1. Laden Sie Ihre Pipeline wie folgt hoch:

   kfp pipeline upload --pipeline-name <pipeline-name> <path-to-output-tar.gz>

   Die Ausgabe sollte wie folgt aussehen. Beachten Sie die Pipeline ID.

   Pipeline 29c3ff21-49f5-4dfe-94f6-618c0e2420fe has been submitted
   
   Pipeline Details
   ------------------
   ID           29c3ff21-49f5-4dfe-94f6-618c0e2420fe
   Name         sm-pipeline
   Description
   Uploaded at  2020-04-30T20:22:39+00:00
   ...
   ...

2. Erstellen Sie einen Lauf mit dem folgenden Befehl. Der Befehl KFP CLI run unterstützt derzeit nicht die Angabe von Eingabeparametern bei der Erstellung des Laufs. Sie müssen Ihre Parameter in der AWS SDK for Python (Boto3) Pipeline-Datei vor dem Kompilieren aktualisieren. Ersetzen Sie <experiment-name> und <job-name> durch beliebige Namen. Ersetzen Sie <pipeline-id> durch die ID Ihrer eingereichten Pipeline. Ersetze es <your-role-arn> durch das ARN von. kfp-example-pod-role Ersetzen Sie <your-bucket-name> durch den Namen des von Ihnen erstellten Amazon-S3-Buckets.

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --pipeline-id <pipeline-id> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   Sie können einen Lauf auch direkt einreichen, indem Sie das kompilierte Pipeline-Paket verwenden, das als Ausgabe des dsl-compile Befehls erstellt wurde.

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --package-file <path-to-output> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   Die Ausgabe sollte folgendermaßen aussehen:

   Creating experiment aws.
   Run 95084a2c-f18d-4b77-a9da-eba00bf01e63 is submitted
   +--------------------------------------+--------+----------+---------------------------+
   | run id                               | name   | status   | created at                |
   +======================================+========+==========+===========================+
   | 95084a2c-f18d-4b77-a9da-eba00bf01e63 | sm-job |          | 2020-04-30T20:36:41+00:00 |
   +--------------------------------------+--------+----------+---------------------------+

3. Navigieren Sie zur Benutzeroberfläche, um den Fortschritt des Auftrags zu überprüfen.

1. Wählen Sie im linken Bereich die Registerkarte Pipelines aus.

2. Wählen Sie in der oberen rechten Ecke +. UploadPipeline

3. Geben Sie den Namen und die Beschreibung der Pipeline ein.

4. Wählen Sie Datei hochladen und geben Sie den Pfad zu der Datei tar.gz ein, die Sie mit CLI oder mit erstellt haben. AWS SDK for Python (Boto3)

5. Wählen Sie im linken Bereich die Registerkarte Pipelines aus.

6. Suchen Sie die Pipeline, die Sie erstellt haben.

7. Wählen Sie + CreateRun.

8. Geben Sie Ihre Eingabeparameter ein.

9. Wählen Sie Ausführen aus.

Wenn Sie einen anderen Computer für die Ausführung von Vorhersagen verwenden möchten, weisen Sie die sagemaker:InvokeEndpoint entsprechende Berechtigung der IAM Rolle zu, die vom Client-Computer verwendet wird.

1. Führen Sie auf Ihrem Gateway-Knoten den folgenden Befehl aus, um eine IAM Richtliniendatei zu erstellen:

   cat <<EoF > ./sagemaker-invoke.json
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:InvokeEndpoint"
               ],
               "Resource": "*"
           }
       ]
   }
   EoF

2. Ordnen Sie die Richtlinie der IAM Rolle des Client-Knotens zu.

   Führen Sie den folgenden Befehl aus. <your-instance-IAM-role>Ersetzen Sie durch den Namen der IAM Rolle. Ersetzen Sie <path-to-sagemaker-invoke-json> durch den Pfad zu der von Ihnen erstellten Richtliniendatei.

   aws iam put-role-policy --role-name <your-instance-IAM-role> --policy-name sagemaker-invoke-for-worker --policy-document file://<path-to-sagemaker-invoke-json>

1. Erstellen Sie auf Ihrem Client-Computer eine AWS SDK for Python (Boto3) Datei mnist-predictions.py mit dem folgenden Inhalt. Ersetzen Sie die ENDPOINT_NAME Variable. Das Skript lädt den MNIST Datensatz, erstellt CSV aus diesen Ziffern einen, sendet ihn dann CSV zur Vorhersage an den Endpunkt und druckt die Ergebnisse aus.

   import boto3
   import gzip
   import io
   import json
   import numpy
   import pickle
   
   ENDPOINT_NAME='<endpoint-name>'
   region = boto3.Session().region_name
   
   # S3 bucket where the original mnist data is downloaded and stored
   downloaded_data_bucket = f"jumpstart-cache-prod-{region}"
   downloaded_data_prefix = "1p-notebooks-datasets/mnist"
   
   # Download the dataset
   s3 = boto3.client("s3")
   s3.download_file(downloaded_data_bucket, f"{downloaded_data_prefix}/mnist.pkl.gz", "mnist.pkl.gz")
   
   # Load the dataset
   with gzip.open('mnist.pkl.gz', 'rb') as f:
       train_set, valid_set, test_set = pickle.load(f, encoding='latin1')
   
   # Simple function to create a csv from our numpy array
   def np2csv(arr):
       csv = io.BytesIO()
       numpy.savetxt(csv, arr, delimiter=',', fmt='%g')
       return csv.getvalue().decode().rstrip()
   
   runtime = boto3.Session(region).client('sagemaker-runtime')
   
   payload = np2csv(train_set[0][30:31])
   
   response = runtime.invoke_endpoint(EndpointName=ENDPOINT_NAME,
                                      ContentType='text/csv',
                                      Body=payload)
   result = json.loads(response['Body'].read().decode())
   print(result)

2. Führen Sie die AWS SDK for Python (Boto3) Datei wie folgt aus:

   python mnist-predictions.py

1. Beenden Sie im KFP Dashboard Ihre Pipeline-Läufe, falls sie nicht ordnungsgemäß beendet werden, indem Sie Terminate wählen.

2. Wenn die Option Terminieren nicht funktioniert, melden Sie sich bei Ihrem Gateway-Knoten an und beenden Sie manuell alle Pods, die durch Ihre Pipeline-Ausführung erstellt wurden, wie folgt:

   kubectl get pods -n kubeflow
   kubectl delete pods -n kubeflow <name-of-pipeline-pod>

3. Melden Sie sich mit Ihrem AWS Konto beim SageMaker Service an. Beenden Sie manuell alle Schulungen, Batch-Transformationen und HPO Jobs. Löschen Sie Modelle, Daten-Buckets und Endpunkte, um zusätzliche Kosten zu vermeiden. Durch das Beenden der Pipeline-Läufe werden die laufenden Jobs nicht gestoppt. SageMaker