Gunakan komponen SageMaker AI

1. Instal SDK KFP mengikuti petunjuk dalam dokumentasi pipeline Kubeflow.

2. Verifikasi bahwa KFP SDK diinstal dengan perintah berikut:

   pip show kfp

3. Verifikasi bahwa dsl-compile telah diinstal dengan benar sebagai berikut:

   which dsl-compile

1. Ubah file Python Anda dengan nama bucket Amazon S3 dan ARN peran IAM.

2. Gunakan dsl-compile perintah dari baris perintah untuk mengkompilasi pipeline Anda sebagai berikut. Ganti <path-to-python-file> dengan jalur ke pipeline Anda dan <path-to-output> dengan lokasi di mana Anda ingin file tar.gz Anda berada.

   dsl-compile --py <path-to-python-file> --output <path-to-output>

1. Unggah pipeline Anda sebagai berikut:

   kfp pipeline upload --pipeline-name <pipeline-name> <path-to-output-tar.gz>

   Output Anda akan terlihat seperti berikut ini. Catat pipaID.

   Pipeline 29c3ff21-49f5-4dfe-94f6-618c0e2420fe has been submitted
   
   Pipeline Details
   ------------------
   ID           29c3ff21-49f5-4dfe-94f6-618c0e2420fe
   Name         sm-pipeline
   Description
   Uploaded at  2020-04-30T20:22:39+00:00
   ...
   ...

2. Buat run menggunakan perintah berikut. Perintah KFP CLI run saat ini tidak mendukung menentukan parameter input saat membuat run. Anda perlu memperbarui parameter Anda di file AWS SDK untuk Python (Boto3) pipeline sebelum dikompilasi. Ganti <experiment-name> dan <job-name> dengan nama apa pun. Ganti <pipeline-id> dengan ID pipeline yang Anda kirimkan. Ganti <your-role-arn> dengan ARN dari. kfp-example-pod-role Ganti <your-bucket-name> dengan nama bucket Amazon S3 yang Anda buat.

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --pipeline-id <pipeline-id> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   Anda juga dapat langsung mengirimkan run menggunakan paket pipeline yang dikompilasi yang dibuat sebagai output dari dsl-compile perintah.

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --package-file <path-to-output> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   Output Anda akan terlihat seperti berikut:

   Creating experiment aws.
   Run 95084a2c-f18d-4b77-a9da-eba00bf01e63 is submitted
   +--------------------------------------+--------+----------+---------------------------+
   | run id                               | name   | status   | created at                |
   +======================================+========+==========+===========================+
   | 95084a2c-f18d-4b77-a9da-eba00bf01e63 | sm-job |          | 2020-04-30T20:36:41+00:00 |
   +--------------------------------------+--------+----------+---------------------------+

3. Arahkan ke UI untuk memeriksa kemajuan pekerjaan.

1. Di panel kiri, pilih tab Pipelines.

2. Di sudut kanan atas, pilih +. UploadPipeline

3. Masukkan nama dan deskripsi pipa.

4. Pilih Unggah file dan masukkan path ke file tar.gz yang Anda buat menggunakan CLI atau dengan. AWS SDK untuk Python (Boto3)

5. Di panel kiri, pilih tab Pipelines.

6. Temukan pipeline yang Anda buat.

7. Pilih + CreateRun.

8. Masukkan parameter input Anda.

9. Pilih Jalankan.

Untuk menggunakan mesin lain untuk menjalankan prediksi, tetapkan sagemaker:InvokeEndpoint izin ke peran IAM yang digunakan oleh mesin klien.

1. Di node gateway Anda, jalankan yang berikut ini untuk membuat file kebijakan IAM:

   cat <<EoF > ./sagemaker-invoke.json
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:InvokeEndpoint"
               ],
               "Resource": "*"
           }
       ]
   }
   EoF

2. Lampirkan kebijakan ke peran IAM dari node klien.

   Jalankan perintah berikut. Ganti <your-instance-IAM-role> dengan nama peran IAM. Ganti <path-to-sagemaker-invoke-json> dengan jalur ke file kebijakan yang Anda buat.

   aws iam put-role-policy --role-name <your-instance-IAM-role> --policy-name sagemaker-invoke-for-worker --policy-document file://<path-to-sagemaker-invoke-json>

1. Buat AWS SDK untuk Python (Boto3) file dari mesin klien Anda bernama mnist-predictions.py dengan konten berikut. Ganti ENDPOINT_NAME variabel. Skrip memuat dataset MNIST, membuat CSV dari digit tersebut, lalu mengirimkan CSV ke titik akhir untuk prediksi dan mencetak hasilnya.

   import boto3
   import gzip
   import io
   import json
   import numpy
   import pickle
   
   ENDPOINT_NAME='<endpoint-name>'
   region = boto3.Session().region_name
   
   # S3 bucket where the original mnist data is downloaded and stored
   downloaded_data_bucket = f"jumpstart-cache-prod-{region}"
   downloaded_data_prefix = "1p-notebooks-datasets/mnist"
   
   # Download the dataset
   s3 = boto3.client("s3")
   s3.download_file(downloaded_data_bucket, f"{downloaded_data_prefix}/mnist.pkl.gz", "mnist.pkl.gz")
   
   # Load the dataset
   with gzip.open('mnist.pkl.gz', 'rb') as f:
       train_set, valid_set, test_set = pickle.load(f, encoding='latin1')
   
   # Simple function to create a csv from our numpy array
   def np2csv(arr):
       csv = io.BytesIO()
       numpy.savetxt(csv, arr, delimiter=',', fmt='%g')
       return csv.getvalue().decode().rstrip()
   
   runtime = boto3.Session(region).client('sagemaker-runtime')
   
   payload = np2csv(train_set[0][30:31])
   
   response = runtime.invoke_endpoint(EndpointName=ENDPOINT_NAME,
                                      ContentType='text/csv',
                                      Body=payload)
   result = json.loads(response['Body'].read().decode())
   print(result)

2. Jalankan AWS SDK untuk Python (Boto3) file sebagai berikut:

   python mnist-predictions.py

1. Dari dasbor KFP, hentikan proses pipeline Anda jika tidak keluar dengan benar dengan memilih Terminate.

2. Jika opsi Terminate tidak berfungsi, masuk ke node gateway Anda dan hentikan secara manual semua pod yang dibuat oleh pipeline Anda yang dijalankan sebagai berikut:

   kubectl get pods -n kubeflow
   kubectl delete pods -n kubeflow <name-of-pipeline-pod>

3. Menggunakan AWS akun Anda, masuk ke layanan SageMaker AI. Hentikan semua pelatihan, transformasi batch, dan pekerjaan HPO secara manual. Hapus model, bucket data, dan titik akhir untuk menghindari biaya tambahan. Mengakhiri proses pipa tidak menghentikan pekerjaan di SageMaker AI.