Gunakan SageMaker komponen

1. Instal petunjuk KFP SDK berikut dalam dokumentasi pipeline Kubeflow.

2. Verifikasi bahwa KFP SDK sudah diinstal dengan perintah berikut:

   pip show kfp

3. Verifikasi bahwa dsl-compile telah diinstal dengan benar sebagai berikut:

   which dsl-compile

1. Ubah file Python Anda dengan nama dan peran bucket Amazon S3 Anda. IAM ARN

2. Gunakan dsl-compile perintah dari baris perintah untuk mengkompilasi pipeline Anda sebagai berikut. Ganti <path-to-python-file> dengan jalur ke pipeline Anda dan <path-to-output> dengan lokasi di mana Anda ingin file tar.gz Anda berada.

   dsl-compile --py <path-to-python-file> --output <path-to-output>

1. Unggah pipeline Anda sebagai berikut:

   kfp pipeline upload --pipeline-name <pipeline-name> <path-to-output-tar.gz>

   Output Anda akan terlihat seperti berikut ini. Catat pipaID.

   Pipeline 29c3ff21-49f5-4dfe-94f6-618c0e2420fe has been submitted
   
   Pipeline Details
   ------------------
   ID           29c3ff21-49f5-4dfe-94f6-618c0e2420fe
   Name         sm-pipeline
   Description
   Uploaded at  2020-04-30T20:22:39+00:00
   ...
   ...

2. Buat run menggunakan perintah berikut. Perintah KFP CLI run saat ini tidak mendukung menentukan parameter input saat membuat run. Anda perlu memperbarui parameter Anda di file AWS SDK for Python (Boto3) pipeline sebelum dikompilasi. Ganti <experiment-name> dan <job-name> dengan nama apa pun. Ganti <pipeline-id> dengan ID pipeline yang Anda kirimkan. Ganti <your-role-arn> dengan ARN darikfp-example-pod-role. Ganti <your-bucket-name> dengan nama bucket Amazon S3 yang Anda buat.

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --pipeline-id <pipeline-id> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   Anda juga dapat langsung mengirimkan run menggunakan paket pipeline yang dikompilasi yang dibuat sebagai output dari dsl-compile perintah.

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --package-file <path-to-output> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   Output Anda akan terlihat seperti berikut:

   Creating experiment aws.
   Run 95084a2c-f18d-4b77-a9da-eba00bf01e63 is submitted
   +--------------------------------------+--------+----------+---------------------------+
   | run id                               | name   | status   | created at                |
   +======================================+========+==========+===========================+
   | 95084a2c-f18d-4b77-a9da-eba00bf01e63 | sm-job |          | 2020-04-30T20:36:41+00:00 |
   +--------------------------------------+--------+----------+---------------------------+

3. Arahkan ke UI untuk memeriksa kemajuan pekerjaan.

1. Di panel kiri, pilih tab Pipelines.

2. Di sudut kanan atas, pilih +. UploadPipeline

3. Masukkan nama dan deskripsi pipa.

4. Pilih Unggah file dan masukkan jalur ke file tar.gz yang Anda buat menggunakan CLI atau dengan AWS SDK for Python (Boto3).

5. Di panel kiri, pilih tab Pipelines.

6. Temukan pipeline yang Anda buat.

7. Pilih + CreateRun.

8. Masukkan parameter input Anda.

9. Pilih Jalankan.

Untuk menggunakan mesin lain untuk menjalankan prediksi, tetapkan sagemaker:InvokeEndpoint izin ke IAM peran yang digunakan oleh mesin klien.

1. Di node gateway Anda, jalankan yang berikut ini untuk membuat file IAM kebijakan:

   cat <<EoF > ./sagemaker-invoke.json
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:InvokeEndpoint"
               ],
               "Resource": "*"
           }
       ]
   }
   EoF

2. Lampirkan kebijakan ke IAM peran node klien.

   Jalankan perintah berikut. Ganti <your-instance-IAM-role> dengan nama IAM peran. Ganti <path-to-sagemaker-invoke-json> dengan jalur ke file kebijakan yang Anda buat.

   aws iam put-role-policy --role-name <your-instance-IAM-role> --policy-name sagemaker-invoke-for-worker --policy-document file://<path-to-sagemaker-invoke-json>

1. Buat AWS SDK for Python (Boto3) file dari mesin klien Anda bernama mnist-predictions.py dengan konten berikut. Ganti ENDPOINT_NAME variabel. Skrip memuat MNIST kumpulan data, membuat a CSV dari digit tersebut, lalu mengirimkan CSV ke titik akhir untuk prediksi dan mencetak hasilnya.

   import boto3
   import gzip
   import io
   import json
   import numpy
   import pickle
   
   ENDPOINT_NAME='<endpoint-name>'
   region = boto3.Session().region_name
   
   # S3 bucket where the original mnist data is downloaded and stored
   downloaded_data_bucket = f"jumpstart-cache-prod-{region}"
   downloaded_data_prefix = "1p-notebooks-datasets/mnist"
   
   # Download the dataset
   s3 = boto3.client("s3")
   s3.download_file(downloaded_data_bucket, f"{downloaded_data_prefix}/mnist.pkl.gz", "mnist.pkl.gz")
   
   # Load the dataset
   with gzip.open('mnist.pkl.gz', 'rb') as f:
       train_set, valid_set, test_set = pickle.load(f, encoding='latin1')
   
   # Simple function to create a csv from our numpy array
   def np2csv(arr):
       csv = io.BytesIO()
       numpy.savetxt(csv, arr, delimiter=',', fmt='%g')
       return csv.getvalue().decode().rstrip()
   
   runtime = boto3.Session(region).client('sagemaker-runtime')
   
   payload = np2csv(train_set[0][30:31])
   
   response = runtime.invoke_endpoint(EndpointName=ENDPOINT_NAME,
                                      ContentType='text/csv',
                                      Body=payload)
   result = json.loads(response['Body'].read().decode())
   print(result)

2. Jalankan AWS SDK for Python (Boto3) file sebagai berikut:

   python mnist-predictions.py

1. Dari KFP dasbor, hentikan proses pipeline Anda jika tidak keluar dengan benar dengan memilih Terminate.

2. Jika opsi Terminate tidak berfungsi, masuk ke node gateway Anda dan hentikan secara manual semua pod yang dibuat oleh pipeline Anda yang dijalankan sebagai berikut:

   kubectl get pods -n kubeflow
   kubectl delete pods -n kubeflow <name-of-pipeline-pod>

3. Menggunakan AWS akun Anda, masuk ke SageMaker layanan. Hentikan semua pelatihan, transformasi batch, dan HPO pekerjaan secara manual. Hapus model, bucket data, dan titik akhir untuk menghindari biaya tambahan. Mengakhiri jalur pipa tidak menghentikan pekerjaan di SageMaker.