使用 SageMaker 元件

1. 在 Kubeflow 管道文件中安裝KFPSDK下列指示。

2. 確認 KFP SDK 已使用下列命令安裝：

   pip show kfp

3. 驗證已正確安裝 dsl-compile，如下所示：

   which dsl-compile

1. 使用 Amazon S3 儲存貯體名稱和IAM角色 修改 Python 檔案ARN。

2. 使用 dsl-compile 命令行中的命令來編譯管道，如下所示。將 <path-to-python-file> 取代為管道的路徑，將 <path-to-output> 取代為您希望 tar.gz 檔案所在的位置。

   dsl-compile --py <path-to-python-file> --output <path-to-output>

1. 上傳您的管道，如下所示：

   kfp pipeline upload --pipeline-name <pipeline-name> <path-to-output-tar.gz>

   您的輸出看起來應該如下所示。請記下管道 ID。

   Pipeline 29c3ff21-49f5-4dfe-94f6-618c0e2420fe has been submitted
   
   Pipeline Details
   ------------------
   ID           29c3ff21-49f5-4dfe-94f6-618c0e2420fe
   Name         sm-pipeline
   Description
   Uploaded at  2020-04-30T20:22:39+00:00
   ...
   ...

2. 使用以下命令來建立執行。KFP CLI 執行命令目前不支援在建立執行時指定輸入參數。您需要在編譯之前更新 AWS SDK for Python (Boto3) 管道檔案中的參數。將 <experiment-name> 和 <job-name> 取代為任何名稱。將 <pipeline-id> 取代為您提交的管道的 ID。將 取代<your-role-arn>為 ARN的 kfp-example-pod-role。將 <your-bucket-name> 取代為您建立的 Amazon S3 儲存貯體的名稱。

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --pipeline-id <pipeline-id> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   您也可以使用作為 dsl-compile 命令輸出而建立的已編譯管道套件直接提交執行。

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --package-file <path-to-output> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   您的輸出看起來應如以下所示：

   Creating experiment aws.
   Run 95084a2c-f18d-4b77-a9da-eba00bf01e63 is submitted
   +--------------------------------------+--------+----------+---------------------------+
   | run id                               | name   | status   | created at                |
   +======================================+========+==========+===========================+
   | 95084a2c-f18d-4b77-a9da-eba00bf01e63 | sm-job |          | 2020-04-30T20:36:41+00:00 |
   +--------------------------------------+--------+----------+---------------------------+

3. 導覽至使用者介面以檢查工作進度。

1. 在左側面板中，選擇管道標籤。

2. 在右上角，選擇 ＋UploadPipeline。

3. 輸入名稱和描述。

4. 選擇上傳檔案，然後輸入您使用 CLI或 與 建立的 tar.gz 檔案路徑 AWS SDK for Python (Boto3)。

5. 在左側面板中，選擇管道標籤。

6. 尋找您建立的管道。

7. 選擇 ＋CreateRun。

8. 輸入您的輸入參數。

9. 選擇執行。

若要使用任何其他機器執行預測，請將 sagemaker:InvokeEndpoint 許可指派給用戶端機器使用IAM的角色。

1. 在閘道節點上，執行下列動作以建立IAM政策檔案：

   cat <<EoF > ./sagemaker-invoke.json
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:InvokeEndpoint"
               ],
               "Resource": "*"
           }
       ]
   }
   EoF

2. 將政策連接至用戶端節點IAM的角色。

   執行下列命令。<your-instance-IAM-role> 以IAM角色的名稱取代 。將 <path-to-sagemaker-invoke-json> 取代為您建立的政策檔案的路徑。

   aws iam put-role-policy --role-name <your-instance-IAM-role> --policy-name sagemaker-invoke-for-worker --policy-document file://<path-to-sagemaker-invoke-json>

1. 從具有下列內容mnist-predictions.py的用戶端機器建立 AWS SDK for Python (Boto3) 檔案。取代 ENDPOINT_NAME 變數。指令碼載入MNIST資料集，CSV從這些數字建立 ，然後將 CSV 傳送到端點進行預測並列印結果。

   import boto3
   import gzip
   import io
   import json
   import numpy
   import pickle
   
   ENDPOINT_NAME='<endpoint-name>'
   region = boto3.Session().region_name
   
   # S3 bucket where the original mnist data is downloaded and stored
   downloaded_data_bucket = f"jumpstart-cache-prod-{region}"
   downloaded_data_prefix = "1p-notebooks-datasets/mnist"
   
   # Download the dataset
   s3 = boto3.client("s3")
   s3.download_file(downloaded_data_bucket, f"{downloaded_data_prefix}/mnist.pkl.gz", "mnist.pkl.gz")
   
   # Load the dataset
   with gzip.open('mnist.pkl.gz', 'rb') as f:
       train_set, valid_set, test_set = pickle.load(f, encoding='latin1')
   
   # Simple function to create a csv from our numpy array
   def np2csv(arr):
       csv = io.BytesIO()
       numpy.savetxt(csv, arr, delimiter=',', fmt='%g')
       return csv.getvalue().decode().rstrip()
   
   runtime = boto3.Session(region).client('sagemaker-runtime')
   
   payload = np2csv(train_set[0][30:31])
   
   response = runtime.invoke_endpoint(EndpointName=ENDPOINT_NAME,
                                      ContentType='text/csv',
                                      Body=payload)
   result = json.loads(response['Body'].read().decode())
   print(result)

2. 執行 AWS SDK for Python (Boto3) 檔案，如下所示：

   python mnist-predictions.py

1. 從KFP儀表板中，如果管道未選擇終止 ，則終止管道執行。

2. 如果終止選項不起作用，請登入閘道節點並手動終止管道執行所建立的所有 Pod，如下所示：

   kubectl get pods -n kubeflow
   kubectl delete pods -n kubeflow <name-of-pipeline-pod>

3. 使用 AWS 您的帳戶登入 SageMaker 服務。手動停止所有訓練、批次轉換和HPO任務。刪除模型、資料儲存貯體和端點，以避免產生任何額外費用。終止管道執行不會停止 中的任務 SageMaker。