使用 SageMaker 组件

1. KFPSDK按照 Kubeflow 管道文档中的说明进行安装。

2. 使用以下命令验证KFPSDK是否已安装：

   pip show kfp

3. 验证是否已正确安装 dsl-compile，如下所示：

   which dsl-compile

1. 使用您的亚马逊 S3 存储桶名称和IAM角色修改您的 Python 文件ARN。

2. 使用命令行中的 dsl-compile 命令按如下方式编译管道。将 <path-to-python-file> 替换为管道的路径，将 <path-to-output> 替换为要将 tar.gz 文件放入的位置。

   dsl-compile --py <path-to-python-file> --output <path-to-output>

1. 按如下方式上传管道：

   kfp pipeline upload --pipeline-name <pipeline-name> <path-to-output-tar.gz>

   您的输出应与以下内容类似。记下管道 ID。

   Pipeline 29c3ff21-49f5-4dfe-94f6-618c0e2420fe has been submitted
   
   Pipeline Details
   ------------------
   ID           29c3ff21-49f5-4dfe-94f6-618c0e2420fe
   Name         sm-pipeline
   Description
   Uploaded at  2020-04-30T20:22:39+00:00
   ...
   ...

2. 使用以下命令创建运行。r KFP CLI un 命令目前不支持在创建运行时指定输入参数。在编译之前，您需要更新 AWS SDK for Python (Boto3) 管道文件中的参数。将 <experiment-name> 和 <job-name> 替换为任意名称。将 <pipeline-id> 替换为所提交管道的 ID。<your-role-arn>替换为 o ARN f kfp-example-pod-role。将 <your-bucket-name> 替换为所创建 Amazon S3 存储桶的名称。

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --pipeline-id <pipeline-id> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   您也可以使用作为 dsl-compile 命令输出创建的已编译管道包直接提交运行。

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --package-file <path-to-output> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   您的输出应与以下内容类似：

   Creating experiment aws.
   Run 95084a2c-f18d-4b77-a9da-eba00bf01e63 is submitted
   +--------------------------------------+--------+----------+---------------------------+
   | run id                               | name   | status   | created at                |
   +======================================+========+==========+===========================+
   | 95084a2c-f18d-4b77-a9da-eba00bf01e63 | sm-job |          | 2020-04-30T20:36:41+00:00 |
   +--------------------------------------+--------+----------+---------------------------+

3. 导航到 UI 以检查作业的进度。

1. 在左侧面板上，选择管道选项卡。

2. 在右上角，选择 +。UploadPipeline

3. 输入管道名称和描述。

4. 选择 “上传文件”，然后输入您使用CLI或创建的 tar.gz 文件的路径 AWS SDK for Python (Boto3)。

5. 在左侧面板上，选择管道选项卡。

6. 找到您创建的管道。

7. 选择 + CreateRun。

8. 输入您的输入参数。

9. 选择运行。

要使用任何其他计算机运行预测，请将sagemaker:InvokeEndpoint权限分配给客户端计算机使用的IAM角色。

1. 在您的网关节点上，运行以下命令来创建IAM策略文件：

   cat <<EoF > ./sagemaker-invoke.json
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:InvokeEndpoint"
               ],
               "Resource": "*"
           }
       ]
   }
   EoF

2. 将策略附加到客户端节点的IAM角色。

   运行以下命令。<your-instance-IAM-role>替换为IAM角色的名称。将 <path-to-sagemaker-invoke-json> 替换为所创建策略文件的路径。

   aws iam put-role-policy --role-name <your-instance-IAM-role> --policy-name sagemaker-invoke-for-worker --policy-document file://<path-to-sagemaker-invoke-json>

1. 在您的客户端计算机上创建一个名为以下内容mnist-predictions.py的 AWS SDK for Python (Boto3) 文件。替换 ENDPOINT_NAME 变量。该脚本加载MNIST数据集，CSV根据这些数字创建，然后将其发送CSV到端点进行预测并打印结果。

   import boto3
   import gzip
   import io
   import json
   import numpy
   import pickle
   
   ENDPOINT_NAME='<endpoint-name>'
   region = boto3.Session().region_name
   
   # S3 bucket where the original mnist data is downloaded and stored
   downloaded_data_bucket = f"jumpstart-cache-prod-{region}"
   downloaded_data_prefix = "1p-notebooks-datasets/mnist"
   
   # Download the dataset
   s3 = boto3.client("s3")
   s3.download_file(downloaded_data_bucket, f"{downloaded_data_prefix}/mnist.pkl.gz", "mnist.pkl.gz")
   
   # Load the dataset
   with gzip.open('mnist.pkl.gz', 'rb') as f:
       train_set, valid_set, test_set = pickle.load(f, encoding='latin1')
   
   # Simple function to create a csv from our numpy array
   def np2csv(arr):
       csv = io.BytesIO()
       numpy.savetxt(csv, arr, delimiter=',', fmt='%g')
       return csv.getvalue().decode().rstrip()
   
   runtime = boto3.Session(region).client('sagemaker-runtime')
   
   payload = np2csv(train_set[0][30:31])
   
   response = runtime.invoke_endpoint(EndpointName=ENDPOINT_NAME,
                                      ContentType='text/csv',
                                      Body=payload)
   result = json.loads(response['Body'].read().decode())
   print(result)

2. 按如下方式运行该 AWS SDK for Python (Boto3) 文件：

   python mnist-predictions.py

1. 在KFP控制面板中，如果您的管道运行未正常退出，请选择 “终止”，终止管道运行。

2. 如果终止选项不起作用，请登录网关节点，然后手动终止由您的管道创建的所有 Pod，如下所示：

   kubectl get pods -n kubeflow
   kubectl delete pods -n kubeflow <name-of-pipeline-pod>

3. 使用您的 AWS 帐户登录该 SageMaker 服务。手动停止所有训练、批量转换和HPO作业。删除模型、数据存储桶和端点，以免产生任何额外费用。终止管道运行并不能停止中的作业。 SageMaker