建立自訂 Docker 容器映像 for SageMaker ，並將其用於 AWS Step Functions 中的模型訓練

設定 Amazon ECR 並建立新的私有登錄檔。

如果您尚未設定 Amazon ECR，請遵循 Amazon Word 使用者指南中的使用 Amazon ECR 設定 中的指示來設定 Amazon Word。 ECR 每個 AWS 帳戶都會提供預設的私有 Amazon ECR 登錄檔。

建立 Amazon ECR 私有儲存庫。

請遵循 Amazon ECR 使用者指南中建立私有儲存庫的指示。

注意：您建立的儲存庫是您存放自訂 Docker 容器映像的位置。

建立 Dockerfile，其中包含執行 SageMaker 處理任務所需的規格。

建立 Dockerfile，其中包含透過設定 Dockerfile 執行您的 SageMaker 處理任務所需的規格。如需指示，請參閱 Amazon SageMaker 開發人員指南中的調整您自己的訓練容器。

如需 Dockerfiles 的詳細資訊，請參閱 Docker 文件中的 Dockerfile 參考。

建立 Dockerfile 的 Jupyter 筆記本程式碼儲存格範例

儲存格 1

# Make docker folder
!mkdir -p docker

儲存格 2

%%writefile docker/Dockerfile

FROM python:3.7-slim-buster

RUN pip3 install pandas==0.25.3 scikit-learn==0.21.3
ENV PYTHONUNBUFFERED=TRUE

ENTRYPOINT ["python3"]

建置 Docker 容器映像並將其推送至 Amazon ECR。

如需詳細資訊，請參閱在在 onWord 上建置您自己的演算法容器中建置和註冊容器。 GitHub

建置和註冊 Docker 映像的 Jupyter 筆記本程式碼儲存格範例

重要事項：在執行下列儲存格之前，請確定您已建立 Dockerfile，並將其存放在名為 的目錄中docker。此外，請確定您已建立 Amazon ECR 儲存庫，並將第一個儲存格中的ecr_repository值取代為儲存庫的名稱。

儲存格 1

import boto3
tag = ':latest'
account_id = boto3.client('sts').get_caller_identity().get('Account')
region = boto3.Session().region_name
ecr_repository = 'byoc'

image_uri = '{}.dkr.ecr.{}.amazonaws.com/{}'.format(account_id, region, ecr_repository + tag)

儲存格 2

# Build docker image
!docker build -t $image_uri docker

儲存格 3

# Authenticate to ECR
!aws ecr get-login-password --region {region} | docker login --username AWS --password-stdin {account_id}.dkr.ecr.{region}.amazonaws.com

儲存格 4

# Push docker image
!docker push $image_uri

注意：您必須向私有登錄檔驗證 Docker 用戶端，才能使用 docker push和 docker pull命令。這些命令會在登錄檔的儲存庫中推送和提取映像。

建立 Python 指令碼，其中包含您的自訂處理和模型訓練邏輯。

撰寫要在資料處理指令碼中執行的自訂處理邏輯。然後，將其儲存為名為 的 Python 指令碼training.py。

如需詳細資訊，請參閱使用 SageMaker Script 模式 onWord 自帶模型。 GitHub

包含自訂處理和模型訓練邏輯的 Python 指令碼範例

%%writefile training.py
from numpy import empty
import pandas as pd
import os
from sklearn import datasets, svm
from joblib import dump, load


if __name__ == '__main__':
    digits = datasets.load_digits()
    #create classifier object
    clf = svm.SVC(gamma=0.001, C=100.)
    
    #fit the model
    clf.fit(digits.data[:-1], digits.target[:-1])
    
    #model output in binary format
    output_path = os.path.join('/opt/ml/processing/model', "model.joblib")
    dump(clf, output_path)

建立 Step Functions 工作流程，其中包含您的 SageMaker 處理任務作為其中一個步驟。

安裝和匯入 AWS Step Functions 資料科學 SDK，並將 training.py 檔案上傳至 Amazon S3。然後，使用 Amazon SageMaker Python SDK 在 Step Functions 中定義處理步驟。

重要：請確定您已在 IAM 帳戶中為 Step Functions 建立 Word 執行角色。 AWS

要上傳至 Amazon S3 的環境設定和自訂訓練指令碼範例

!pip install stepfunctions

import boto3
import stepfunctions
import sagemaker
import datetime

from stepfunctions import steps
from stepfunctions.inputs import ExecutionInput
from stepfunctions.steps import (
    Chain
)
from stepfunctions.workflow import Workflow
from sagemaker.processing import ScriptProcessor, ProcessingInput, ProcessingOutput

sagemaker_session = sagemaker.Session()
bucket = sagemaker_session.default_bucket() 
role = sagemaker.get_execution_role()
prefix = 'byoc-training-model'

# See prerequisites section to create this role
workflow_execution_role = f"arn:aws:iam::{account_id}:role/AmazonSageMaker-StepFunctionsWorkflowExecutionRole"

execution_input = ExecutionInput(
    schema={
        "PreprocessingJobName": str})


input_code = sagemaker_session.upload_data(
    "training.py",
    bucket=bucket,
    key_prefix="preprocessing.py",
)

使用自訂 Amazon Word 映像和 Python 指令碼的 ExampleECR SageMaker 處理步驟定義

注意：請確定您使用 execution_input 參數來指定任務名稱。每次任務執行時， 參數的值必須是唯一的。此外， training.py 檔案的程式碼會以input參數形式傳遞至 ProcessingStep，這表示該檔案會在容器內複製。ProcessingInput 程式碼的目的地與 中的第二個引數相同container_entrypoint。

script_processor = ScriptProcessor(command=['python3'],
                image_uri=image_uri,
                role=role,
                instance_count=1,
                instance_type='ml.m5.xlarge')


processing_step = steps.ProcessingStep(
    "training-step",
    processor=script_processor,
    job_name=execution_input["PreprocessingJobName"],
    inputs=[
        ProcessingInput(
            source=input_code,
            destination="/opt/ml/processing/input/code",
            input_name="code",
        ),
    ],
    outputs=[
        ProcessingOutput(
            source='/opt/ml/processing/model', 
            destination="s3://{}/{}".format(bucket, prefix), 
            output_name='byoc-example')
    ],
    container_entrypoint=["python3", "/opt/ml/processing/input/code/training.py"],
)

執行 a SageMaker 處理任務的 Step Functions 工作流程範例

注意：此範例工作流程僅包含 SageMaker 處理任務步驟，而非完整的步驟函數工作流程。如需完整的工作流程範例，請參閱 SageMaker Step Functions Data Science Word 文件中的 inWord 筆記本範例。 AWS SDK

workflow_graph = Chain([processing_step])

workflow = Workflow(
    name="ProcessingWorkflow",
    definition=workflow_graph,
    role=workflow_execution_role
)

workflow.create()
# Execute workflow
execution = workflow.execute(
    inputs={
        "PreprocessingJobName": str(datetime.datetime.now().strftime("%Y%m%d%H%M-%SS")),  # Each pre processing job (SageMaker processing job) requires a unique name,
    }
)
execution_output = execution.get_output(wait=True)