를 사용하여 컴파일된 모델 배포 AWS CLI - Amazon SageMaker
모델 배포

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

를 사용하여 컴파일된 모델 배포 AWS CLI

모델이 AWS SDK for Python (Boto3) AWS CLI, 또는 Amazon SageMaker 콘솔을 사용하여 컴파일된 경우 사전 조건 섹션을 충족해야 합니다. 아래 단계에 따라 를 사용하여 SageMaker Neo 컴파일 모델을 생성하고 배포합니다AWS CLI.

모델 배포

사전 조건 을 충족한 후에는 create-model, create-enpoint-config및 create-endpoint AWS CLI 명령을 사용합니다. 다음 예시는 이러한 명령을 사용하여 Neo로 컴파일된 모델을 배포하는 방법을 보여줍니다.

모델 생성

Neo 추론 컨테이너 이미지 에서 추론 이미지를 선택한 URI 다음 create-modelAPI를 사용하여 SageMaker 모델을 생성합니다. 두 단계를 이용해 할 수 있습니다.

  1. create_model.json 파일을 생성합니다. 파일 내에서 모델 이름, 이미지URI, Amazon S3 버킷의 model.tar.gz 파일 경로 및 실행 역할을 지정합니다. SageMaker 

    {
    "ModelName": "insert model name",
    "PrimaryContainer": {
        "Image": "insert the ECR Image URI",
        "ModelDataUrl": "insert S3 archive URL",
        "Environment": {"See details below"}
    },
    "ExecutionRoleArn": "ARN for AmazonSageMaker-ExecutionRole"
}

    를 사용하여 모델을 학습시킨 경우 다음 환경 변수를 SageMaker지정합니다.

    "Environment": {
    "SAGEMAKER_SUBMIT_DIRECTORY" : "[Full S3 path for *.tar.gz file containing the training script]"
}

    를 사용하여 모델을 훈련하지 않은 경우 다음 환경 변수를 SageMaker지정합니다.

    MXNet and PyTorch
    "Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region",
    "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
}
    TensorFlow
    "Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region"
}
    참고

    AmazonSageMakerFullAccess 및 AmazonS3ReadOnlyAccess 정책을 AmazonSageMaker-ExecutionRole IAM 역할에 연결해야 합니다.

  2. 다음 명령 실행:

    aws sagemaker create-model --cli-input-json file://create_model.json

    의 전체 구문은 섹션을 create-model API참조하세요create-model.

엔드포인트 구성 생성

SageMaker 모델을 생성한 후 create-endpoint-config 를 사용하여 엔드포인트 구성을 생성합니다API. 이렇게 하려면 엔드포인트 구성 사양으로 JSON 파일을 생성합니다. 예를 들어, 다음 코드 템플릿을 사용하여 이를 create_config.json으로 저장할 수 있습니다.

{
    "EndpointConfigName": "<provide your endpoint config name>",
    "ProductionVariants": [
        {
            "VariantName": "<provide your variant name>",
            "ModelName": "my-sagemaker-model",
            "InitialInstanceCount": 1,
            "InstanceType": "<provide your instance type here>",
            "InitialVariantWeight": 1.0
        }
    ]
}

이제 다음 AWS CLI 명령을 실행하여 엔드포인트 구성을 생성합니다.

aws sagemaker create-endpoint-config --cli-input-json file://create_config.json

의 전체 구문은 섹션을 create-endpoint-config API참조하세요create-endpoint-config.

엔드포인트 생성

엔드포인트 구성을 생성한 후 create-endpoint 를 사용하여 엔드포인트를 생성합니다API.

aws sagemaker create-endpoint --endpoint-name '<provide your endpoint name>' --endpoint-config-name '<insert your endpoint config name>'

의 전체 구문은 섹션을 create-endpoint API참조하세요create-endpoint.