추론 파이프라인을 사용한 배치 변환 - Amazon SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

추론 파이프라인을 사용한 배치 변환

전체 데이터 세트에 대한 추론을 얻으려면 훈련된 모델에서 배치 변환을 실행합니다. 전체 데이터 세트에서 추론을 실행하려면 배치 변환 작업에서 실시간 처리를 위해 생성되어 엔드포인트에 배포된 것과 동일한 추론 파이프라인 모델을 사용할 수 있습니다. 파이프라인에서 배치 변환 작업을 실행하려면 Amazon S3에서 입력 데이터를 다운로드하여 하나 이상의 HTTP 요청으로 추론 파이프라인 모델에 전송합니다. 배치 변환을 위한 데이터를 준비하는 방법을 보여주는 예제는 Linear Learner 샘플 노트북을 사용하여 Amazon SageMaker 다중 모델 엔드포인트의 “섹션 2 - Scikit Learn을 사용하여 원시 하우징 데이터 사전 처리”를 참조하세요. Amazon SageMaker 배치 변환에 대한 자세한 내용은 섹션을 참조하세요Amazon을 사용한 추론을 위한 배치 변환 SageMaker.

참고

Amazon SageMaker 기본 제공 알고리즘이 포함된 파이프라인에서 사용자 지정 Docker 이미지를 사용하려면 Amazon Elastic Container Registry(ECR) 정책이 필요합니다. Amazon ECR리포지토리는 이미지를 가져올 수 있는 SageMaker 권한을 부여해야 합니다. 자세한 내용은 추론 파이프라인에 대한 Amazon ECR 권한 문제 해결 단원을 참조하십시오.

다음 예제에서는 Amazon SageMaker Python SDK을 사용하여 변환 작업을 실행하는 방법을 보여줍니다. 이 예제에서는 model_name가 SparkML과 XGBoost 모델을 결합하는 추론 파이프라인입니다(이전 예제에서 생성됨). 에 지정된 Amazon S3 위치에는 Spark ML 모델로 다운로드하여 전송할 CSV 형식의 입력 데이터가 input_data_path 포함되어 있습니다. 변환 작업이 완료되면 에 지정된 Amazon S3 위치에 XGBoost 모델이 반환한 출력 데이터가 CSV 형식으로 output_data_path 포함됩니다.

import sagemaker
input_data_path = 's3://{}/{}/{}'.format(default_bucket, 'key', 'file_name')
output_data_path = 's3://{}/{}'.format(default_bucket, 'key')
transform_job = sagemaker.transformer.Transformer(
    model_name = model_name,
    instance_count = 1,
    instance_type = 'ml.m4.xlarge',
    strategy = 'SingleRecord',
    assemble_with = 'Line',
    output_path = output_data_path,
    base_transform_job_name='inference-pipelines-batch',
    sagemaker_session=sagemaker.Session(),
    accept = CONTENT_TYPE_CSV)
transform_job.transform(data = input_data_path, 
                        content_type = CONTENT_TYPE_CSV, 
                        split_type = 'Line')