이미지 분류 - MXNet - Amazon SageMaker
Image Classification 알고리즘의 입력/출력 인터페이스EC2이미지 분류 알고리즘에 대한 인스턴스 권장 사항샘플 노트북

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

이미지 분류 - MXNet

Amazon SageMaker 이미지 분류 알고리즘은 다중 레이블 분류를 지원하는 지도 학습 알고리즘입니다. 이 알고리즘은 이미지를 입력으로 취해 해당 이미지에 할당된 하나 이상의 레이블을 출력합니다. 처음부터 새로 훈련하거나 대량의 훈련 이미지를 이용할 수 없는 경우 전이 학습을 사용하여 훈련할 수 있는 컨볼루션 신경망을 사용합니다.

아마존 SageMaker 이미지 분류 알고리즘에 권장되는 입력 형식은 아파치 MXNet 레코디오입니다. 하지만 .jpg 또는 .png 형식의 원시 이미지도 사용할 수 있습니다. 기계 학습 시스템을 위한 효율적인 데이터 준비 및 로딩에 대한 광범위한 개요는 이 토론을 참조하세요.

참고

기존 딥 러닝 프레임워크와의 더 나은 상호 운용성을 유지하기 위해 이는 다른 Amazon 알고리즘에서 일반적으로 사용되는 protobuf 데이터 형식과 다릅니다. SageMaker

컨볼루션 네트워크에 대한 자세한 정보는 다음을 참조하세요.

주제

Image Classification 알고리즘의 입력/출력 인터페이스

SageMaker 이미지 분류 알고리즘은 파일 모드에서의 학습에 대해서는 RecorDio (application/x-recordioapplication/x-image) 및 이미지 (image/pngimage/jpeg, 및) 콘텐츠 유형을 모두 지원하고 파이프 모드에서의 학습에는 Recordio (application/x-recordio) 콘텐츠 유형을 지원합니다. 그러나 증강 매니페스트 형식을 사용하여 RecordIO 파일을 생성하지 않고 이미지 파일(image/png, image/jpeg 및 application/x-image)을 사용해 파이프 모드에서 훈련할 수도 있습니다.

분산 훈련은 파일 모드와 파이프 모드에서 지원됩니다. 파이프 모드에서 RecordIO 콘텐츠 형식을 사용하는 경우 S3DataSource의 S3DataDistributionType을 FullyReplicated로 설정해야 합니다. 이 알고리즘은 데이터가 각 머신에 복사되는 완전 복제 모델을 지원합니다.

이 알고리즘은 추론을 위해 image/png, image/jpeg 및 application/x-image를 지원합니다.

RecordIO 형식을 사용한 훈련

훈련에 RecordIO 형식을 사용하는 경우 CreateTrainingJob 요청의 InputDataConfig 파라미터에 대한 값으로 train 및 validation 채널을 둘 다 지정합니다. train 채널에서 1개의 RecordIO(.rec) 파일을 지정하고 validation 채널에서 1개의 RecordIO 파일을 지정합니다. 두 채널에 대한 콘텐츠 유형을 application/x-recordio로 설정합니다.

이미지 형식을 사용한 훈련

훈련에 이미지 형식을 사용하는 경우 train 요청의 validation 파라미터에 대한 값으로 train_lst, validation_lst, InputDataConfig 및 CreateTrainingJob 채널을 지정합니다. train 및 validation 채널에 대한 개별 이미지 데이터(.jpg 또는 .png파일)를 지정합니다. 각 .lst 및 train_lst 채널에서 1개의 validation_lst 파일을 지정합니다. 네 채널 모두에 대한 콘텐츠 유형을 application/x-image로 설정합니다.

참고

SageMaker 훈련 데이터와 검증 데이터를 서로 다른 채널에서 개별적으로 읽으므로 훈련 데이터와 검증 데이터를 서로 다른 폴더에 저장해야 합니다.

.lst 파일은 탭으로 구분된 파일로 이미지 파일의 목록을 담은 3개의 열이 포함되어 있습니다. 첫 번째 열은 이미지 인덱스를 지정하고, 두 번째 열은 이미지에 대한 클래스 레이블 인덱스를 지정하며, 세 번째 열은 이미지 파일의 상대 경로를 지정합니다. 첫 번째 열의 이미지 인덱스는 모든 이미지 간에서 고유해야 합니다. 클래스 레이블 인덱스 세트는 0부터 시작하여 순차적으로 번호가 부여되어 있습니다. 예를 들어 0은 cat 클래스, 1은 dog 클래스이며, 이후 추가로 클래스가 이어집니다.

다음은 .lst 파일의 예제입니다: 

5      1   your_image_directory/train_img_dog1.jpg
1000   0   your_image_directory/train_img_cat1.jpg
22     1   your_image_directory/train_img_dog2.jpg

예를 들어 훈련 이미지가 s3://<your_bucket>/train/class_dog, s3://<your_bucket>/train/class_cat 등에 저장된 경우 train 채널에 대한 경로를 s3://<your_bucket>/train으로 지정합니다. 이는 데이터의 최상위 디렉터리입니다. .lst 파일에서 train_image_dog1.jpg 클래스 디렉터리의 class_dog 파일에 대한 상대 경로를 class_dog/train_image_dog1.jpg로 지정합니다. 또한 train 디렉터리의 한 하위 디렉터리에 있는 모든 이미지 파일을 저장할 수도 있습니다. 이 경우 상대 경로에 대해 하위 디렉터리를 사용합니다. 예: s3://<your_bucket>/train/your_image_directory.

증강 매니페스트 이미지 형식을 사용한 훈련

증강 매니페스트 형식을 사용하면 RecordIO 파일을 생성할 필요 없이 파이프 모드에서 훈련할 수 있습니다. CreateTrainingJob 요청의 InputDataConfig 파라미터에 대한 값으로 train 및 validation 채널을 둘 다 지정해야 합니다. 이 형식을 사용하는 동안 이미지와 해당하는 주석으로 구성된 목록이 포함된 S3 매니페스트 파일이 생성되어야 합니다. 매니페스트 파일 형식은 각 JSON줄이 하나의 샘플을 나타내는 라인 형식이어야 합니다. 이미지는 이미지의 S3 위치를 가리키는 'source-ref' 태그를 사용하여 지정됩니다. 주석은 CreateTrainingJob 요청에서 지정된 대로 "AttributeNames" 파라미터 값 아래에 제공됩니다. 또한 metadata 태그 아래에 추가 메타데이터가 포함될 수 있지만 이들은 알고리즘에서 무시됩니다. 다음 예제에서 "AttributeNames"은 이미지 및 주석 참조 ["source-ref", "class"]의 목록에 포함됩니다. 해당 레이블 값은 첫 번째 이미지가 "0"이고 두 번째 이미지가 “1”입니다.

{"source-ref":"s3://image/filename1.jpg", "class":"0"}
{"source-ref":"s3://image/filename2.jpg", "class":"1", "class-metadata": {"class-name": "cat", "type" : "groundtruth/image-classification"}}

ImageClassification 알고리즘을 훈련할 때는 입력 파일의 "AttributeNames" 순서가 중요합니다. image를 먼저 사용한 다음 label를 사용하여 특정 순서로 파이프된 데이터를 허용합니다. 따라서 이 예제의 AttributeNames "“는 "source-ref" 첫 번째와 다음으로 제공됩니다"class". Augmented Manifest와 함께 ImageClassification 알고리즘을 사용하는 경우 RecordWrapperType 매개변수 값은 다음과 같아야 합니다. "RecordIO"

JSON값 배열을 지정하여 다중 레이블 훈련도 지원됩니다. num_classes 하이퍼파라미터는 총 클래스 수와 일치하도록 설정해야 합니다. 멀티 핫 형식과 클래스 ID 형식 등 두 가지 유효한 레이블 형식이 있습니다.

멀티 핫 형식에서 각 레이블은 모든 클래스의 다중 핫 인코딩 벡터이며 각 클래스는 0 또는 1 값을 사용합니다. 다음 예제에는 3가지 클래스가 있습니다. 첫 번째 이미지는 클래스 0과 2로 레이블이 지정되고, 두 번째 이미지는는 클래스 2로만 레이블이 지정됩니다.

{"image-ref": "s3://amzn-s3-demo-bucket/sample01/image1.jpg", "class": "[1, 0, 1]"}
{"image-ref": "s3://amzn-s3-demo-bucket/sample02/image2.jpg", "class": "[0, 0, 1]"}

클래스 ID 형식에서 각 레이블은 데이터 포인트에 적용되는 클래스 ID(0, num_classes)의 목록입니다. 앞의 예제는 다음과 같이 보일 수 있습니다.

{"image-ref": "s3://amzn-s3-demo-bucket/sample01/image1.jpg", "class": "[0, 2]"}
{"image-ref": "s3://amzn-s3-demo-bucket/sample02/image2.jpg", "class": "[2]"}

멀티-핫 형식이 기본값이지만 label-format 매개변수를 사용하여 콘텐츠 유형에서 명시적으로 설정할 수 있습니다. 에서 출력되는 형식인 class-id 형식을 명시적으로 설정해야 합니다. "application/x-recordio; label-format=multi-hot". GroundTruth "application/x-recordio; label-format=class-id".

증강 매니페스트 파일에 대한 추가 정보는 훈련 작업에 대한 증강 매니페스트 파일 단원을 참조하세요.

점진적 훈련

이전에 학습시킨 모델의 아티팩트를 사용하여 새 모델을 훈련시킬 수도 있습니다. SageMaker 증분 훈련을 통해 동일하거나 유사한 데이터로 새 모델을 훈련하려는 경우 훈련 시간을 절약할 수 있습니다. SageMaker 에서 학습한 다른 내장 이미지 분류 모델을 사용해서만 이미지 분류 모델을 시드할 수 있습니다. SageMaker

사전 훈련된 모델을 사용하려면 CreateTrainingJob 요청에서 ChannelName을 InputDataConfig 파라미터에 "model"로 지정합니다. model 채널의 ContentType을 application/x-sagemaker-model로 설정합니다. model 채널에 업로드한 사전 훈련된 모델과 새 모델 둘 다의 입력 하이퍼파라미터는 num_layers, image_shape 및 num_classes 입력 파라미터에 대해 설정이 동일해야 합니다. 이러한 파라미터는 네트워크 아키텍처를 정의합니다. 사전 훈련된 모델 파일의 경우 에서 출력한 압축된 모델 아티팩트 (.tar.gz 형식) 를 사용하십시오. SageMaker 입력 데이터에 RecordIO 또는 이미지 형식을 사용할 수 있습니다.

이미지 분류 알고리즘을 이용한 추론

생성된 모델은 추론에 대해 호스팅될 수 있고, 인코딩된 .jpg 및 .png 이미지 형식을 image/png, image/jpeg 및 application/x-image 콘텐츠 유형으로 지원합니다. 입력 이미지의 크기가 자동으로 조정됩니다. 출력값은 형식으로 인코딩된 모든 클래스의 확률 값이거나 일괄 변환의 경우 JSON Lines 텍스트 형식으로 인코딩됩니다. JSON 이미지 분류 모델은 요청당 단일 이미지를 처리하므로 JSON 또는 JSON Lines 형식으로 한 줄만 출력합니다. 다음은 JSON 라인 형식의 응답 예시입니다.

accept: application/jsonlines

 {"prediction": [prob_0, prob_1, prob_2, prob_3, ...]}

훈련 및 추론에 대한 자세한 정보는 소개에서 참조한 이미지 분류 샘플 노트북 인스턴스를 참조하세요.

EC2이미지 분류 알고리즘에 대한 인스턴스 권장 사항

이미지 분류의 경우 P2, P3, G4dn 및 G5 인스턴스를 지원합니다. 배치 크기가 큰 훈련에는 메모리가 더 많은 GPU 인스턴스를 사용하는 것이 좋습니다. 분산 학습을 위해 다중 GPU 및 다중 머신 설정에서 알고리즘을 실행할 수도 있습니다. CPU(예: C4) 및 GPU (P2, P3, G4dn 또는 G5) 인스턴스를 모두 추론에 사용할 수 있습니다.

이미지 분류 샘플 노트북

SageMaker 이미지 분류 알고리즘을 사용하는 샘플 노트북은 파이프라인을 통한 이미지 분류 모델 구축 및 등록을 참조하십시오. MXNet SageMaker 예제를 실행하는 데 사용할 수 있는 Jupyter 노트북 인스턴스를 만들고 액세스하는 방법에 대한 지침은 을 참조하십시오. SageMaker Amazon SageMaker 노트북 인스턴스 Notebook 인스턴스를 생성하여 연 후 SageMakerExamples 탭을 선택하면 모든 샘플 목록이 표시됩니다. SageMaker 이미지 분류 예제 노트북은 Introduction to Amazon algorithms(Amazon 알고리즘 소개) 섹션에 있습니다. 노트북을 열려면 사용 탭을 클릭하고 Create copy(사본 생성)를 선택합니다.