지원되는 인스턴스 유형 및 프레임워크 - Amazon SageMaker
클라우드 인스턴스인스턴스 유형AWS 추론

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

지원되는 인스턴스 유형 및 프레임워크

Amazon SageMaker Neo는 컴파일 및 배포 모두에 널리 사용되는 딥 러닝 프레임워크를 지원합니다. 모델을 클라우드 인스턴스 또는 AWS Inferentia 인스턴스 유형에 배포할 수 있습니다.

다음은 SageMaker Neo가 지원하는 프레임워크와 컴파일하고 배포할 수 있는 대상 클라우드 인스턴스에 대해 설명합니다. 컴파일된 모델을 클라우드 또는 Inferentia 인스턴스에 배포하는 방법에 대한 자세한 내용은 클라우드 인스턴스로 모델 배포를 참고하세요.

클라우드 인스턴스

SageMaker Neo는 CPU 및 GPU 클라우드 인스턴스에 대해 다음과 같은 딥 러닝 프레임워크를 지원합니다.

프레임워크 프레임워크 버전 모델 버전 모델 모델 형식(*.tar.gz로 패키징됨) 툴킷
MXNet 1.8.0 1.8.0 이하 지원 이미지 분류, 객체 감지, 의미적 분할, 포즈 추정, 활동 인식 기호 파일(.json) 한 개 및 파라미터 파일(.params) 한 개 GluonCV v0.8.0
ONNX 1.7.0 1.7.0 이하 지원 이미지 분류, SVM 모델 파일(.onnx) 한 개
Keras 2.2.4 2.2.4 이하 지원 이미지 분류 모델 정의 파일(.h5) 한 개
PyTorch 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13, 2.0 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13, 2.0 지원

이미지 분류

버전 1.13 및 2.0은 객체 감지, Vision Transformer 및 HuggingFace

 입력 dtype이 float32인 모델 정의 파일(.pt 또는.pth) 한 개
TensorFlow 1.15.3 또는 2.9 1.15.3 및 2.9를 지원합니다. 이미지 분류

저장된 모델의 경우, .pb 또는 .pbtxt 파일 하나와 변수가 포함되어 있는 변수 디렉터리

동결 모델의 경우, .pb 또는 .pbtxt 파일 하나만
XGBoost 1.3.3 1.3.3 이하 지원 의사결정 트리 트리의 노드 수가 2^31 미만인 XGBoost 모델 파일(.model) 1개
참고

“모델 버전”은 모델을 훈련하고 내보내는 데 사용되는 프레임워크 버전입니다.

인스턴스 유형

SageMaker 컴파일된 모델을 아래 나열된 클라우드 인스턴스 중 하나에 배포할 수 있습니다.

Instance 컴퓨팅 유형

ml_c4

표준

ml_c5

표준

ml_m4

표준

ml_m5

표준

ml_p2

액셀러레이티드 컴퓨팅

ml_p3

액셀러레이티드 컴퓨팅

ml_g4dn

액셀러레이티드 컴퓨팅

각 인스턴스 유형에 대해 사용 가능한 v CPU, 메모리 및 시간당 요금에 대한 자세한 내용은 Amazon SageMaker 요금 섹션을 참조하세요.

참고

PyTorch 프레임워크를 사용하여 ml_* 인스턴스를 컴파일할 때 출력 구성의 컴파일러 옵션 필드를 사용하여 모델 입력의 올바른 데이터 유형(dtype)을 제공합니다.

기본값은 "float32"로 설정됩니다.

AWS 추론

SageMaker Neo는 Inf1에 대해 다음과 같은 딥 러닝 프레임워크를 지원합니다.

프레임워크 프레임워크 버전 모델 버전 모델 모델 형식(*.tar.gz로 패키징됨) 툴킷
MXNet 1.5 또는 1.8 1.8, 1.5 및 이전 버전을 지원합니다. 이미지 분류, 객체 감지, 의미적 분할, 포즈 추정, 활동 인식 기호 파일(.json) 한 개 및 파라미터 파일(.params) 한 개 GluonCV v0.8.0
PyTorch 1.7, 1.8 또는 1.9 1.9 이하 지원 이미지 분류 입력 dtype이 float32인 모델 정의 파일(.pt 또는.pth) 한 개
TensorFlow 1.15 또는 2.5 2.5, 1.15 및 이전 버전 지원 이미지 분류

저장된 모델의 경우, .pb 또는 .pbtxt 파일 하나와 변수가 포함되어 있는 변수 디렉터리

동결 모델의 경우, .pb 또는 .pbtxt 파일 하나만
참고

“모델 버전”은 모델을 훈련하고 내보내는 데 사용되는 프레임워크 버전입니다.

SageMaker Neo 컴파일 모델을 AWS Inferentia 기반 Amazon EC2 Inf1 인스턴스에 배포할 수 있습니다. AWS Inferentia는 딥 러닝을 가속화하도록 설계된 Amazon의 첫 번째 사용자 지정 실리콘 칩입니다. 현재 ml_inf1 인스턴스를 사용하여 컴파일된 모델을 배포할 수 있습니다.

AWS Inferentia2 및 AWS Trainium

현재 SageMaker Neo 컴파일 모델을 AWS Inferentia2-based Amazon EC2 Inf2 인스턴스(미국 동부(오하이오) 리전) 및 AWS Trainium 기반 Amazon EC2 Trn1 인스턴스(미국 동부(버지니아 북부) 리전)에 배포할 수 있습니다. 이러한 인스턴스에서 지원되는 모델에 대한 자세한 내용은 AWS Neuron 설명서의 모델 아키텍처 적합성 지침과 Neuron Github 리포지토리의 예제를 참조하세요.