모델 속성

Url

Url (string)

모델 소스 페이지의 URL입니다.

필수

MinSdkVersion

SemanticVersion

이 모델과 호환되는 가장 오래된 Python SDK 버전입니다.

선택 사항

TrainingSupported

boolean

모델이 클래식 Python SDK 훈련 경로(레시피 기반 경로 아님)를 지원하는지 여부를 지정합니다.

필수

IncrementalTrainingSupported

boolean

이전 훈련 작업의 출력 아티팩트부터 모델을 다시 미세 조정할 수 있는지 여부를 지정합니다.

필수

ResourceNameBase

string

엔드포인트 및 훈련 작업의 이름을 자동으로 지정하는 데 사용되는 기본 이름입니다.

선택 사항

GatedBucket

boolean

모델 가중치를 게이트할지 여부를 지정합니다. 게이트 모델을 배포하려면 EULA(accept_eula=True)를 수락해야 합니다.

선택 사항

NovaModelType

string

Amazon Nova 모델 변형을 식별하는 마커입니다.

선택 사항

ModelTypes

enum[]

모델의 라이선스 클래스입니다. 유효한 값은 독점(잠긴 가중치) 또는 OPEN_WEIGHTS(휴대용 가중치)입니다.

필수

Task

string

ML 작업 범주(예: 텍스트 생성 또는 이미지 분류).

선택 사항

Framework

string

모델의 오리진/프레임워크 패밀리(예: 허깅페이스, 메타 또는 노바).

선택 사항

Provider

string

모델을 생성한 조직(예: Meta, Anthropic 또는 Amazon).

선택 사항

Datatype

string

모델의 모달리티(텍스트, 비전, 오디오 또는 멀티모달).

선택 사항

License

string

짧은 라이선스 식별자(예: Apache-2.0 또는 MIT).

선택 사항

InputModalities

string[]

모델이 허용하는 입력 유형(텍스트, 이미지, 오디오, 비디오 등).

선택 사항

OutputModalities

string[]

모델이 생성하는 출력 유형(텍스트, 이미지, 오디오, 비디오 등).

선택 사항

ModelAccess

string

액세스 티어 태그(퍼블릭, 게이트 또는 프라이빗 허브).

선택 사항

Languages

string[]

모델이 훈련된 인간 언어입니다.

선택 사항

ModelSize

string

파라미터 수별 모델 크기입니다.

선택 사항

ContextWindow

string

모델이 처리할 수 있는 최대 입력 토큰 수입니다.

선택 사항

MlFramework

string

모델이 원래 훈련된 ML 프레임워크(예: PyTorch).

선택 사항

HuggingfaceId

string

모델이 Hugging Face에서 미러링된 경우 소스 Hugging Face Hub ID입니다.

선택 사항

ModelProviderIconUri

string

모델 카드에 대한 공급자의 로고 이미지 URL입니다.

선택 사항

Highlights

string[]

모델 세부 정보 페이지에 표시된 마케팅 하이라이트 목록입니다.

선택 사항

Resources

{DisplayName, Url}[]

"자세히 알아보기"에 표시된 외부 링크(종이, 블로그 또는 코드 리포지토리) 목록입니다.

선택 사항

ContextualHelp

object

훈련 데이터 입력(HubFormatTrainData 및 ) 옆에 표시되는 인라인 도움말 텍스트입니다HubDefaultTrainData.

선택 사항

Dependencies

object[]

가져오기 시 아티팩트를 허브로 복사하기 위한 지침입니다.

선택 사항

NotebookLocations

object

모델의 노트북 탭에 표시된 예제 노트북의 컨테이너입니다.

선택 사항

RecipeCollection

RecipeMetadata[]

와 독립적인 레시피 기반 사용자 지정 모음입니다TrainingSupported.

선택 사항

Capabilities

enum[]

모델이 지원하는 기능 게이트(예: BedROCK_CONSOLE, TRAINING, FINE_TUNING, CUSTOMIZATION, HYPERPOD_DEPLOYMENT).

필수

InferenceConfigs

object

루트 호스팅 필드를 재정의하는 명명된 대체 배포 구성 세트입니다. 최상위 구성이 기본값입니다.

선택 사항

InferenceConfigComponents

object

InferenceConfigs[*]에서 참조하는 재사용 가능한 구성 요소 풀입니다.ComponentNames.

선택 사항

InferenceConfigRankings

object

기본값(overall.Rankings[0])인 InferenceConfigs 항목을 지정합니다.

선택 사항

TrainingConfigs

object

클래식 훈련 경로에 대한 명명된 훈련 구성 세트입니다.

선택 사항

TrainingConfigComponents

object

TrainingConfigs[*]에서 참조하는 재사용 가능한 구성 요소 풀입니다.ComponentNames.

선택 사항

TrainingConfigRankings

object

기본값인 TrainingConfigs 항목을 지정합니다.

선택 사항

DynamicContainerDeploymentSupported

boolean

모델을 추론 구성 요소(동적 컨테이너 엔드포인트)로 배포할 수 있는지 여부를 지정합니다.

선택 사항

HostingAdditionalDataSources

object

일반적으로 투기성 디코딩 초안 모델에 사용되는 추가 배포 시간 모델 데이터 채널입니다.

선택 사항

BedrockIOMappingId

string

Amazon Bedrock에서 모델을 호출할 때 사용되는 I/O 계약 ID입니다.

선택 사항

HostingEcrUri

EcrUri

배포에 사용되는 추론 컨테이너 이미지입니다.

선택 사항(배포하는 데 유효하게 필요)

HostingEcrSpecs

object

딥 러닝 컨테이너 이미지를 계산하는 데 사용되는 framework/version/Python 트리플입니다.

선택 사항

HostingArtifactS3DataType

S3DataType

HostingArtifactUri가 S3Prefix(디렉터리)인지 S3Object(단일 tarball)인지 지정합니다.

선택 사항

HostingArtifactCompressionType

S3CompressionType

HostingArtifactUri가 Gzip 압축인지 없음을 지정합니다.

선택 사항

HostingArtifactUri

S3Uri

모델 가중치의 S3 위치입니다.

선택 사항

HostingScriptUri

S3Uri

추론 스크립트 패키지(sourcedir.tar.gz)의 S3 위치입니다.

선택 사항

HostingUseScriptUri

boolean

별도의 스크립트 패키지를 가져올지 여부를 지정합니다(false = prepacked).

선택 사항

HostingEulaUri

S3Uri

모델 EULA의 S3 URI입니다. 모델의 존재는 모델을 게이트합니다( accept_eula 필요).

선택 사항

HostingEulaExternalLink

string

공급업체의 라이선스 페이지에 대한 외부 링크입니다.

선택 사항

ModelSubscriptionLink

string

AWS Marketplace 구독 링크.

선택 사항

ListingId

string

AWS Marketplace 목록 ID입니다.

선택 사항

ProductId

string

AWS Marketplace 제품 ID입니다.

선택 사항

HostingModelPackageArn

ModelPackageArn

AWS Marketplace 배포 경로입니다. 엔드포인트는 컨테이너 이미지 및 아티팩트 대신 모델 패키지에서 생성됩니다.

선택 사항

InferenceAmiVersion

enum

엔드포인트 호스트의 SageMaker 관리형 AMI(드라이버/CUDA 버전)입니다.

선택 사항

ModelDataDownloadTimeout

int 60–3600

SageMaker가 모델 가중치가 S3에서 다운로드될 때까지 대기하는 최대 초입니다.

선택 사항

ContainerStartupHealthCheckTimeout

int 60–3600

SageMaker가 컨테이너의 상태 확인이 200을 반환할 때까지 대기하는 최대 초입니다.

선택 사항

InferenceEnvironmentVariables

array

배포 시 설정된 컨테이너 환경 변수입니다.

선택 사항

InferenceDependencies

string[]

시작 시 추론 컨테이너가 설치하는 Python 패키지입니다.

선택 사항

DefaultInferenceInstanceType

InstanceType

기본 배포 인스턴스 유형입니다.

선택 사항

SupportedInferenceInstanceTypes

InstanceType[]

배포에 사용할 수 있는 인스턴스 유형입니다.

선택 사항

SageMakerSdkPredictorSpecifications

object

모델을 호출할 때 사용되는 Content-Type 및 Accept 헤더입니다.

선택 사항

InferenceVolumeSize

int > 0

엔드포인트 호스트에 연결된 GB 단위의 추가 EBS 볼륨입니다.

선택 사항

InferenceEnableNetworkIsolation

boolean

아웃바운드 네트워크가 엔드포인트 컨테이너에서 차단되는지 여부를 지정합니다.

선택 사항

DefaultPayloads

object

샘플 페이로드 창의 정식 예제 요청 본문입니다.

선택 사항

HostingResourceRequirements

object

추론 구성 요소로 배포하기 위한 CPU, GPU 및 메모리 요구 사항입니다.

선택 사항

HostingInstanceTypeVariants

object

배포 구성(이미지 URIs, 환경 변수 및 모델 패키지 ARN)에 대한 per-instance-family 재정의입니다. ARNs

선택 사항

TrainingArtifactS3DataType

S3DataType

TrainingArtifactUri가 S3Prefix인지 S3Object인지 지정합니다.

선택 사항

TrainingArtifactCompressionType

S3CompressionType

TrainingArtifactUri가 Gzip 압축인지 없음인지 지정합니다.

선택 사항

TrainingModelPackageArtifactUri

S3Uri

AWS Marketplace 훈련 경로입니다. 가중치는 모델 채널 대신 모델 패키지에서 가져옵니다.

선택 사항

Hyperparameters

array

훈련 경로에 대한 고객 튜닝 가능 파라미터(이름, 유형, 기본값, 최소값 및 최대값)입니다.

선택 사항

TrainingScriptUri

S3Uri

훈련 스크립트 패키지의 S3 위치(sourcedir.tar.gz).

선택 사항

TrainingEcrUri

EcrUri

훈련 컨테이너 이미지입니다.

선택 사항

TrainingMetrics

array

로그에서 Amazon CloudWatch 지표로 스크레이핑된 정규 표현식 패턴입니다.

선택 사항

TrainingArtifactUri

S3Uri

훈련 작업에 시작점으로 공급되는 사전 훈련된 가중치입니다.

선택 사항

TrainingDependencies

string[]

시작 시 훈련 컨테이너가 설치하는 Python 패키지입니다.

선택 사항

DefaultTrainingInstanceType

InstanceType

기본 훈련 인스턴스 유형입니다.

선택 사항

SupportedTrainingInstanceTypes

InstanceType[]

훈련에 사용할 수 있는 인스턴스 유형입니다.

선택 사항

TrainingVolumeSize

int > 0

훈련 호스트에 연결된 EBS 볼륨(GB)입니다.

선택 사항

TrainingEnableNetworkIsolation

boolean

아웃바운드 네트워크가 훈련 컨테이너에서 차단되는지 여부를 지정합니다.

선택 사항

FineTuningSupported

boolean

레거시 속성. TrainingSupported 및 FINE_TUNING 기능이이 속성을 대체합니다.

선택 사항

ValidationSupported

boolean

레거시 속성입니다. VALIDATION 기능은이 속성을 대체합니다.

선택 사항

DefaultTrainingDatasetUri

S3Uri

마법사가 1단계 미세 조정을 위해 미리 채울 수 있는 샘플 데이터 세트입니다.

선택 사항

EncryptInterContainerTraffic

boolean

분산 훈련 중에 호스트 간의 트래픽을 암호화할지 여부를 지정합니다.

선택 사항

MaxRuntimeInSeconds

int >= 1

수렴되지 않은 경우에도 훈련 작업이 중지되기 전의 최대 초 수입니다.

선택 사항

DisableOutputCompression

boolean

훈련 출력 아티팩트 압축을 건너뛸지 여부를 지정합니다.

선택 사항

ModelDir

string

스크립트가 최종 모델을 작성하는 훈련 컨테이너 내의 디렉터리입니다.

선택 사항

TrainingInstanceTypeVariants

object

훈련 구성(이미지 URIs 및 게이트 모델 환경 변수)에 대한 per-instance-family 재정의입니다.

선택 사항

Dependencies[].DependencyOriginPath

S3 URI

ImportHubContent 시간에 복사할 소스 S3 URI입니다.

선택 사항

Dependencies[].DependencyCopyPath

S3 URI

허브 내의 대상 S3 URI입니다.

선택 사항

Dependencies[].DependencyType

enum SCRIPT | ARTIFACT | DATASET | NOTEBOOK | OTHER

복사되는 아티팩트의 종류입니다.

선택 사항

Resources[].DisplayName

string

사람이 읽을 수 있는 링크 레이블입니다.

선택 사항

Resources[].Url

string

외부 URL(종이, GitHub, 블로그).

선택 사항

ContextualHelp.HubFormatTrainData

string[<=800][]

예상 훈련 데이터 형식(최대 50개)을 설명하는 단락입니다.

선택 사항

ContextualHelp.HubDefaultTrainData

string[<=800][]

샘플 데이터 세트를 설명하는 단락입니다(최대 50개).

선택 사항

NotebookLocations.DemoNotebook

S3 URI

레거시 단일 노트북 위치입니다.가이 속성을 DemoNotebooks 대체합니다.

선택 사항

NotebookLocations.DemoNotebooks

array (Title, S3Uri required per item)

노트북 탭에 표시된 예제 노트북 목록입니다.

선택 사항

NotebookLocations.ModelFit

string

"Fine-tune" 탭 개요에 대한 마크다운 콘텐츠입니다.

선택 사항

NotebookLocations.ModelDeploy

string

"배포" 탭 개요에 대한 마크다운 콘텐츠입니다.

선택 사항

NotebookLocations.DemoNotebooks[].Title

string

노트북의 표시 제목입니다.

필수

NotebookLocations.DemoNotebooks[].S3Uri

S3 URI

.ipynb 파일의 S3 위치입니다.

필수

NotebookLocations.DemoNotebooks[].IsDefault

boolean

탭이 열릴 때이 노트북을 미리 선택할지 여부를 지정합니다.

선택 사항

Hyperparameters[].Name

string (max 256)

훈련 스크립트에 전달되는 하이퍼파라미터 식별자입니다.

필수

Hyperparameters[].Label

string (max 256)

양식에 표시된 표시 레이블입니다.

선택 사항

Hyperparameters[].Description

string

설명 또는 도구 설명입니다.

선택 사항

Hyperparameters[].Type

enum int | float | text

하이퍼파라미터 값의 데이터 유형입니다.

필수

Hyperparameters[].Default

int / float / string

기본값입니다. 유형은 유형과 일치해야 합니다.

필수

Hyperparameters[].Min

int / float

허용되는 최소 값입니다.

선택 사항

Hyperparameters[].Max

int / float

허용되는 최대 값입니다.

선택 사항

Hyperparameters[].Options

array

허용되는 값(텍스트 유형만 해당).

선택 사항

Hyperparameters[].Scope

enum algorithm | container

값이 훈련 스크립트 인수인지 컨테이너 환경 변수인지 지정합니다.

선택 사항

Hyperparameters[].Validators

enum resourceName | resourceTag

값에 적용된 추가 형식 검증입니다.

선택 사항

InferenceEnvironmentVariables[].Name

string

환경 변수 이름입니다.

필수

InferenceEnvironmentVariables[].Type

enum int | float | text | bool

값 유형입니다.

필수

InferenceEnvironmentVariables[].Default

value

기본값입니다. 유형은 유형과 일치해야 합니다.

필수

InferenceEnvironmentVariables[].Description

string

설명 또는 도구 설명입니다.

선택 사항

InferenceEnvironmentVariables[].Options

array

허용되는 값(텍스트 유형만 해당).

선택 사항

InferenceEnvironmentVariables[].Min

int / float

최소값 또는 길이입니다.

선택 사항

InferenceEnvironmentVariables[].Max

int / float

최대값 또는 길이입니다.

선택 사항

InferenceEnvironmentVariables[].Scope

enum

값 범위 태그입니다.

선택 사항

InferenceEnvironmentVariables[].RequiredForModelClass

string

값이 필요한 모델 클래스입니다.

선택 사항

InferenceEnvironmentVariables[].Validators

enum

값에 적용된 추가 형식 검증입니다.

선택 사항

TrainingMetrics[].Name

string (max 255)

CloudWatch에 게시된 지표 이름입니다.

필수

TrainingMetrics[].Regex

string (max 500)

로그에 적용된 정규식으로, 정확히 하나의 숫자 그룹을 캡처합니다.

필수

SageMakerSdkPredictorSpecifications.DefaultContentType

string

기본 요청 Content-Type 헤더입니다.

필수

SageMakerSdkPredictorSpecifications.SupportedContentTypes

string[]

모델이 허용하는 Content-Types입니다.

필수

SageMakerSdkPredictorSpecifications.DefaultAcceptType

string

기본 응답 수락 헤더입니다.

필수

SageMakerSdkPredictorSpecifications.SupportedAcceptTypes

string[]

모델이 반환하는 수락 유형입니다.

필수

DefaultPayloads[alias].ContentType

string

이 예제의 Content-Type 헤더입니다.

필수

DefaultPayloads[alias].PromptKey

string

사용자 프롬프트가 본문에 삽입되는 JSON 경로입니다.

선택 사항

DefaultPayloads[alias].Body

string | object

요청 본문의 예입니다.

필수

DefaultPayloads[alias].OutputKeys.GeneratedText

string

생성된 텍스트를 포함하는 응답의 JSON 경로입니다.

선택 사항

DefaultPayloads[alias].OutputKeys.InputLogProbs

string

입력 로그 프로브를 보유한 응답의 JSON 경로입니다.

선택 사항

HostingResourceRequirements.NumAccelerators

integer

추론 구성 요소에 필요한 액셀러레이터 수입니다.

선택 사항

HostingResourceRequirements.NumCpus

integer

필요한 vCPU 수입니다.

선택 사항

HostingResourceRequirements.MinMemoryMb

integer

MB 단위의 필수 최소 RAM입니다.

필수

HostingAdditionalDataSources[channelName][].ChannelName

string

SageMaker 채널 이름(장착 지점).

필수

HostingAdditionalDataSources[channelName][].ArtifactVersion

string

추가 아티팩트의 버전 태그입니다.

선택 사항

HostingAdditionalDataSources[channelName][].S3DataSource.S3DataType

enum

Amazon S3 데이터 형식(S3Prefix 또는 S3Object).

필수

HostingAdditionalDataSources[channelName][].S3DataSource.S3Uri

S3 URI

추가 아티팩트의 S3 위치입니다.

필수

HostingAdditionalDataSources[channelName][].S3DataSource.CompressionType

enum

압축 유형(없음 또는 Gzip).

필수

HostingAdditionalDataSources[channelName][].S3DataSource.HubAccessConfig.HubContentArn

string

다운로드 속성을 지정할 HubContent ARN입니다.

선택 사항

HostingAdditionalDataSources[channelName][].HostingEulaUri

S3 URI

사용자가이 추가 데이터 소스에 액세스하기 전에 수락해야 하는 EULA입니다.

선택 사항

HostingAdditionalDataSources[channelName][].Provider.Name

string

어트리뷰션의 공급자 이름입니다.

필수

HostingAdditionalDataSources[channelName][].Provider.Classification

string

공급자 분류입니다.

필수

HostingInstanceTypeVariants.Aliases[alias]

ECR URI

여러 인스턴스 유형에서 공유되는 이미지 URI입니다.

선택 사항

HostingInstanceTypeVariants.Variants[instanceType].Properties.ImageUri

ECR URI

per-instance-type 추론 이미지 재정의입니다.

선택 사항

HostingInstanceTypeVariants.Variants[instanceType].Properties.EnvironmentVariables

object

per-instance-type 환경 변수가 재정의됩니다.

선택 사항

HostingInstanceTypeVariants.Variants[instanceType].Properties.ModelPackageArn

ModelPackage ARN

per-instance-type AWS Marketplace 모델 패키지 재정의.

선택 사항

HostingInstanceTypeVariants.Variants[instanceType].Properties.ListingId

string

per-instance-type AWS Marketplace 목록 ID입니다.

선택 사항

HostingInstanceTypeVariants.Variants[instanceType].Properties.ProductId

string

per-instance-type AWS Marketplace 제품 ID입니다.

선택 사항

TrainingInstanceTypeVariants.Aliases[alias]

ECR URI

여러 인스턴스 유형에서 공유되는 이미지 URI입니다.

선택 사항

TrainingInstanceTypeVariants.Variants[instanceType].Properties.ImageUri

ECR URI

per-instance-type 훈련 이미지 재정의입니다.

선택 사항

TrainingInstanceTypeVariants.Variants[instanceType].Properties.GatedModelEnvVarUri

S3 URI

환경 변수를 통해 전달되는 게이트 모델 가중치 URI입니다.

선택 사항

TrainingInstanceTypeVariants.Variants[instanceType].Properties.TrainingArtifactUri

S3 URI

per-instance-type 훈련 아티팩트 재정의.

선택 사항

TrainingInstanceTypeVariants.Variants[instanceType].Properties.EnvironmentVariables

object

per-instance-type 환경 변수가 재정의됩니다.

선택 사항

RecipeCollection[].Name

string (max 255)

컬렉션 내에서 고유한 기계 판독 가능 레시피 ID입니다.

필수

RecipeCollection[].DisplayName

string (max 255)

사람이 읽을 수 있는 레시피 제목입니다.

필수

RecipeCollection[].Type

enum FineTuning | Evaluation

레시피가 모델을 미세 조정 또는 평가할지 여부를 지정합니다.

필수

RecipeCollection[].CustomizationTechnique

enum SFT | DPO | RLAIF | RLVR | PPO | CPT | DISTILL | MTRL

미세 조정 알고리즘입니다.

선택 사항

RecipeCollection[].EvaluationType

enum DeterministicTextBenchmark | DeterministicMultiModalBenchmark | DeterministicEvaluation | LLMAJEvaluation | MTRLEvaluation

평가 방법론(유형=평가인 경우에만 해당).

선택 사항

RecipeCollection[].IsSubscriptionModel

boolean

모델을 사용자 지정하기 전에 레시피에 활성 구독이 필요한지 여부를 지정합니다.

선택 사항

RecipeCollection[].Peft

enum LORA | QLORA | FULL

파라미터 효율적인 미세 조정 모드입니다.

선택 사항

RecipeCollection[].SequenceLength

enum 1K | 2K | 4K | 8K | 16K | 32K | 64K | 128K

미세 조정을 위한 훈련 컨텍스트 길이입니다.

선택 사항

RecipeCollection[].Hardware

enum GPU | TRAINIUM | CPU

액셀러레이터 하드웨어 패밀리(예: GPU, TRAINIUM 또는 CPU).

선택 사항

RecipeCollection[].Versions

string[]

레시피가 호환되는 모델 버전입니다.

필수

RecipeCollection[].SmtjImageUri

ECR URI

레시피가 SageMaker 훈련 작업으로 실행될 때 사용되는 훈련 컨테이너 이미지입니다.

선택 사항

RecipeCollection[].InstanceCount

integer

훈련 작업에 대한 기본 인스턴스 수입니다.

선택 사항

RecipeCollection[].Framework

enum CHECKPOINTLESS | NOVA | VERL | LLMFT

레시피를 실행하는 훈련 프레임워크 패밀리입니다.

선택 사항

RecipeCollection[].ServerlessMeteringType

enum Token-based | Hourly

서버리스 결제 모델(토큰당 또는 시간당).

선택 사항

RecipeCollection[].ServerlessSku

string

서버리스 미터가 청구하는 SKU입니다.

선택 사항

RecipeCollection[].HostingConfigs

array

사용자 지정 후 사용할 수 있는 배포 대상입니다.

선택 사항

RecipeCollection[].UseCases

string[]

자유 텍스트 사용 사례 태그입니다.

선택 사항

RecipeCollection[].BestFor

string[]

자유 텍스트 "가장 좋음" 태그입니다.

선택 사항

RecipeCollection[].Description

string

레시피에 대한 자유 텍스트 설명입니다.

선택 사항

RecipeCollection[].SupportedInstanceTypes

array

레시피가 지원하는 훈련 인스턴스 유형입니다.

선택 사항

RecipeCollection[].RecipeFilePath

string

레시피 정의 파일의 경로입니다.

선택 사항

RecipeCollection[].HpEksPayloadTemplateS3Uri

S3 URI

HyperPod(EKS) 시작 템플릿의 S3 위치입니다.

선택 사항

RecipeCollection[].HpEksOverrideParamsS3Uri

S3 URI

HyperPod(EKS) 파라미터의 S3 위치가 재정의됩니다.

선택 사항

RecipeCollection[].SmtjRecipeTemplateS3Uri

S3 URI

SageMaker 훈련 작업 시작 템플릿의 SS3 위치입니다.

선택 사항

RecipeCollection[].SmtjOverrideParamsS3Uri

S3 URI

SageMaker 훈련 작업 파라미터의 SS3 위치가 재정의됩니다.

선택 사항

RecipeCollection[].HostingConfigs[].InstanceType

InstanceType

사용자 지정 모델을 배포할 수 있는 인스턴스 유형입니다.

필수

RecipeCollection[].HostingConfigs[].Profile

string

선택적 배포 프로필 이름입니다.

선택 사항

RecipeCollection[].HostingConfigs[].EcrAddress

ECR URI

추론 컨테이너 이미지에 대한 선택적 재정의입니다.

선택 사항

RecipeCollection[].HostingConfigs[].Environment

object

이 배포 대상의 컨테이너 환경 변수입니다.

선택 사항

RecipeCollection[].HostingConfigs[].ComputeResourceRequirements.MinMemoryRequiredInMb

int >= 1

MB 단위의 최소 RAM입니다.

필수(상위 객체가 설정된 경우)

RecipeCollection[].HostingConfigs[].ComputeResourceRequirements.NumberOfCpuCoresRequired

int >= 1

최소 vCPU 수입니다.

필수(상위 객체가 설정된 경우)

RecipeCollection[].HostingConfigs[].ComputeResourceRequirements.NumberOfAcceleratorDevicesRequired

int >= 0

최소 액셀러레이터 수입니다.

필수(상위 객체가 설정된 경우)

InferenceConfigs[configName].ComponentNames

string[]

구성 요소(InferenceConfigComponents)가이 구성에 병합됩니다.

필수

InferenceConfigs[configName].HubContentDependencies[].HubContentArn

string

이 구성이 의존하는 다른 HubContent입니다.

선택 사항

InferenceConfigs[configName].BenchmarkMetrics[benchmarkName][].Name

string

지표 이름(처리량, 지연 시간 등).

필수

InferenceConfigs[configName].BenchmarkMetrics[benchmarkName][].Value

string

측정된 값입니다.

필수

InferenceConfigs[configName].BenchmarkMetrics[benchmarkName][].Unit

string

단위(토큰/초, ms 등).

필수

InferenceConfigs[configName].BenchmarkMetrics[benchmarkName][].DisplayText

string

지표의 표시 레이블입니다.

선택 사항

InferenceConfigs[configName].BenchmarkMetrics[benchmarkName][].Concurrency

string

가 측정한 동시성 수준입니다.

선택 사항

InferenceConfigs[configName].AccelerationConfigs[].Type

string

가속 유형(컴파일러, 커널 융합 등).

필수

InferenceConfigs[configName].AccelerationConfigs[].Enabled

boolean

이 가속을 적용할지 여부를 지정합니다.

필수

InferenceConfigs[configName].AccelerationConfigs[].Spec.Compiler

string

사용된 컴파일러입니다.

선택 사항

InferenceConfigs[configName].AccelerationConfigs[].Spec.Version

string

컴파일러 버전입니다.

선택 사항

InferenceConfigs[configName].AccelerationConfigs[].DiyWorkflowOverrides.Enabled

boolean

do-it-yourself(DIY) 워크플로 재정의 플래그입니다.

선택 사항

InferenceConfigs[configName].AccelerationConfigs[].DiyWorkflowOverrides.Reason

string

재정의 이유입니다.

선택 사항

InferenceConfigRankings[rankingName].Description

string

순위 차원에 대한 설명입니다(예: "가장 저렴한 첫 번째").

선택 사항

InferenceConfigRankings[rankingName].Rankings

string[]

이 순위에 대한 구성 이름의 순서 목록입니다.

선택 사항