ModelBuilder 클래스와 함께 독점 파운데이션 모델 배포

독점 모델은 AWS Marketplace에서 모델을 구독한 후 모델 패키지 정보를 사용하여 배포해야 합니다. SageMaker AI 및에 대한 자세한 내용은의 Amazon SageMaker AI 알고리즘 및 모델 구매 및 판매를 AWS Marketplace참조하세요. Amazon SageMaker AWS Marketplace 최신 독점 모델에 대한 AWS Marketplace 링크를 찾으려면 Amazon SageMaker JumpStart 시작하기를 참조하세요.

에서 선택한 모델을 구독 AWS Marketplace한 후 SageMaker Python SDK를 사용하여 파운데이션 모델을 배포할 수 있습니다. ARN을 기준으로 구독한 모델 패키지를 참조하고를 사용하여 배포합니다ModelBuilder.

예를 들어 다음 코드는 AI21 Labs의 Jurassic-2 Jumbo Instruct를 사용하여 JumpStart 모델을 배포합니다.

from sagemaker.core.resources import ModelPackage
from sagemaker.serve import ModelBuilder

model_package_arn = "arn:aws:sagemaker:us-east-1:865070037744:model-package/j2-jumbo-instruct-v1-1-43-4e47c49e61743066b9d95efed6882f35"

# Reference the subscribed Marketplace model package by its ARN.
model_package = ModelPackage.get(model_package_name=model_package_arn)

# Build and deploy with ModelBuilder. Marketplace packages do not carry
# JumpStart hosting configurations, so specify an instance_type explicitly
# (choose one from the package's supported real-time inference instance types).
model_builder = ModelBuilder(
    model=model_package,
    role_arn="arn:aws:iam::123456789012:role/SageMakerExecutionRole",
    instance_type="ml.g5.12xlarge",
)
model = model_builder.build()
endpoint = model_builder.deploy()

단계별 예제를 보려면 SageMaker Studio Classic에서 선택한 독점 파운데이션 모델과 관련된 노트북을 찾아 실행하세요. 자세한 정보는 Amazon SageMaker Studio Classic에서 파운데이션 모델 사용을 참조하세요. SageMaker Python SDK에 대한 자세한 내용은 문서 읽기 웹 사이트의 SageMaker Python SDK 설명서에서 ModelBuilder를 참조하세요.