기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
엔드포인트에 모델 배포
Amazon SageMaker Canvas에서는 모델을 엔드포인트에 배포하여 predictions. SageMaker provids를 통해 선택한 컴퓨팅 인스턴스를 사용하여 엔드포인트에서 모델을 호스팅할 수 있습니다. 그런 다음 엔드포인트를 호출(예측 요청 전송)하고 모델에서 실시간 예측을 가져올 수 있습니다. 이 기능을 사용하면 프로덕션에서 모델을 사용하여 들어오는 요청에 응답하고 모델을 기존 애플리케이션 및 워크플로와 통합할 수 있습니다.
시작하려면 배포하려는 모델이 있어야 합니다. 구축한 사용자 지정 모델 버전, Amazon SageMaker JumpStart 파운데이션 모델 및 미세 조정된 JumpStart 파운데이션 모델을 배포할 수 있습니다. 모델 구축에 대한 추가 정보는 사용자 지정 모델 작동 방식을 참조하세요. Canvas의 파운데이션 모델에 대한 JumpStart 자세한 내용은 섹션을 참조하세요 SageMaker Canvas의 세대 AI 파운데이션 모델.
다음 권한 관리 섹션을 검토한 다음 모델 배포 섹션에서 새 배포를 생성하세요.
권한 관리
기본적으로 모델을 SageMaker 호스팅 엔드포인트에 배포할 수 있는 권한이 있습니다. SageMaker 는 Canvas 애플리케이션을 호스팅하는 SageMaker 도메인의 AWS IAM 실행 역할에 연결된 AmazonSageMakerCanvasFullAccess 정책을 통해 모든 신규 및 기존 Canvas 사용자 프로파일에 대한 이러한 권한을 부여합니다.
Canvas 관리자가 새 도메인 또는 사용자 프로필을 설정하는 경우 도메인을 설정하고 SageMaker의 사전 요구 사항에 따라 는 기본적으로 활성화된 Canvas Amazon SageMaker Canvas 설정을 위한 사전 조건모델의 직접 배포 활성화 옵션을 통해 모델 배포 권한을 활성화합니다.
Canvas 관리자는 사용자 프로필 수준에서도 모델 배포 권한을 관리할 수 있습니다. 예를 들어 관리자가 도메인을 설정할 때 모든 사용자 프로필에 모델 배포 권한을 부여하지 않으려는 경우 도메인을 생성한 후 특정 사용자에게 권한을 부여할 수 있습니다.
다음 절차에서는 특정 사용자 프로파일에 대한 모델 배포 권한을 수정하는 방법을 보여줍니다.
-
에서 SageMaker 콘솔을 엽니다https://console.aws.amazon.com/sagemaker/
. -
왼쪽 탐색 창에서 관리자 구성을 선택합니다.
-
관리자 구성에서 도메인을 선택합니다.
-
도메인 목록에서 사용자 프로필의 도메인을 선택합니다.
-
도메인 세부 정보 페이지에서 사용자 프로필 탭을 선택합니다.
-
사용자 프로필 을 선택합니다.
-
사용자 프로필 페이지에서 앱 구성 탭을 선택합니다.
-
Canvas 섹션에서 편집을 선택합니다.
-
ML Ops 구성 섹션에서 Canvas 모델의 직접 배포 활성화 토글을 켜서 배포 권한을 활성화합니다.
-
제출을 선택하여 도메인 설정에 변경 사항을 저장합니다.
이제 사용자 프로필에 모델 배포 권한이 있어야 합니다.
도메인 또는 사용자 프로필에 권한을 부여한 후 사용자가 Canvas 애플리케이션에서 로그아웃하고 다시 로그인하여 권한 변경 사항을 적용해야 합니다.
모델 배포
모델 배포를 시작하려면 Canvas에서 새 배포를 만들고 ML 인프라와 함께 배포할 모델 버전(예: 모델 호스팅에 사용할 컴퓨팅 인스턴스의 유형 및 수)을 지정합니다.
Canvas는 모델 유형에 따라 기본 유형 및 인스턴스 수를 제안하거나 Amazon SageMaker 요금 페이지에서
JumpStart 파운데이션 모델을 배포할 때 배포 시간 길이를 지정하는 옵션도 있습니다. 모델을 엔드포인트에 무기한 배포할 수 있습니다(즉, 배포를 삭제할 때까지 엔드포인트가 활성 상태임). 또는 단기간 동안만 엔드포인트가 필요하고 비용을 절감하려는 경우 지정된 시간 동안 엔드포인트에 모델을 배포할 수 있습니다. 그러면 가 엔드포인트를 SageMaker 종료합니다.
참고
지정된 시간 동안 모델을 배포하는 경우 엔드포인트 기간 동안 Canvas 애플리케이션에 로그인한 상태를 유지합니다. 애플리케이션에서 로그아웃하거나 삭제하면 Canvas가 지정된 시간에 엔드포인트를 종료할 수 없습니다.
모델을 SageMaker 호스팅 실시간 추론 엔드포인트 에 배포한 후 엔드포인트를 호출하여 예측을 시작할 수 있습니다.
Canvas 애플리케이션에서 모델을 배포하는 방법에는 여러 가지가 있습니다. 다음 방법 중 하나를 통해 모델 배포 옵션에 액세스할 수 있습니다.
-
Canvas 애플리케이션의 내 모델 페이지에서 배포하려는 모델을 선택합니다. 그런 다음 모델의 버전 페이지에서 모델 버전 옆에 있는 추가 옵션 아이콘(
)을 선택하고 배포를 선택합니다. -
모델 버전의 세부 정보 페이지에서 분석 탭에서 배포 옵션을 선택합니다.
-
모델 버전의 세부 정보 페이지에서 예측 탭에서 페이지 상단의 추가 옵션 아이콘(
)을 선택하고 배포를 선택합니다. -
Canvas 애플리케이션의 ML Ops 페이지에서 배포 탭을 선택한 다음 배포 생성 을 선택합니다.
-
JumpStart 파운데이션 모델 및 미세 조정 파운데이션 모델은 Canvas 애플리케이션의 Ready-to-use 모델 페이지로 이동합니다. 콘텐츠 생성, 추출 및 요약을 선택합니다. 그런 다음 배포하려는 파 JumpStart 운데이션 모델 또는 미세 조정된 파운데이션 모델을 찾습니다. 모델을 선택하고 모델의 채팅 페이지에서 배포 버튼을 선택합니다.
이러한 모든 방법을 사용하면 배포 모델 사이드 패널이 열리고, 여기서 모델의 배포 구성을 지정할 수 있습니다. 이 패널에서 모델을 배포하려면 다음 작업을 수행합니다.
-
(선택 사항) ML Ops 페이지에서 배포를 생성하는 경우 모델 및 버전 선택 옵션이 있습니다. 드롭다운 메뉴를 사용하여 배포하려는 모델 및 모델 버전을 선택합니다.
-
배포 이름 필드에 이름을 입력합니다.
-
( JumpStart 파운데이션 모델 및 미세 조정된 파운데이션 모델만 해당) 배포 길이 를 선택합니다. 엔드포인트를 종료할 때까지 엔드포인트를 활성 상태로 두려면 무기한을 선택하고 길이 지정을 선택한 다음 엔드포인트가 활성 상태로 유지될 기간을 입력합니다.
-
인스턴스 유형 의 경우 는 모델에 적합한 기본 인스턴스 유형과 번호를 SageMaker 감지합니다. 하지만 모델 호스팅에 사용하려는 인스턴스 유형은 변경할 수 있습니다.
참고
AWS 계정에서 선택한 인스턴스 유형에 대한 인스턴스 할당량이 부족한 경우 할당량 증가를 요청할 수 있습니다. 기본 할당량 및 증가를 요청하는 방법에 대한 자세한 내용은 AWS 일반 참조 가이드의 Amazon SageMaker 엔드포인트 및 할당량을 참조하세요.
-
인스턴스 수 의 경우 엔드포인트에 사용되는 활성 인스턴스 수를 설정할 수 있습니다. 는 모델에 적합한 기본 수를 SageMaker 감지하지만 이 수를 변경할 수 있습니다.
-
모델을 배포할 준비가 되면 배포 를 선택합니다.
이제 모델을 엔드포인트에 배포해야 합니다.
