엔드포인트에 모델 배포 - Amazon SageMaker AI
권한 관리모델 배포

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

엔드포인트에 모델 배포

Amazon SageMaker Canvas에서는 모델을 엔드포인트에 배포하여 예측을 수행할 수 있습니다. SageMaker AI는 선택한 컴퓨팅 인스턴스를 사용하여 엔드포인트에서 모델을 호스팅할 수 있는 ML 인프라를 제공합니다. 그런 다음 엔드포인트를 호출(예측 요청 전송)하고 모델에서 실시간 예측을 가져올 수 있습니다. 이 기능을 사용하면 프로덕션에서 모델을 사용하여 들어오는 요청에 응답하고 모델을 기존 애플리케이션 및 워크플로와 통합할 수 있습니다.

시작하려면 배포할 모델이 있어야 합니다. 빌드한 사용자 지정 모델 버전, Amazon SageMaker JumpStart 파운데이션 모델 및 미세 조정된 JumpStart 파운데이션 모델을 배포할 수 있습니다. 모델 구축에 대한 추가 정보는 사용자 지정 모델 작동 방식을 참조하세요. Canvas의 JumpStart 파운데이션 모델에 대한 자세한 내용은 SageMaker Canvas의 생성형 AI 파운데이션 모델 섹션을 참조하세요.

다음 권한 관리 섹션을 검토한 다음 모델 배포 섹션에서 새 배포를 생성하세요.

권한 관리

기본적으로 SageMaker AI 호스팅 엔드포인트에 모델을 배포할 수 있는 권한이 있습니다. SageMaker AI는 Canvas 애플리케이션을 호스팅하는 SageMaker AI 도메인의 IAM 실행 역할에 연결된 AmazonSageMakerCanvasFullAccess 정책을 통해 모든 신규 및 기존 Canvas 사용자 프로필에 대해 이러한 권한을 부여합니다. AWS SageMaker

Canvas 관리자가 새 도메인 또는 사용자 프로필을 설정하는 경우 도메인을 설정하고의 사전 요구 사항에 따라 Amazon SageMaker Canvas를 설정하기 위한 사전 조건 SageMaker AI는 기본적으로 활성화되는 Canvas 모델의 직접 배포 활성화 옵션을 통해 모델 배포 권한을 켭니다.

Canvas 관리자는 사용자 프로필 수준에서도 모델 배포 권한을 관리할 수 있습니다. 예를 들어 관리자가 도메인을 설정할 때 모든 사용자 프로필에 모델 배포 권한을 부여하지 않으려는 경우 도메인을 만든 후 특정 사용자에게 권한을 부여할 수 있습니다.

다음 절차는 특정 사용자 프로필에 대한 모델 배포 권한을 수정하는 방법을 보여줍니다.

  1. https://console.aws.amazon.com/sagemaker/ SageMaker AI 콘솔을 엽니다.

  2. 왼쪽 탐색 창에서 관리자 구성을 선택합니다.

  3. 관리자 구성에서 도메인을 선택합니다.

  4. 도메인 목록에서 사용자 프로필의 도메인을 선택합니다.

  5. 도메인 세부 정보 페이지에서 사용자 프로필 탭을 선택합니다.

  6. 본인의 사용자 프로필을 선택합니다.

  7. 사용자 프로필 페이지에서 앱 구성 탭을 선택합니다.

  8. Canvas 섹션에서 편집을 선택합니다.

  9. ML 운영 구성 섹션에서 Canvas 모델 직접 배포 활성화 토글을 켜서 배포 권한을 활성화합니다.

  10. 제출을 선택하여 도메인 설정 변경 내용을 저장합니다.

이제 사용자 프로필에 모델 배포 권한이 없습니다.

도메인 또는 사용자 프로필에 권한을 부여한 후 사용자가 Canvas 애플리케이션에서 로그아웃하고 다시 로그인하여 권한 변경 사항을 적용하도록 해야 합니다.

모델 배포

모델 배포를 시작하려면 Canvas에서 새 배포를 만들고 ML 인프라와 함께 배포할 모델 버전(예: 모델 호스팅에 사용할 컴퓨팅 인스턴스의 유형 및 수)을 지정합니다.

Canvas는 모델 유형에 따라 기본 유형과 인스턴스 수를 제안하거나 Amazon SageMaker AI 요금 페이지에서 다양한 SageMaker AI 인스턴스 유형에 대해 자세히 알아볼 수 있습니다. Amazon SageMaker 엔드포인트가 활성화된 동안 SageMaker AI 인스턴스 요금을 기준으로 요금이 부과됩니다.

JumpStart 파운데이션 모델을 배포할 때 배포 시간의 기간을 지정하는 옵션도 있습니다. 모델을 엔드포인트에 무기한 배포할 수 있습니다(즉, 배포를 삭제할 때까지 엔드포인트가 활성 상태임). 또는 단기간 동안만 엔드포인트가 필요하고 비용을 절감하려는 경우 지정된 시간 동안 엔드포인트에 모델을 배포할 수 있습니다. 그러면 SageMaker AI가 엔드포인트를 종료합니다.

참고

지정된 시간 동안 모델을 배포하는 경우 엔드포인트 기간 동안 Canvas 애플리케이션에 로그인한 상태를 유지합니다. 애플리케이션에서 로그아웃하거나 애플리케이션을 삭제하면 Canvas가 지정된 시간에 엔드포인트를 종료할 수 없습니다.

모델이 SageMaker AI 호스팅 실시간 추론 엔드포인트에 배포된 후 엔드포인트를 호출하여 예측을 시작할 수 있습니다.

Canvas 애플리케이션에서 모델을 배포하는 방법에는 여러 가지가 있습니다. 다음 방법 중 하나를 통해 모델 배포 옵션에 액세스할 수 있습니다.

  • Canvas 애플리케이션의 내 모델 페이지에서 배포하려는 모델을 선택합니다. 그런 다음 모델의 버전 페이지에서 모델 버전 옆에 있는 추가 옵션 아이콘( Vertical ellipsis icon representing a menu or more options. )을 선택하고 배포를 선택합니다.

  • 모델 버전의 세부 정보 페이지의 분석 탭에서 배포 옵션을 선택합니다.

  • 모델 버전의 세부 정보 페이지에 있는 예측 탭에서 페이지 상단의 추가 옵션 아이콘( Vertical ellipsis icon representing a menu or more options. )을 선택하고 배포를 선택합니다.

  • Canvas 애플리케이션의 ML 운영 페이지에서 배포 탭을 선택한 다음 배포 만들기를 선택합니다.

  • JumpStart 파운데이션 모델 및 미세 조정된 파운데이션 모델의 경우 Canvas 애플리케이션의 즉시 사용 가능 모델 페이지로 이동합니다. 콘텐츠 생성, 추출 및 요약을 선택합니다. 그런 다음 배포하려는 JumpStart 파운데이션 모델 또는 미세 조정 파운데이션 모델을 찾습니다. 모델을 선택하고 모델의 채팅 페이지에서 배포 버튼을 선택합니다.

이러한 모든 방법을 사용하면 배포 모델 사이드 패널이 열리고, 여기서 모델의 배포 구성을 지정할 수 있습니다. 이 패널에서 모델을 배포하려면 다음 작업을 수행합니다.

  1. (선택 사항) ML 운영 페이지에서 배포를 만드는 경우 모델 및 버전 선택 옵션이 제공됩니다. 드롭다운 메뉴를 사용하여 배포하려는 모델 및 모델 버전을 선택합니다.

  2. 배포 이름 필드에 이름을 입력합니다.

  3. (JumpStart 파운데이션 모델 및 미세 조정 파운데이션 모델만 해당) 배포 기간을 선택합니다. 엔드포인트를 종료할 때까지 엔드포인트를 활성 상태로 두려면 무기한을 선택합니다. 아니면 기간 지정을 선택하고 엔드포인트가 활성 상태로 유지될 기간을 입력합니다.

  4. 인스턴스 유형의 경우 SageMaker AI는 모델에 적합한 기본 인스턴스 유형과 번호를 감지합니다. 하지만 모델 호스팅에 사용하려는 인스턴스 유형은 변경할 수 있습니다.

    참고

    AWS 계정에서 선택한 인스턴스 유형에 대한 인스턴스 할당량이 부족한 경우 할당량 증가를 요청할 수 있습니다. 기본 할당량 및 증가를 요청하는 방법에 대한 자세한 내용은 AWS 일반 참조 가이드의 Amazon SageMaker AI 엔드포인트 및 할당량을 참조하세요.

  5. 인스턴스 수에서는 엔드포인트에 사용되는 활성 인스턴스 수를 설정할 수 있습니다. SageMaker AI는 모델에 적합한 기본 번호를 감지하지만이 번호를 변경할 수 있습니다.

  6. 모델을 배포할 준비가 되면 배포 를 선택합니다.

이제 모델을 엔드포인트에 배포해야 합니다.