기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon SageMaker 파트너 AI 앱을 사용하면 사용자는 업계 최고의 애플리케이션 공급자가 구축, 게시 및 배포한 생성형 AI 및 기계 학습(ML) 개발 애플리케이션에 액세스할 수 있습니다. 파트너 AI 앱은 SageMaker AI에서 실행되도록 인증되었습니다. Partner AI 앱을 사용하면 사용자는 민감한 데이터의 보안을 손상시키지 않고 파운데이션 모델(FM)과 클래식 ML 모델을 기반으로 솔루션을 구축하는 방법을 가속화하고 개선할 수 있습니다. 데이터는 신뢰할 수 있는 보안 구성 내에 완전히 유지되며 타사와 공유되지 않습니다.
작동 방법
파트너 AI 앱은 Amazon Elastic Kubernetes Service 클러스터를 포함하는 전체 애플리케이션 스택과 Application Load Balancer, Amazon Relational Database Service, Amazon Simple Storage Service 버킷, Amazon Simple Queue Service 대기열 및 Redis 캐시를 포함할 수 있는 다양한 서비스를 함께 제공합니다.
이러한 서비스 애플리케이션은 SageMaker AI 도메인의 모든 사용자 간에 공유할 수 있으며 관리자가 프로비저닝합니다. 를 통해 구독을 구매하여 애플리케이션을 프로비저닝한 후 AWS Marketplace관리자는 SageMaker AI 도메인의 사용자에게 Amazon SageMaker Studio, Amazon SageMaker Amazon SageMaker Unified Studio(미리 보기)에서 직접 파트너 AI 앱에 액세스할 수 있는 권한을 부여하거나 미리 서명된 URL을 사용할 수 있습니다. Studio에서 애플리케이션을 시작하는 방법에 대한 자세한 내용은 섹션을 참조하세요Amazon SageMaker Studio 출시.
파트너 AI 앱은 관리자와 사용자에게 다음과 같은 이점을 제공합니다.
-
관리자는 SageMaker AI 콘솔을 사용하여 데이터 과학 및 ML 팀이 사용할 파트너 AI 앱을 검색, 검색, 선택 및 프로비저닝합니다. 파트너 AI 앱이 배포되면 SageMaker AI는 서비스 관리형에서 이를 실행합니다 AWS 계정. 이렇게 하면 이러한 애플리케이션의 구축 및 운영과 관련된 운영 오버헤드가 크게 줄어들고 고객 데이터의 보안 및 개인 정보 보호에 기여합니다.
-
데이터 과학자와 ML 개발자는 Amazon SageMaker Studio 또는 Amazon SageMaker Unified Studio(미리 보기)의 ML 개발 환경 내에서 파트너 AI 앱에 액세스할 수 있습니다. 파트너 AI 앱을 사용하여 SageMaker AI에서 생성된 데이터, 실험 및 모델을 분석할 수 있습니다. 이렇게 하면 컨텍스트 전환을 최소화하고 파운데이션 모델 구축을 가속화하고 새로운 생성형 AI 기능을 출시하는 데 도움이 됩니다.
와 통합 AWS 서비스
파트너 AI 앱은 권한 부여 및 인증에 기존 AWS Identity and Access Management (IAM) 구성을 사용합니다. 따라서 사용자는 Amazon SageMaker Studio에서 각 파트너 AI 앱에 액세스하기 위해 별도의 자격 증명을 제공할 필요가 없습니다. 파트너 AI 앱을 사용한 권한 부여 및 인증에 대한 자세한 내용은 섹션을 참조하세요파트너 AI 앱 설정.
파트너 AI 앱은 또한와 통합되어 운영 모니터링 및 관리를 Amazon CloudWatch 제공합니다. 또한 고객은 파트너 AI 앱을 탐색하고에서 기능, 고객 경험 및 요금과 같은 세부 정보를 얻을 수 있습니다 AWS Management Console. 에 대한 자세한 내용은 Amazon CloudWatch 작동 방식을 Amazon CloudWatch참조하세요.
지원되는 유형
파트너 AI 앱은 다음 유형을 지원합니다.
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
관리자가 파트너 AI 앱을 시작할 때 파트너 AI 앱이 시작되는 인스턴스 클러스터의 구성을 선택해야 합니다. 이 구성을 파트너 AI 앱의 티어라고 합니다. 파트너 AI 앱의 티어는 다음 값 중 하나일 수 있습니다.
-
small -
medium -
large
다음 섹션에서는 각 파트너 AI 앱 유형에 대한 정보와 파트너 AI 앱의 티어 값에 대한 세부 정보를 제공합니다.
Comet는 LLM 평가, 실험 추적 및 프로덕션 모니터링을 통해 AI 개발자를 위한 end-to-end 모델 평가 플랫폼을 제공합니다.
워크로드를 기반으로 다음 파트너 AI 앱 티어를 사용하는 것이 좋습니다.
-
small- 최대 5명의 사용자와 20개의 실행 중인 작업에 권장됩니다. -
medium- 최대 50명의 사용자와 100개의 실행 중인 작업에 권장됩니다. -
large- 최대 500명의 사용자와 100개 이상의 실행 중인 작업에 권장됩니다.
참고
SageMaker AI는 Jupyter 노트북 출력의 일부로 Comet UI를 보는 것을 지원하지 않습니다.
AI 애플리케이션 개발자와 이해관계자는 Deepchecks를 사용하여 배포 전 및 내부 실험부터 프로덕션에 이르기까지 전체 수명 주기 동안 특성, 성능 지표 및 잠재적 위험을 포함한 LLM 기반 애플리케이션을 지속적으로 검증할 수 있습니다.
워크로드에 필요한 속도를 기반으로 다음 파트너 AI 앱 티어를 사용하는 것이 좋습니다.
-
small- 초당 200개의 토큰을 처리합니다. -
medium- 초당 500개의 토큰을 처리합니다. -
large- 초당 1,300개의 토큰을 처리합니다.
Fiddler AI 관찰성 플랫폼은 테이블 형식, 딥 러닝, 컴퓨터 비전 및 자연어 처리 모델을 포함하여 프로덕션 환경에서 ML 모델의 검증, 모니터링 및 분석을 용이하게 합니다.
워크로드에 필요한 속도를 기반으로 다음 파트너 AI 앱 티어를 사용하는 것이 좋습니다.
-
small- 5개 모델, 10MM개 기능 및 20회 반복에서 1,000만 개의 이벤트를 처리하는 데 약 53분이 걸립니다. -
medium- 5개 모델, 10MM개 기능 및 20개 반복에서 1,000만 개의 이벤트를 처리하는 데 약 23분이 걸립니다. -
large- 5개 모델, 10MM개 기능 및 100개 반복에서 1,000만 개의 이벤트를 처리하는 데 약 27분이 걸립니다.
Lakera Guard는 생성형 AI 애플리케이션을 생성형 AI 관련 위협으로부터 보호하기 위한 저지연 AI 애플리케이션 방화벽입니다.
워크로드를 기반으로 다음 파트너 AI 앱 계층을 사용하는 것이 좋습니다.
-
small– 최대 20개의 로봇 프로세스 자동화(RPAs)에 권장됩니다. -
medium- 최대 100RPAs에 권장됩니다. -
large– 최대 200RPAs에 권장됩니다.
