Amazon SageMaker AI 기능

Amazon 내에서 SageMaker HyperPod 또는 SageMaker 훈련 작업으로 레시피를 실행할 수 있습니다. HyperPod 훈련 어댑터를 프레임워크로 사용하여 훈련 워크플로를 실행할 end-to-end 수 있습니다. 훈련 어댑터는 NVIDIA NeMo 프레임워크 및 Neuronx 분산 훈련 패키지를 기반으로 합니다.

Amazon SageMaker Studio에서는 클러스터에서 HyperPod 기계 학습 워크로드를 시작하고 HyperPod 클러스터 정보를 볼 수 있습니다. 클러스터 세부 정보 및 하드웨어 지표에 대한 가시성이 향상되면 팀이 훈련 전 또는 미세 조정 워크로드에 적합한 후보를 식별하는 데 도움이 될 수 있습니다.

Amazon SageMaker HyperPod 작업 거버넌스는 리소스 할당을 간소화하고 Amazon EKS 클러스터의 팀 및 프로젝트에서 컴퓨팅 리소스를 효율적으로 활용하도록 설계된 강력한 관리 시스템입니다. 또한 HyperPod 작업 거버넌스는 Amazon EKS 클러스터 관찰성을 제공하여 클러스터 용량, 컴퓨팅 가용성 및 사용량, 팀 할당 및 사용률, 작업 실행 및 대기 시간 정보에 대한 실시간 가시성을 제공합니다.

Amazon SageMaker 파트너 AI 앱을 사용하면 사용자는 업계 최고의 애플리케이션 공급자가 구축, 게시 및 배포한 생성형 인공 지능(AI) 및 기계 학습(ML) 개발 애플리케이션에 액세스할 수 있습니다. 파트너 AI 앱은 SageMaker AI에서 실행되도록 인증되었습니다. Partner AI 앱을 사용하면 사용자는 신뢰할 수 있는 보안 구성 내에 완전히 유지되고 타사와 공유되지 않는 민감한 데이터의 보안을 손상시키지 않고 파운데이션 모델(FM) 및 클래식 ML 모델을 기반으로 솔루션을 구축하는 방법을 가속화하고 개선할 수 있습니다.

기계 학습 문제를 해결하는 데 있어 생성형 AI 지원을 위해 자연어를 사용하여 Amazon SageMaker Canvas의 Amazon Q 개발자와 채팅할 수 있습니다. Q Developer와 대화하여 기계 학습 워크플로의 단계에 대해 논의하고 데이터 변환, 모델 구축 및 배포와 같은 Canvas 기능을 활용할 수 있습니다.

Amazon SageMaker 훈련 계획은 훈련 작업 및 HyperPod 클러스터에서 실행되는 대규모 AI 모델 SageMaker 훈련 워크로드를 위해 설계된 컴퓨팅 예약 기능입니다. 지정된 타임라인 내에 수요가 많은 GPU가속 컴퓨팅 리소스에 대한 예측 가능한 액세스를 제공합니다. 원하는 타임라인, 기간 및 최대 컴퓨팅 리소스를 지정할 수 있으며 SageMaker 훈련 계획은 인프라 설정, 워크로드 실행 및 장애 복구를 자동으로 관리합니다. 이를 통해 예측 가능한 비용 모델을 사용하여 미션 크리티컬 AI 프로젝트를 효율적으로 계획하고 실행할 수 있습니다.

코딩 경험이 없는 사용자도 모델을 구축하고 모델을 사용하여 예측할 수 있는 기능을 제공하는 자동 ML 서비스입니다.

Code Editor는 Visual Studio Code - Open Source('Code-OSS')를 기반으로 환경에서 분석 및 기계 학습 코드를 작성, 테스트, 디버깅 및 실행할 수 있도록 Studio를 확장합니다.

지리 공간 데이터를 사용하여 ML 모델을 구축, 훈련 및 배포할 수 있습니다.

Amazon SageMaker HyperPod 은 복원력이 뛰어난 클러스터에 상시 작동하는 기계 학습 환경을 제공하는 SageMaker AI의 기능으로, 대규모 언어 모델(LLMs) 및 확산 모델과 같은 대규모 기계 학습 모델을 개발하기 위해 모든 기계 학습 워크로드를 실행할 수 있습니다.

JupyterLab Studio에서 Studio 노트북의 지연 시간과 안정성 향상

Studio는 ML 워크플로를 실행하기 위한 최신 웹 기반 환경입니다. Studio는 Code EditorIDEs, 새로운 Jupyterlab 애플리케이션, RStudio및 Studio Classic을 포함한 제품군을 제공합니다.

사용자가 동일한 애플리케이션에서 모델을 모두 빌드, 훈련, 배포 및 분석할 수 있는 통합 기계 학습 환경입니다.

오픈 소스를 기반으로 환경의 AWS 컴퓨팅 리소스에 대한 액세스 권한을 고객에게 제공하는 무료 서비스입니다 JupyterLab.

콘솔, 직접 코드 실행을 지원하는 구문 강조 편집기, 플로팅, 기록, 디버깅 및 작업 공간 관리를 위한 도구를 갖춘 R용 통합 개발 환경입니다.

ML 예측을 사람이 검토하는 데 필요한 워크플로를 구축합니다. Amazon A2I는 모든 개발자에게 사람 검토 기능을 제공하여 사람 검토 시스템을 구축하거나 많은 수의 사람 검토자를 관리하는 것과 관련된 차별화되지 않은 힘든 일을 제거합니다.

Pipelines에서 모델을 자동으로 훈련시키는 AutoML 작업을 생성합니다.

기계 학습 지식이 없는 사용자도 분류 및 회귀 모델을 신속하게 구축할 수 있습니다.

데이터세트를 사전 처리하고, 영구 엔드포인트가 필요하지 않을 때 추론을 실행하며, 결과 해석을 지원하기 위해 입력 레코드를 추론과 연관시킵니다.

잠재적 편향을 감지하여 기계 학습 모델을 개선하고 모델이 제시하는 예측을 설명하는 데 도움을 줍니다.

공유 공간은 공유 JupyterServer 애플리케이션과 공유 디렉터리로 구성됩니다. Amazon SageMaker AI 도메인의 모든 사용자 프로필은 도메인의 모든 공유 공간에 액세스할 수 있습니다.

SageMaker Studio에서 데이터를 가져오고, 분석하고, 준비하고, 특성화합니다. 사용자는 Data Wrangler를 기계 학습 워크플로에 통합하여 코딩을 거의 또는 전혀 사용하지 않고도 데이터 사전 처리 및 특성 추출을 단순화하고 간소화할 수 있습니다. 사용자는 나만의 Python 스크립트와 변환을 추가하여 데이터 준비 워크플로를 사용자 지정할 수도 있습니다.

데이터와 상호 작용하고, 시각화하고, 실행 가능한 인사이트를 탐색하고, 데이터 품질 문제를 해결합니다.

훈련 프로세스 전반에 걸쳐 훈련 파라미터 및 데이터를 검사합니다. 파라미터 값이 너무 크거나 작아지는 등 일반적으로 발생하는 오류를 자동으로 감지하여 사용자에게 알립니다.

엣지 디바이스용 사용자 지정 모델을 최적화하고, 플릿을 생성 및 관리하고, 효율적인 런타임으로 모델을 실행합니다.

실험 관리 및 추적. 사용자는 추적된 데이터를 사용하여 실험을 재구성하고, 동료들이 수행한 실험을 기반으로 점진적으로 빌드를 수행하며,, 규정 준수 및 감사 검증을 위해 모델 계통을 추적할 수 있습니다.

기능 및 관련 메타데이터를 위한 중앙 집중식 스토어로 기능을 쉽게 검색하고 재사용할 수 있습니다. 사용자는 온라인 저장소와 오프라인 저장소의 두 가지 유형을 생성할 수 있습니다. 온라인 저장소는 지연 시간이 짧은 실시간 추론 사용 사례에 사용할 수 있으며 오프라인 저장소는 훈련 및 일괄 추론에 사용할 수 있습니다.

기계 학습과 함께 작업자를 사용하여 레이블이 지정된 데이터세트를 생성하는 고품질 훈련 데이터세트입니다.

레이블링 애플리케이션을 구축하고 레이블링 인력을 직접 관리할 필요 없이 고품질 훈련 데이터세트를 만들 수 있는 턴키 데이터 레이블링 기능입니다.

ML 모델 및 워크로드를 사용하기 위한 추론 인스턴스 유형 및 구성(예: 인스턴스 수, 컨테이너 파라미터, 모델 최적화)에 대한 추천을 받을 수 있습니다.

모델 서빙 인프라의 성능을 현재 배포된 인프라와 비교하여 모델 서빙 인프라의 변경 사항을 평가합니다.

배포 가능한 엄선된 원클릭 솔루션, 예제 노트북 및 사전 훈련된 모델을 통해 SageMaker AI 기능과 기능에 대해 알아봅니다. 사용자는 모델을 미세 조정하고 배포할 수도 있습니다.

머신 러닝 워크플로의 계보를 추적합니다.

SageMaker AI 작업과 직접 통합된 기계 학습 파이프라인을 생성하고 관리합니다.

ML 모델에 대한 정보를 한 곳에 문서화하여 ML 주명 주기 전반에 걸쳐 간소화된 거버넌스 및 보고를 수행할 수 있습니다.

계정의 모든 모델에 대해 사전 구축된 시각적인 개요를 제공합니다. 모델 대시보드는 SageMaker 모델 모니터, 변환 작업, 엔드포인트, 계보 추적 등의 정보를 통합하여 하나의 통합 보기에서 상위 수준 모델 정보에 액세스하고 모델 성능을 추적할 CloudWatch 수 있습니다.

프로덕션 단계(엔드포인트)의 모델을 모니터링 및 분석하여 모델 품질의 데이터 드리프트 및 편차를 감지합니다.

기계 학습 모델 배포를 위한 버전 관리, 아티팩트 및 계보 추적, 승인 워크플로, 계정 간 지원.

기계 학습 모델을 한 번 훈련한 다음, 클라우드와 에지 어디에서나 실행합니다.

SageMaker Studio 노트북을 대화형이 아닌 예약된 작업으로 실행합니다.

데이터를 분석 및 사전 처리하고, 특성 추출 문제를 해결하며, 모델을 평가합니다.

SageMaker 프로젝트를 사용하여 CI/CD로 ML 솔루션을 생성합니다 end-to-end.

행동의 결과로 에이전트가 받게 되는 장기 보상을 극대화합니다.

관리자는 사용자 지정 및 사전 구성된 페르소나 기반 IAM 역할을 사용하여 일반적인 ML 활동에 대한 최소 권한 권한을 정의할 수 있습니다.

ML 모델 호스팅을 위한 서버리스 엔드포인트 옵션입니다. 엔드포인트 트래픽을 처리하기 위해 용량을 자동으로 확장합니다. 인스턴스 유형을 선택하거나 엔드포인트에서 크기 조정 정책을 관리할 필요가 없습니다.

Git 리포지토리URL의를 입력하고, 환경에 복제하고, 변경 사항을 푸시하고, 커밋 기록을 보는 Git 확장입니다.

AWS IAM Identity Center (IAM Identity Center) 통합, 빠른 시작 시간 및 원클릭 공유를 포함하는 차세대 SageMaker 노트북입니다.

SageMaker Studio에서 직접 단일 계정 및 교차 계정 구성으로 Amazon EMR 클러스터를 쉽게 검색, 연결, 생성, 종료 및 관리합니다.

SageMaker AI에서 관리하는 확장 가능한 GPU 인스턴스에서 딥 러닝 모델을 더 빠르게 훈련합니다.