기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
SageMaker AI에서 올바른 데이터 준비 도구를 선택하기 위한 권장 사항
기계 학습에서 데이터 준비는 원시 데이터를 수집, 사전 처리 및 구성하여 분석 및 모델링에 적합하게 만드는 프로세스를 말합니다. 이 단계에서는 데이터가 기계 학습 알고리즘이 효과적으로 학습할 수 있는 형식이 되도록 합니다. 데이터 준비 작업에는 누락된 값 처리, 이상치 제거, 특성 규모 조정, 범주형 변수 인코딩, 잠재적 편향 평가 및 완화 조치, 데이터를 훈련 세트와 테스트 세트로 분할, 레이블 지정 및 후속 기계 학습 작업을 위해 데이터의 품질과 유용성을 최적화하는 데 필요한 기타 변환이 포함될 수 있습니다.
기능 선택
Amazon SageMaker AI를 사용한 데이터 준비에는 3가지 주요 사용 사례가 있습니다. 요구 사항에 맞는 사용 사례를 선택한 다음 해당 권장 기능을 참조하세요.
사용 사례
다음은 기계 학습을 위해 데이터 준비를 수행할 때의 주요 사용 사례입니다.
-
사용 사례 1: 시각적 인터페이스를 선호하는 사용자를 위해 SageMaker AI는 환경을 통한 모델 훈련을 위한 기능을 탐색, 준비 및 엔지니어링하는 point-and-click 방법을 제공합니다.
-
사용 사례 2: 데이터 준비에 대한 유연성과 제어를 강화하려는 코딩에 익숙한 사용자를 위해 SageMaker AI는 탐색, 변환 및 기능 엔지니어링을 위해 도구를 코딩 환경에 통합합니다.
-
사용 사례 3: 확장 가능한 데이터 준비에 중점을 둔 사용자를 위해 SageMaker AI는 빅 데이터의 분산 처리를 위해 Hadoop/Spark 에코시스템을 활용하는 서버리스 기능을 제공합니다.
권장 기능
다음 표에는 기계 학습을 위한 각 데이터 준비 사용 사례와 관련된 SageMaker AI 기능의 주요 고려 사항과 장단점이 요약되어 있습니다. 시작하려면 요구 사항에 맞는 사용 사례를 식별하고 권장 SageMaker AI 기능으로 이동합니다.
| 설명자 | 사용 사례 1 | 사용 사례 2 | 사용 사례 3 |
|---|---|---|---|
| SageMaker AI 기능 | Amazon SageMaker Canvas 내의 Data Wrangler | StudioSQL에서를 사용하여 데이터 준비 | Studio 내의 EMR Serverless를 사용하여 데이터 준비 애플리케이션 |
| 설명 | SageMaker Canvas는 SageMaker AI에서 기계 학습 모델을 구축, 훈련 및 배포하기 위한 시각적 로우코드 환경입니다. 통합 Data Wrangler 도구를 사용하면 사용자가 상호 작용을 통해 point-and-click 데이터 세트를 결합, 변환 및 정리할 수 있습니다. | Studio의 SQL 확장을 통해 사용자는 Amazon Redshift, Snowflake, Athena 및 Amazon S3에 연결하여 임시 SQL 쿼리를 작성하고 노트북에서 JupyterLab 결과를 미리 볼 수 있습니다. 이러한 쿼리의 출력은를 사용하여 조작할 수 있습니다.Python and Pandas 기계 학습 모델 개발에 사용할 수 있는 형식으로의 추가 처리, 시각화 및 변환. | EMR Serverless와 Amazon SageMaker Studio 간의 통합은 Apache Spark 및 Apache Hive와 같은 오픈 소스 프레임워크를 사용하여 기계 학습을 위한 대규모 데이터 준비를 위한 확장 가능한 서버리스 환경을 제공합니다. 사용자는 Studio 노트북에서 EMR Serverless 애플리케이션 및 데이터에 직접 액세스하여 대규모로 데이터 준비 작업을 수행할 수 있습니다. |
| 최적화 대상 | 시각적 인터페이스를 사용하여 다음을 수행할 수 있습니다.
누락된 값 처리, 범주형 변수 인코딩, 데이터 변환 적용과 같은 테이블 형식의 데이터 작업에 최적화되었습니다. |
데이터가 Amazon Redshift, Snowflake, Athena 또는 Amazon S3에 상주하고 탐색 SQL 및를 결합하려는 사용자의 경우 Python 학습할 필요 없이 데이터 분석 및 준비 Spark. | SageMaker AI의 기계 학습 기능을 활용하면서 Apache Spark를 중심으로 단기 실행 또는 간헐적 대화형 워크로드를 확장하기 위한 자동 리소스 프로비저닝 및 종료를 통해 서버리스 환경을 선호하는 사용자용입니다. |
| 고려 사항 |
|
|
|
| 권장 환경 | SageMaker Canvas 사용 시작하기 | Studio 시작 | Studio 시작 |
추가 옵션
SageMaker AI는 기계 학습 모델에 사용할 데이터를 준비하기 위한 다음과 같은 추가 옵션을 제공합니다.
-
Amazon을 사용한 데이터 준비 EMR: 오래 실행되고 컴퓨팅 집약적인 대규모 데이터 처리 작업의 경우 SageMaker Studio의 Amazon EMR 클러스터를 사용하는 것이 좋습니다. Amazon EMR 클러스터는 대규모 병렬화를 처리하도록 설계되었으며 수백 또는 수천 개의 노드로 확장할 수 있으므로 Apache Spark, Hadoop, Hive 및 Presto와 같은 프레임워크가 필요한 빅 데이터 워크로드에 적합합니다. Amazon을 SageMaker StudioEMR와 통합하면 Amazon의 확장성과 성능을 활용하는 EMR동시에 SageMaker Studio 환경 내에서 중앙 집중식으로 전체 ML 실험, 모델 훈련 및 배포를 유지할 수 있습니다.
-
풀 대화형 세션을 사용하여 데이터 준비: 대화형 세션의 AWS Glue Apache Spark 기반 서버리스 엔진을 사용하여 SageMaker Studio의 여러 소스에서 데이터를 집계, 변환 및 준비할 수 있습니다.
-
Amazon SageMaker Clarify 처리 작업을 사용하여 훈련 데이터의 편향을 식별: SageMaker Clarify는 데이터를 분석하고 여러 측면에서 잠재적 편향을 감지합니다. 예를 들어 StudioAPI에서 Clarify를 사용하여 훈련 데이터에 성별, 인종 또는 연령과 같은 그룹 간의 불균형한 표현 또는 레이블 지정 편향이 포함되어 있는지 감지할 수 있습니다. Clarify는 편향이 모델의 예측에 전파되지 않도록 모델을 훈련하기 전에 이러한 편향을 식별하는 데 도움이 될 수 있습니다.
-
기능 생성, 저장 및 공유: Amazon SageMaker 특성 저장소는 기계 학습을 위해 선별된 기능의 검색 및 재사용을 최적화합니다. 모델 훈련을 위해 검색 및 가져올 수 있는 특성 데이터를 저장하는 중앙 집중식 리포지토리를 제공합니다. 표준화된 형식으로 특성을 저장하면 여러 ML 프로젝트에서 재사용할 수 있습니다. Feature Store는 확장 가능하고 통제된 기계 학습 특성 엔지니어링을 위한 계보 추적, 통계 및 감사 추적을 포함한 특성의 전체 수명 주기를 관리합니다.
-
로 데이터 레이블 human-in-the-loop 지정: SageMaker Ground Truth를 사용하여 훈련 데이터 세트의 데이터 레이블 지정 워크플로를 관리할 수 있습니다.
-
SageMaker 처리 사용: API탐색 데이터 분석을 수행하고 데이터 변환 단계를 생성한 후 SageMaker AI 처리 작업을 사용하여 변환 코드를 프로덕션화하고 SageMaker 모델 구축 파이프라인을 사용하여 준비 워크플로를 자동화할 수 있습니다.
