Amazon EMR Studio
Amazon EMR Studio는 Amazon EMR 클러스터에서 실행되는 완전관리형 Jupyter Notebook을 위한 웹 기반 통합 개발 환경(IDE)입니다. 팀이 R, Python, Scala 및 PySpark로 작성된 애플리케이션을 개발, 시각화 및 디버깅할 수 있도록 EMR Studio를 설정할 수 있습니다. EMR Studio는 AWS Identity and Access Management(IAM) 및 IAM Identity Center와 통합되므로 사용자는 회사 보안 인증을 사용하여 로그인할 수 있습니다.
EMR Studio를 무료로 생성할 수 있습니다. EMR Studio를 사용할 때 Amazon S3 스토리지 및 Amazon EMR 클러스터에 해당되는 요금이 적용됩니다. 제품 세부 정보 및 주요 내용은 Amazon EMR Studio
EMR Studio의 주요 기능
Amazon EMR Studio는 다음 기능을 제공합니다.
-
AWS Identity and Access Management(IAM) 또는 신뢰할 수 있는 자격 인증 전파 및 엔터프라이즈 ID 공급자 유무와 관계없이 AWS IAM Identity Center을 사용하여 사용자를 인증합니다.
-
온디맨드로 Amazon EMR 클러스터에 액세스하고 해당 클러스터를 시작하여 Jupyter Notebook 작업을 실행합니다.
-
Amazon EMR on EKS 클러스터에 연결하여 작업 실행 시 작업을 제출합니다.
-
예제 노트북을 탐색하고 저장합니다. 예제 노트북에 대한 자세한 내용은 EMR Studio Notebook examples GitHub repository
를 참조하세요. -
Python, PySpark, Spark Scala, Spark R 또는 SparkSQL을 사용하여 데이터를 분석하고 사용자 지정 커널과 라이브러리를 설치합니다.
-
동일한 Workspace에서 다른 사용자와 실시간으로 협업합니다. 자세한 내용은 EMR Studio에서 Workspace 협업 구성 단원을 참조하십시오.
-
노트북에서 데이터에 대한 작업을 수행하기 전에 EMR Studio SQL 탐색기를 사용하여 데이터 카탈로그를 탐색하고, SQL 쿼리를 실행하며, 결과를 다운로드할 수 있습니다.
-
Apache Airflow 또는 Apache Airflow용 Amazon 관리형 워크플로와 같은 오케스트레이션 도구를 사용하여 예약된 워크플로의 일부로 파라미터가 있는 노트북을 실행합니다. 자세한 내용은 AWS 빅 데이터 블로그에서 Orchestrating analytics jobs on EMR Notebooks using MWAA
를 참조하세요. -
GitHub 및 BitBucket과 같은 코드 리포지토리를 연결합니다.
-
Spark 기록 서버, Tez UI 또는 YARN 타임라인 서버를 사용하여 작업을 추적하고 디버깅합니다.
EMR Studio는 HIPAA 자격을 획득했으며 HITRUST CSF 및 SOC 2에 대해서 인증을 받았습니다. AWS 서비스에서 HIPAA 규정 준수에 대한 자세한 내용은 https://aws.amazon.com/compliance/hipaa-compliance/
EMR Studio는 FedRamp도 준수합니다. Amazon EMR이 준수하는 규정 준수 프로그램에 대한 자세한 내용은 Amazon EMR에 대한 규정 준수 검증을 참조하세요. AWS 서비스에서 추가 규정 준수 프로그램에 대한 자세한 내용은 규정 준수 프로그램 제공 범위 내 AWS 서비스
Amazon EMR Studio 기능 기록
이 테이블에는 Amazon EMR Managed Scaling 기능에 대한 업데이트가 나열되어 있습니다.
| 릴리스 날짜 | 기능 |
|---|---|
| 2024년 1월 5일 |
AWS GovCloud(미국 동부) 및 AWS GovCloud(미국 서부)에서 EMR Studio에 대한 지원을 추가했습니다. |
| 2023년 11월 26일 |
IAM 자격 증명 센터 인증이 가능한 EMR Studio의 신뢰할 수 있는 자격 지원 전파에 대한 지원이 추가되었습니다. |
| 2023년 10월 26일 |
대화형 기능을 갖춘 EMR Serverless 애플리케이션을 생성하는 기능이 추가되었습니다. |
| 2023년 2월 28일 |
EMR Serverless 애플리케이션의 애플리케이션 로그 스토리지에 대한 AWS KMS 고객 관리형 키 지원이 추가되었습니다. |
| 2023년 2월 23일 |
EMR Serverless 작업 제출을 위해 원클릭 IAM 역할 생성 기능이 추가되었습니다. EMR Serverless 애플리케이션의 사용자 지정 이미지를 선택할 때 사용할 수 있는 ECR 조회 기능이 추가되었습니다. |
| 2023년 1월 27일 |
헤드리스 실행 노트북은 |
| 2023년 1월 23일 |
영구 애플리케이션은 시작 시간을 단축하도록 최적화되었습니다. |
