Amazon EMR Studio - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon EMR Studio

Amazon EMR Studio 是 Web 型整合式開發環境 (IDE),適用於在 Amazon EMR 叢集上執行的全受管 Jupyter 筆記本。您可以為您的團隊設置 EMR 工作室,以開發,可視化和調試以 R,Python,Scala 和 PySpark編寫的應用程序。EMR Studio 與 AWS Identity and Access Management (IAM) 和 IAM Identity Center 整合,因此使用者可以使用其公司憑證登入。

可以免費建立 EMR Studio。使用 EMR Studio 時,會採用 Amazon S3 儲存和 Amazon EMR 叢集的適用費用。如需產品詳細資訊和重點資訊,請參閱 Amazon EMR Studio 的服務頁面。

EMR Studio 的主要功能

Amazon EMR Studio 提供以下功能:

  • 使用 AWS Identity and Access Management (IAM) 或 AWS IAM Identity Center 對使用者進行身分驗證,無論是否有 Trusted Identity Propagation 和您的企業身分提供者。

  • 視需求存取並啟動 Amazon EMR 叢集,以執行 Jupyter 筆記本作業。

  • 連接到 Amazon EMR on EKS 叢集,以便在作業執行時提交作業。

  • 探索並儲存範例筆記本。如需範例筆記本的詳細資訊,請參閱 EMR Studio 筆記本範例 GitHub 儲存庫

  • 使用 Python,星火斯卡拉 PySpark,星火 R 或 SparkSQL 分析數據,並安裝自定義內核和庫。

  • 與相同 Workspace 中的其他使用者即時協作。如需詳細資訊,請參閱 設定工作區協同合作

  • 在使用筆記本中的資料之前,請先使用 EMR Studio SQL Explorer 來瀏覽資料型錄、執行 SQL 查詢及下載結果。

  • 使用 Apache Airflow 或 Amazon Managed Workflows for Apache Airflow 等協同運作工具,將參數化筆記本作為排程工作流程的一部分執行。如需詳細資訊,請參閱 AWS 大數據部落格中的使用 MWAA 協同運作 EMR Notebooks 上的分析作業

  • 連結程式碼儲存庫,例如 GitHub 和 BitBucket。

  • 使用 Spark History Server、Tez UI 或 YARN Timeline Server 來追蹤和偵錯作業。

EMR Studio 也符合 HIPAA 資格,並且通過 HITRUST CSF 和 SOC 2 的認證。如需有關 AWS 服務的 HIPAA 合規性詳細資訊,請參閱 https://aws.amazon.com/compliance/hipaa-compliance/。若要進一步了解 AWS 服務的 HITRUST CSF 合規性,請參閱 https://aws.amazon.com/compliance/hitrust/。如需有關 AWS 服務的其他合規計畫的詳細資訊,請參閱合規計畫的 AWS 服務範圍

Amazon EMR Studio 功能歷史記錄

此資料表列出 Amazon EMR 受管擴展功能的更新。

版本日期 功能
2024年1月5日

在 AWS GovCloud (美國東部)和 AWS GovCloud (美國西部)中添加了對 EMR 工作室的支持。

2023 年 11 月 26 日

新增了對使用 IAM Identity Center 身分驗證之 EMR Studio Trusted Identity Propagation 的支援。

2023 年 10 月 26 日

提升了能力,可建立具有互動功能的 EMR Serverless 應用程式。

2023 年 2 月 28 日

為 EMR Serverless 應用程式的應用程式日誌儲存新增了 AWS KMS 客戶受管金鑰支援。

2023 年 2 月 23 日

為 EMR Serverless 作業提交新增了一鍵式 IAM 角色建立功能。為 EMR Serverless 應用程式選取自訂映像時,新增了 ECR 查找功能。

2023 年 1 月 27 日

無頭執行筆記本可以使用 %execute_notebook 魔術命令跟蹤每個單元執行的進度。

2023 年 1 月 23 日

持續性應用程式經過優化,可加快啟動時間。