本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon EMR Studio
Amazon EMR Studio 是 Web 型整合式開發環境 (IDE),適用於在 Amazon EMR 叢集上執行的全受管 Jupyter 筆記本。您可以為您的團隊設置 EMR 工作室,以開發,可視化和調試以 R,Python,Scala 和 PySpark編寫的應用程序。EMR Studio 與 AWS Identity and Access Management (IAM) 和 IAM Identity Center 整合,因此使用者可以使用其公司憑證登入。
可以免費建立 EMR Studio。使用 EMR Studio 時,會採用 Amazon S3 儲存和 Amazon EMR 叢集的適用費用。如需產品詳細資訊和重點資訊,請參閱 Amazon EMR Studio
EMR Studio 的主要功能
Amazon EMR Studio 提供以下功能:
-
使用 AWS Identity and Access Management (IAM) 或 AWS IAM Identity Center 對使用者進行身分驗證,無論是否有 Trusted Identity Propagation 和您的企業身分提供者。
-
視需求存取並啟動 Amazon EMR 叢集,以執行 Jupyter 筆記本作業。
-
連接到 Amazon EMR on EKS 叢集,以便在作業執行時提交作業。
-
探索並儲存範例筆記本。如需範例筆記本的詳細資訊,請參閱 EMR Studio 筆記本範例 GitHub 儲存庫
。 -
使用 Python,星火斯卡拉 PySpark,星火 R 或 SparkSQL 分析數據,並安裝自定義內核和庫。
-
與相同 Workspace 中的其他使用者即時協作。如需詳細資訊,請參閱 設定工作區協同合作。
-
在使用筆記本中的資料之前,請先使用 EMR Studio SQL Explorer 來瀏覽資料型錄、執行 SQL 查詢及下載結果。
-
使用 Apache Airflow 或 Amazon Managed Workflows for Apache Airflow 等協同運作工具,將參數化筆記本作為排程工作流程的一部分執行。如需詳細資訊,請參閱 AWS 大數據部落格中的使用 MWAA 協同運作 EMR Notebooks 上的分析作業
。 -
連結程式碼儲存庫,例如 GitHub 和 BitBucket。
-
使用 Spark History Server、Tez UI 或 YARN Timeline Server 來追蹤和偵錯作業。
EMR Studio 也符合 HIPAA 資格,並且通過 HITRUST CSF 和 SOC 2 的認證。如需有關 AWS 服務的 HIPAA 合規性詳細資訊,請參閱 https://aws.amazon.com/compliance/hipaa-compliance/
Amazon EMR Studio 功能歷史記錄
此資料表列出 Amazon EMR 受管擴展功能的更新。
版本日期 | 功能 |
---|---|
2024年1月5日 |
在 AWS GovCloud (美國東部)和 AWS GovCloud (美國西部)中添加了對 EMR 工作室的支持。 |
2023 年 11 月 26 日 |
新增了對使用 IAM Identity Center 身分驗證之 EMR Studio Trusted Identity Propagation 的支援。 |
2023 年 10 月 26 日 |
提升了能力,可建立具有互動功能的 EMR Serverless 應用程式。 |
2023 年 2 月 28 日 |
為 EMR Serverless 應用程式的應用程式日誌儲存新增了 AWS KMS 客戶受管金鑰支援。 |
2023 年 2 月 23 日 |
為 EMR Serverless 作業提交新增了一鍵式 IAM 角色建立功能。為 EMR Serverless 應用程式選取自訂映像時,新增了 ECR 查找功能。 |
2023 年 1 月 27 日 |
無頭執行筆記本可以使用 |
2023 年 1 月 23 日 |
持續性應用程式經過優化,可加快啟動時間。 |