管理 Amazon EMR 工作室 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

管理 Amazon EMR 工作室

本節包含可協助您監視、更新或刪除 EMR Studio 資源的指示。如需有關指派使用者或更新使用者許可的資訊,請參閱 指派和管理EMR工作室使用者

檢視 Studio 詳細資訊

Console
使用新主控台檢視 EMR Studio 的詳細資料
  1. 在以下位置打開 Amazon EMR 控制台 https://console.aws.amazon.com/emr

  2. 在左側導航的「EMR工作室」下,選擇「工作」。

  3. Studio 清單中選取 Studio,以開啟 Studio 詳細資訊頁面。Studio 詳細資料頁面包含 Studio 設定資訊,例如 Studio 描述子網路VPC

CLI

要使用工作室 ID 檢索EMR工作室的詳細信息 AWS CLI

使用下面的describe-studio AWS CLI 命令來獲取有關特定 EMR Studio 的詳細信息。如需詳細資訊,請參閱 AWS CLI 命令參考

aws emr describe-studio \ --studio-id <id-of-studio-to-describe> \

若要使用擷取工EMR作室清單 AWS CLI

使用下列 list-studios AWS CLI 命令。如需詳細資訊,請參閱 AWS CLI 命令參考

aws emr list-studios

以下是以JSON格式表示list-studios命令的傳回值範例。

{ "Studios": [ { "AuthMode": "IAM", "VpcId": "vpc-b21XXXXX", "Name": "example-studio-name", "Url": "https://es-7HWP74SNGDXXXXXXXXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com", "CreationTime": 1605672582.781, "StudioId": "es-7HWP74SNGDXXXXXXXXXXXXXXX", "Description": "example studio description" } ] }

監控 Amazon EMR 工作室行

查看EMR工作室和API活動

EMRStudio 集成了一種服務 AWS CloudTrail,該服務提供了用戶,IAM角色或由 EMR Studio 中的另一個 AWS 服務所採取的操作的記錄。 CloudTrail 將 EMR Studio 的API呼叫擷取為事件。您可以在中使用 CloudTrail主控台檢視事件https://console.aws.amazon.com/cloudtrail/

EMRStudio 事件提供的信息,例如哪個 Studio 或IAM用戶提出請求,以及它是什麼樣的請求。

注意

叢集上的動作 (例如執行中的筆記本作業) 不會發出 AWS CloudTrail。

您也可以建立追蹤,將EMR工作室 CloudTrail 事件持續傳遞到 Amazon S3 儲存貯體。如需詳細資訊,請參閱《AWS CloudTrail 使用者指南》

CloudTrail 事件範例:使用者呼叫 DescribeStudio API

以下是使用者呼叫時所建立的範例 AWS CloudTrail 事件DescribeStudioAPI。admin CloudTrail 將使用者名稱記錄為admin

注意

若要保護 Studio 詳細資料,的 EMR Studio API 事件會 DescribeStudio 排除的值responseElements

{ "eventVersion":"1.08", "userIdentity":{ "type":"IAMUser", "principalId":"AIDXXXXXXXXXXXXXXXXXX", "arn":"arn:aws:iam::653XXXXXXXXX:user/admin", "accountId":"653XXXXXXXXX", "accessKeyId":"AKIAIOSFODNN7EXAMPLE", "userName":"admin" }, "eventTime":"2021-01-07T19:13:58Z", "eventSource":"elasticmapreduce.amazonaws.com", "eventName":"DescribeStudio", "awsRegion":"us-east-1", "sourceIPAddress":"72.XX.XXX.XX", "userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28", "requestParameters":{ "studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX" }, "responseElements":null, "requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "readOnly":true, "eventType":"AwsApiCall", "managementEvent":true, "eventCategory":"Management", "recipientAccountId":"653XXXXXXXXX" }

檢視 Spark 使用者和作業活動

若要檢視 Amazon EMR Studio 使用者的 Spark 任務活動,您可以在叢集上設定使用者模擬。透過使用者模擬,從作業區提交的每個 Spark 作業都會與執行程式碼的 Studio 使用者相關聯。

啟用使用者模擬後,Amazon EMR 會為在 Workspace 中執行程式碼的每個使用HDFS者在叢集的主節點上建立一個使用者目錄。例如,如果使用者 studio-user-1@example.com 執行程式碼,您可以連接到主節點,並看到 hadoop fs -ls /user 具有 studio-user-1@example.com 的目錄。

若要設定 Spark 使用者模擬,請在下列組態分類中設定下列屬性:

  • core-site

  • livy-conf

[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]

若要檢視歷史記錄伺服器頁面,請參閱 使用 EMR Studio 偵錯應用程式和工作。您也可以使用檢視應用程式 Web 介面來連線SSH至叢集的主要節點。如需詳細資訊,請參閱檢視在 Amazon EMR 叢集上託管的網頁界面

更新 Amazon EMR 工作室

建立 EMR Studio 之後,您可以使用更新下列屬性 AWS CLI:

  • 名稱

  • 描述

  • 預設 S3 位置

  • 子網

若要使用更新工EMR作室 AWS CLI

使用指update-studio AWS CLI 令來更新EMR工作室。如需詳細資訊,請參閱 AWS CLI 命令參考

注意

可以將 Studio 與最多 5 個子網路建立關聯。這些子網路必須屬於與 Studio VPC 相同。您提交給update-studio命令IDs的子網路清單可以包含新的子網路IDs,但也必須包含您已與 Studio 相關聯的所有子網路IDs。無法從 Studio 中移除子網路。

aws emr update-studio \ --studio-id <example-studio-id-to-update> \ --name <example-new-studio-name> \ --subnet-ids <old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id> \

若要驗證變更,請使用指describe-studio AWS CLI 令並指定您的 Studio ID。如需詳細資訊,請參閱 AWS CLI 命令參考

aws emr describe-studio \ --studio-id <id-of-updated-studio> \

刪除 Amazon 工作EMR室和工作區

當您刪除 Studio 時,EMRStudio 會刪除與 Studio 相關聯的所有IAM身分識別中心使用者和群組指派。

注意

當您刪除工作室時,Amazon EMR 會刪除與該工作室關聯的工作區。必須在 Studio 中單獨刪除工作區。

刪除工作區

Console

由於每個 EMR Studio 工作區都是EMR筆記本執行個體,因此您可以使用 Amazon EMR 管理主控台刪除工作區。您可以在刪除工作室之前或之後使用 Amazon EMR 主控台刪除工作區

使用 Amazon EMR 主控台刪除工作區
  1. 導覽至新的 Amazon EMR 主控台,然後從側邊導覽選取「切換至舊主控台」。如需有關切換至舊主控台時預期情況的詳細資訊,請參閱使用舊主控台

  2. 選擇筆記本

  3. 選取要刪除的工作區。

  4. 選擇刪除,然後再次選擇刪除以進行確認。

  5. 請遵循《Amazon Simple Storage Service 主控台使用者指南》中的刪除物件說明,從 Amazon S3 中移除與已刪除工作區相關聯的筆記本檔案。

EMR Studio UI
From the Workspace UIFrom the Workspaces list
From the Workspace UI
從 EMR Studio 中刪除工作區及其關聯的備份文件
  1. 使用您的 EMR Studio 存取權限登入您的 Studio,URL然後從左側導覽列中選擇「工作區」。

  2. 在清單中尋找您的工作區,然後選取其名稱旁的核取方塊。可以選取要同時刪除的多個工作區。

  3. 選擇工作區清單右上角的刪除,並確認您要刪除選取的工作區。選擇 Delete (刪除),確認刪除。

  4. 如果要從 Amazon S3 中移除與已刪除工作區相關聯的筆記本檔案,請遵循《Amazon Simple Storage Service 主控台使用者指南》中的刪除物件說明。如果未建立 Studio,請諮詢您的 Studio 管理員,以確定用於已刪除工作區的 Amazon S3 備份位置。

From the Workspaces list
從工作區清單中刪除工作區及其相關聯的備份檔案
  1. 導覽至主控台中的工作區清單。

  2. 從清單中選取要刪除的工作區,然後選擇動作

  3. 選擇 刪除

  4. 如果要從 Amazon S3 中移除與已刪除工作區相關聯的筆記本檔案,請遵循《Amazon Simple Storage Service 主控台使用者指南》中的刪除物件說明。如果未建立 Studio,請諮詢您的 Studio 管理員,以確定用於已刪除工作區的 Amazon S3 備份位置。

刪除EMR工作室

Console
若要使用新主控台刪除 EMR Studio
  1. 在以下位置打開 Amazon EMR 控制台 https://console.aws.amazon.com/emr

  2. 在左側導航的「EMR工作室」下,選擇「工作」。

  3. 切換到 Studio 名稱左側,從 Studio 清單中選擇 Studio。選擇 刪除

Old console
若要使用舊主控台刪除EMR工作室
  1. https://console.aws.amazon.com/elasticmapreduce/家打開 Amazon EMR 控制台。

  2. 從左側導航中選擇「EMR工作室」。

  3. Studio 清單中選擇 Studio,然後選擇刪除

CLI

若要刪除EMR工作室,請使用 AWS CLI

使用指delete-studio AWS CLI 令刪除EMR工作室。如需詳細資訊,請參閱 AWS CLI 命令參考

aws emr delete-studio --studio-id <id-of-studio-to-delete>