監控、更新和刪除 Amazon EMR Studio 資源 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

監控、更新和刪除 Amazon EMR Studio 資源

本節包含協助您監控、更新或刪除 EMR Studio 資源的指示。如需有關指派使用者或更新使用者許可的資訊,請參閱 指派和管理 EMR Studio 使用者

檢視 Studio 詳細資訊

Console
若要使用新主控台檢視 EMR Studio 的詳細資訊
  1. https://console.aws.amazon.com/emr 開啟 Amazon EMR主控台。

  2. 在左側導覽的 EMR Studio 下,選擇 Studios

  3. Studio 清單中選取 Studio,以開啟 Studio 詳細資訊頁面。Studio 詳細資訊頁面包含 Studio 設定資訊,例如 Studio 描述 VPC、 和子網路

CLI

使用 依 EMR Studio ID 擷取 Studio 的詳細資訊 AWS CLI

使用下列describe-studio AWS CLI 命令來擷取特定 EMR Studio 的詳細資訊。如需詳細資訊,請參閱 AWS CLI 命令參考

aws emr describe-studio \ --studio-id <id-of-studio-to-describe> \

使用 擷取 EMR Studio 的清單 AWS CLI

使用下列 list-studios AWS CLI 命令。如需詳細資訊,請參閱 AWS CLI 命令參考

aws emr list-studios

以下是 list-studios命令的JSON格式範例傳回值。

{ "Studios": [ { "AuthMode": "IAM", "VpcId": "vpc-b21XXXXX", "Name": "example-studio-name", "Url": "https://es-7HWP74SNGDXXXXXXXXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com", "CreationTime": 1605672582.781, "StudioId": "es-7HWP74SNGDXXXXXXXXXXXXXXX", "Description": "example studio description" } ] }

監控 Amazon EMR Studio 動作

檢視 EMR Studio 和API活動

EMR Studio 與 整合 AWS CloudTrail,此服務提供使用者、IAM角色或 EMR Studio 中另一個 AWS 服務所採取動作的記錄。 CloudTrail 會將 EMR Studio 的API呼叫擷取為事件。您可以使用 主控台 CloudTrail檢視事件https://console.aws.amazon.com/cloudtrail/

EMR Studio 事件會提供資訊,例如哪些 Studio 或IAM使用者提出請求,以及請求的類型。

注意

叢集上的動作 (例如執行中的筆記本作業) 不會發出 AWS CloudTrail。

您也可以建立追蹤,以將 EMR Studio CloudTrail 事件持續交付至 Amazon S3 儲存貯體。如需詳細資訊,請參閱《AWS CloudTrail 使用者指南》

範例 CloudTrail 事件:使用者呼叫 DescribeStudio API

以下是當使用者 admin呼叫 DescribeStudio API. CloudTrail records 使用者名稱為 時所建立的範例 AWS CloudTrail 事件admin

注意

為了保護 Studio 詳細資訊, 的 EMR Studio API事件 DescribeStudio 會排除 的值responseElements

{ "eventVersion":"1.08", "userIdentity":{ "type":"IAMUser", "principalId":"AIDXXXXXXXXXXXXXXXXXX", "arn":"arn:aws:iam::653XXXXXXXXX:user/admin", "accountId":"653XXXXXXXXX", "accessKeyId":"AKIAIOSFODNN7EXAMPLE", "userName":"admin" }, "eventTime":"2021-01-07T19:13:58Z", "eventSource":"elasticmapreduce.amazonaws.com", "eventName":"DescribeStudio", "awsRegion":"us-east-1", "sourceIPAddress":"72.XX.XXX.XX", "userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28", "requestParameters":{ "studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX" }, "responseElements":null, "requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "readOnly":true, "eventType":"AwsApiCall", "managementEvent":true, "eventCategory":"Management", "recipientAccountId":"653XXXXXXXXX" }

檢視 Spark 使用者和作業活動

若要依 Amazon EMR Studio 使用者檢視 Spark 任務活動,您可以在叢集上設定使用者模擬。透過使用者模擬,從作業區提交的每個 Spark 作業都會與執行程式碼的 Studio 使用者相關聯。

啟用使用者模擬時,Amazon 會在叢集的主要節點上為在工作區中執行程式碼的每個使用者EMR建立使用者HDFS目錄。例如,如果使用者 studio-user-1@example.com 執行程式碼,您可以連接到主節點,並看到 hadoop fs -ls /user 具有 studio-user-1@example.com 的目錄。

若要設定 Spark 使用者模擬,請在下列組態分類中設定下列屬性:

  • core-site

  • livy-conf

[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]

若要檢視歷史記錄伺服器頁面,請參閱 使用 EMR Studio 偵錯應用程式和任務。您也可以使用 連線至叢集的主要節點,SSH以檢視應用程式 Web 介面。如需詳細資訊,請參閱檢視託管在 Amazon EMR叢集上的 Web 介面

更新 Amazon EMR Studio

建立 EMR Studio 之後,您可以使用 更新下列屬性 AWS CLI:

  • 名稱

  • 描述

  • 預設 S3 位置

  • 子網

使用 更新 EMR Studio AWS CLI

使用 update-studio AWS CLI 命令來更新 EMR Studio。如需詳細資訊,請參閱 AWS CLI 命令參考

注意

可以將 Studio 與最多 5 個子網路建立關聯。這些子網路必須屬於與 Studio VPC相同的子網路。IDs 您提交至update-studio命令的子網路清單可包含新的子網路 IDs,但也必須包含您已與 Studio IDs 建立關聯的所有子網路。無法從 Studio 中移除子網路。

aws emr update-studio \ --studio-id <example-studio-id-to-update> \ --name <example-new-studio-name> \ --subnet-ids <old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id> \

若要驗證變更,請使用 describe-studio AWS CLI 命令並指定您的 Studio ID。如需詳細資訊,請參閱 AWS CLI 命令參考

aws emr describe-studio \ --studio-id <id-of-updated-studio> \

刪除 Amazon EMR Studio 和 Workspaces

當您刪除 Studio 時,EMRStudio 會刪除與 Studio 相關聯的所有 IAM Identity Center 使用者和群組指派。

注意

當您刪除 Studio 時,Amazon EMR不會刪除與該 Studio 相關聯的工作區。必須在 Studio 中單獨刪除工作區。

刪除工作區

Console

由於每個 EMR Studio Workspace 都是EMR筆記本執行個體,因此您可以使用 Amazon EMR管理主控台來刪除 Workspaces。您可以在刪除 Studio 之前或之後使用 Amazon EMR主控台刪除 Workspaces

使用 Amazon EMR主控台刪除工作區
  1. 導覽至新的 Amazon EMR主控台,然後從側邊導覽選取切換至舊主控台。如需有關切換至舊主控台時預期情況的詳細資訊,請參閱使用舊主控台

  2. 選擇筆記本

  3. 選取要刪除的工作區。

  4. 選擇刪除,然後再次選擇刪除以進行確認。

  5. 請遵循《Amazon Simple Storage Service 主控台使用者指南》中的刪除物件說明,從 Amazon S3 中移除與已刪除工作區相關聯的筆記本檔案。

EMR Studio UI
From the Workspace UIFrom the Workspaces list
From the Workspace UI
從 EMR Studio 刪除工作區及其相關聯的備份檔案
  1. 使用 EMR Studio 存取權登入您的 StudioURL,然後從左側導覽中選擇工作區

  2. 在清單中尋找您的工作區,然後選取其名稱旁的核取方塊。可以選取要同時刪除的多個工作區。

  3. 選擇工作區清單右上角的刪除,並確認您要刪除選取的工作區。選擇 Delete (刪除),確認刪除。

  4. 如果要從 Amazon S3 中移除與已刪除工作區相關聯的筆記本檔案,請遵循《Amazon Simple Storage Service 主控台使用者指南》中的刪除物件說明。如果未建立 Studio,請諮詢您的 Studio 管理員,以確定用於已刪除工作區的 Amazon S3 備份位置。

From the Workspaces list
從工作區清單中刪除工作區及其相關聯的備份檔案
  1. 導覽至主控台中的工作區清單。

  2. 從清單中選取要刪除的工作區,然後選擇動作

  3. 選擇 刪除

  4. 如果要從 Amazon S3 中移除與已刪除工作區相關聯的筆記本檔案,請遵循《Amazon Simple Storage Service 主控台使用者指南》中的刪除物件說明。如果未建立 Studio,請諮詢您的 Studio 管理員,以確定用於已刪除工作區的 Amazon S3 備份位置。

刪除 EMR Studio

Console
使用新主控台刪除 EMR Studio
  1. https://console.aws.amazon.com/emr 開啟 Amazon EMR主控台。

  2. 在左側導覽的 EMR Studio 下,選擇 Studios

  3. 切換到 Studio 名稱左側,從 Studio 清單中選擇 Studio。選擇 刪除

Old console
刪除具有舊主控台的 EMR Studio
  1. 開啟https://console.aws.amazon.com/elasticmapreduce/位於首頁 的 Amazon EMR主控台。

  2. 從左側導覽中選擇 EMR Studio

  3. Studio 清單中選擇 Studio,然後選擇刪除

CLI

若要使用 刪除 EMR Studio AWS CLI

使用 delete-studio AWS CLI 命令刪除 EMR Studio。如需詳細資訊,請參閱 AWS CLI 命令參考

aws emr delete-studio --studio-id <id-of-studio-to-delete>