本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
監控、更新和刪除 Amazon EMR Studio 資源
本節包含協助您監控、更新或刪除 EMR Studio 資源的指示。如需有關指派使用者或更新使用者許可的資訊,請參閱 指派和管理 EMR Studio 使用者。
檢視 Studio 詳細資訊
監控 Amazon EMR Studio 動作
檢視 EMR Studio 和API活動
EMR Studio 與 整合 AWS CloudTrail,此服務提供使用者、IAM角色或 EMR Studio 中另一個 AWS 服務所採取動作的記錄。 CloudTrail 會將 EMR Studio 的API呼叫擷取為事件。您可以使用 主控台 CloudTrail檢視事件https://console.aws.amazon.com/cloudtrail/
EMR Studio 事件會提供資訊,例如哪些 Studio 或IAM使用者提出請求,以及請求的類型。
注意
叢集上的動作 (例如執行中的筆記本作業) 不會發出 AWS CloudTrail。
您也可以建立追蹤,以將 EMR Studio CloudTrail 事件持續交付至 Amazon S3 儲存貯體。如需詳細資訊,請參閱《AWS CloudTrail 使用者指南》。
範例 CloudTrail 事件:使用者呼叫 DescribeStudio API
以下是當使用者 admin
呼叫 DescribeStudio API. CloudTrail records 使用者名稱為 時所建立的範例 AWS CloudTrail 事件admin
。
注意
為了保護 Studio 詳細資訊, 的 EMR Studio API事件 DescribeStudio 會排除 的值responseElements
。
{
"eventVersion":"1.08",
"userIdentity":{
"type":"IAMUser",
"principalId":"AIDXXXXXXXXXXXXXXXXXX",
"arn":"arn:aws:iam::653XXXXXXXXX:user/admin
",
"accountId":"653XXXXXXXXX",
"accessKeyId":"AKIAIOSFODNN7EXAMPLE",
"userName":"admin
"
},
"eventTime":"2021-01-07T19:13:58Z",
"eventSource":"elasticmapreduce.amazonaws.com",
"eventName":"DescribeStudio",
"awsRegion":"us-east-1",
"sourceIPAddress":"72.XX.XXX.XX",
"userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28",
"requestParameters":{
"studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX"
},
"responseElements":null,
"requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
"eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
"readOnly":true,
"eventType":"AwsApiCall",
"managementEvent":true,
"eventCategory":"Management",
"recipientAccountId":"653XXXXXXXXX"
}
檢視 Spark 使用者和作業活動
若要依 Amazon EMR Studio 使用者檢視 Spark 任務活動,您可以在叢集上設定使用者模擬。透過使用者模擬,從作業區提交的每個 Spark 作業都會與執行程式碼的 Studio 使用者相關聯。
啟用使用者模擬時,Amazon 會在叢集的主要節點上為在工作區中執行程式碼的每個使用者EMR建立使用者HDFS目錄。例如,如果使用者 studio-user-1@example.com
執行程式碼,您可以連接到主節點,並看到 hadoop fs -ls /user
具有 studio-user-1@example.com
的目錄。
若要設定 Spark 使用者模擬,請在下列組態分類中設定下列屬性:
-
core-site
-
livy-conf
[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]
若要檢視歷史記錄伺服器頁面,請參閱 使用 EMR Studio 偵錯應用程式和任務。您也可以使用 連線至叢集的主要節點,SSH以檢視應用程式 Web 介面。如需詳細資訊,請參閱檢視託管在 Amazon EMR叢集上的 Web 介面。
更新 Amazon EMR Studio
建立 EMR Studio 之後,您可以使用 更新下列屬性 AWS CLI:
-
名稱
-
描述
-
預設 S3 位置
-
子網
使用 更新 EMR Studio AWS CLI
使用 update-studio
AWS CLI 命令來更新 EMR Studio。如需詳細資訊,請參閱 AWS CLI 命令參考。
注意
可以將 Studio 與最多 5 個子網路建立關聯。這些子網路必須屬於與 Studio VPC相同的子網路。IDs 您提交至update-studio
命令的子網路清單可包含新的子網路 IDs,但也必須包含您已與 Studio IDs 建立關聯的所有子網路。無法從 Studio 中移除子網路。
aws emr update-studio \ --studio-id
<example-studio-id-to-update>
\ --name<example-new-studio-name>
\ --subnet-ids<old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id>
\
若要驗證變更,請使用 describe-studio
AWS CLI 命令並指定您的 Studio ID。如需詳細資訊,請參閱 AWS CLI 命令參考。
aws emr describe-studio \ --studio-id
<id-of-updated-studio>
\
刪除 Amazon EMR Studio 和 Workspaces
當您刪除 Studio 時,EMRStudio 會刪除與 Studio 相關聯的所有 IAM Identity Center 使用者和群組指派。
注意
當您刪除 Studio 時,Amazon EMR不會刪除與該 Studio 相關聯的工作區。必須在 Studio 中單獨刪除工作區。
刪除工作區
刪除 EMR Studio