本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
管理 Amazon EMR 工作室
本節包含可協助您監視、更新或刪除 EMR Studio 資源的指示。如需有關指派使用者或更新使用者許可的資訊,請參閱 指派和管理EMR工作室使用者。
檢視 Studio 詳細資訊
監控 Amazon EMR 工作室行
查看EMR工作室和API活動
EMRStudio 集成了一種服務 AWS CloudTrail,該服務提供了用戶,IAM角色或由 EMR Studio 中的另一個 AWS 服務所採取的操作的記錄。 CloudTrail 將 EMR Studio 的API呼叫擷取為事件。您可以在中使用 CloudTrail主控台檢視事件https://console.aws.amazon.com/cloudtrail/
EMRStudio 事件提供的信息,例如哪個 Studio 或IAM用戶提出請求,以及它是什麼樣的請求。
注意
叢集上的動作 (例如執行中的筆記本作業) 不會發出 AWS CloudTrail。
您也可以建立追蹤,將EMR工作室 CloudTrail 事件持續傳遞到 Amazon S3 儲存貯體。如需詳細資訊,請參閱《AWS CloudTrail 使用者指南》。
CloudTrail 事件範例:使用者呼叫 DescribeStudio API
以下是使用者呼叫時所建立的範例 AWS CloudTrail 事件DescribeStudioAPI。admin
CloudTrail 將使用者名稱記錄為admin
。
注意
若要保護 Studio 詳細資料,的 EMR Studio API 事件會 DescribeStudio 排除的值responseElements
。
{
"eventVersion":"1.08",
"userIdentity":{
"type":"IAMUser",
"principalId":"AIDXXXXXXXXXXXXXXXXXX",
"arn":"arn:aws:iam::653XXXXXXXXX:user/admin
",
"accountId":"653XXXXXXXXX",
"accessKeyId":"AKIAIOSFODNN7EXAMPLE",
"userName":"admin
"
},
"eventTime":"2021-01-07T19:13:58Z",
"eventSource":"elasticmapreduce.amazonaws.com",
"eventName":"DescribeStudio",
"awsRegion":"us-east-1",
"sourceIPAddress":"72.XX.XXX.XX",
"userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28",
"requestParameters":{
"studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX"
},
"responseElements":null,
"requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
"eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
"readOnly":true,
"eventType":"AwsApiCall",
"managementEvent":true,
"eventCategory":"Management",
"recipientAccountId":"653XXXXXXXXX"
}
檢視 Spark 使用者和作業活動
若要檢視 Amazon EMR Studio 使用者的 Spark 任務活動,您可以在叢集上設定使用者模擬。透過使用者模擬,從作業區提交的每個 Spark 作業都會與執行程式碼的 Studio 使用者相關聯。
啟用使用者模擬後,Amazon EMR 會為在 Workspace 中執行程式碼的每個使用HDFS者在叢集的主節點上建立一個使用者目錄。例如,如果使用者 studio-user-1@example.com
執行程式碼,您可以連接到主節點,並看到 hadoop fs -ls /user
具有 studio-user-1@example.com
的目錄。
若要設定 Spark 使用者模擬,請在下列組態分類中設定下列屬性:
-
core-site
-
livy-conf
[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]
若要檢視歷史記錄伺服器頁面,請參閱 使用 EMR Studio 偵錯應用程式和工作。您也可以使用檢視應用程式 Web 介面來連線SSH至叢集的主要節點。如需詳細資訊,請參閱檢視在 Amazon EMR 叢集上託管的網頁界面。
更新 Amazon EMR 工作室
建立 EMR Studio 之後,您可以使用更新下列屬性 AWS CLI:
-
名稱
-
描述
-
預設 S3 位置
-
子網
若要使用更新工EMR作室 AWS CLI
使用指update-studio
AWS CLI 令來更新EMR工作室。如需詳細資訊,請參閱 AWS CLI 命令參考。
注意
可以將 Studio 與最多 5 個子網路建立關聯。這些子網路必須屬於與 Studio VPC 相同。您提交給update-studio
命令IDs的子網路清單可以包含新的子網路IDs,但也必須包含您已與 Studio 相關聯的所有子網路IDs。無法從 Studio 中移除子網路。
aws emr update-studio \ --studio-id
<example-studio-id-to-update>
\ --name<example-new-studio-name>
\ --subnet-ids<old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id>
\
若要驗證變更,請使用指describe-studio
AWS CLI 令並指定您的 Studio ID。如需詳細資訊,請參閱 AWS CLI 命令參考。
aws emr describe-studio \ --studio-id
<id-of-updated-studio>
\
刪除 Amazon 工作EMR室和工作區
當您刪除 Studio 時,EMRStudio 會刪除與 Studio 相關聯的所有IAM身分識別中心使用者和群組指派。
注意
當您刪除工作室時,Amazon EMR 不會刪除與該工作室關聯的工作區。必須在 Studio 中單獨刪除工作區。
刪除工作區
刪除EMR工作室