本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
監控、更新和刪除 Amazon EMR Studio 資源
本節包含協助您監控、更新或刪除 EMR Studio 資源的指示。如需有關指派使用者或更新使用者許可的資訊,請參閱 指派和管理 EMR Studio 使用者。
檢視 Studio 詳細資訊
監控 Amazon EMR Studio 動作
檢視 EMR Studio 和API活動
EMR Studio 已與 整合 AWS CloudTrail,此服務提供使用者、IAM角色或 EMR Studio AWS 中其他服務所採取動作的記錄。 會將 EMR Studio 的API呼叫 CloudTrail 擷取為事件。您可以使用 主控台 CloudTrail檢視事件https://console.aws.amazon.com/cloudtrail/
EMR Studio 事件提供資訊,例如哪些 Studio 或IAM使用者發出請求,以及該請求的類型。
注意
叢集上的動作 (例如執行中的筆記本作業) 不會發出 AWS CloudTrail。
您也可以建立追蹤,以持續將 EMR Studio CloudTrail 事件交付至 Amazon S3 儲存貯體。如需詳細資訊,請參閱《AWS CloudTrail使用者指南》。
範例 CloudTrail 事件:使用者呼叫 DescribeStudio API
以下是當使用者 admin
呼叫 DescribeStudio 時建立的範例 AWS CloudTrail 事件API。 會將使用者名稱 CloudTrail 記錄為 admin
。
注意
為了保護 Studio 詳細資訊, 的 EMR Studio API事件 DescribeStudio 會排除 的值responseElements
。
{
"eventVersion":"1.08",
"userIdentity":{
"type":"IAMUser",
"principalId":"AIDXXXXXXXXXXXXXXXXXX",
"arn":"arn:aws:iam::653XXXXXXXXX:user/admin
",
"accountId":"653XXXXXXXXX",
"accessKeyId":"AKIAIOSFODNN7EXAMPLE",
"userName":"admin
"
},
"eventTime":"2021-01-07T19:13:58Z",
"eventSource":"elasticmapreduce.amazonaws.com",
"eventName":"DescribeStudio",
"awsRegion":"us-east-1",
"sourceIPAddress":"72.XX.XXX.XX",
"userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28",
"requestParameters":{
"studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX"
},
"responseElements":null,
"requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
"eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
"readOnly":true,
"eventType":"AwsApiCall",
"managementEvent":true,
"eventCategory":"Management",
"recipientAccountId":"653XXXXXXXXX"
}
檢視 Spark 使用者和作業活動
若要依 Amazon EMR Studio 使用者檢視 Spark 任務活動,您可以在叢集上設定使用者模擬。透過使用者模擬,從作業區提交的每個 Spark 作業都會與執行程式碼的 Studio 使用者相關聯。
啟用使用者模擬時,Amazon 會在叢集的主要節點上為在工作區中執行程式碼的每個使用者EMR建立使用者HDFS目錄。例如,如果使用者 studio-user-1@example.com
執行程式碼,您可以連接到主節點,並看到 hadoop fs -ls /user
具有 studio-user-1@example.com
的目錄。
若要設定 Spark 使用者模擬,請在下列組態分類中設定下列屬性:
-
core-site
-
livy-conf
[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]
若要檢視歷史記錄伺服器頁面,請參閱 使用 EMR Studio 偵錯應用程式和任務。您也可以使用 連線至叢集的主要節點SSH,以檢視應用程式 Web 介面。如需詳細資訊,請參閱檢視 Amazon EMR叢集上託管的 Web 介面。
更新 Amazon EMR Studio
建立 EMR Studio 之後,您可以使用 更新下列屬性 AWS CLI:
-
名稱
-
描述
-
預設 S3 位置
-
子網路
使用 更新 EMR Studio AWS CLI
使用 update-studio
AWS CLI 命令來更新 EMR Studio。如需詳細資訊,請參閱 AWS CLI 命令參考。
注意
可以將 Studio 與最多 5 個子網路建立關聯。這些子網路必須屬於與 Studio VPC相同的子網路。IDs 您提交至update-studio
命令的子網路清單可包含新的子網路 IDs,但也必須包含您已與 Studio IDs 建立關聯的所有子網路。無法從 Studio 中移除子網路。
aws emr update-studio \ --studio-id
<example-studio-id-to-update>
\ --name<example-new-studio-name>
\ --subnet-ids<old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id>
\
若要驗證變更,請使用 describe-studio
AWS CLI 命令並指定您的 Studio ID。如需詳細資訊,請參閱 AWS CLI 命令參考。
aws emr describe-studio \ --studio-id
<id-of-updated-studio>
\
刪除 Amazon EMR Studio 和工作區
當您刪除 Studio 時,EMRStudio 會刪除所有與 Studio 相關聯的 IAM Identity Center 使用者和群組指派。
注意
當您刪除 Studio 時,Amazon EMR不會刪除與該 Studio 相關聯的工作區。必須在 Studio 中單獨刪除工作區。
刪除工作區
刪除 EMR Studio