本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
建立 AWS Glue 用量描述檔
管理員應該建立用量描述檔,然後將它們指派給各種使用者。建立用量描述檔時,您可以指定預設值,以及各種任務和工作階段參數的允許值範圍。您必須為任務或互動式工作階段設定至少一個參數。您可以自訂未為任務提供參數值時要使用的預設值,和/或設定範圍限制或一組允許值,以便在使用者使用此描述檔時提供參數值時進行驗證。
預設值是由管理員設定的最佳實務,以協助任務作者。當使用者建立新任務且未設定逾時值時,將套用用量描述檔的預設逾時。如果作者沒有描述檔,則 AWS Glue 服務預設值會套用並儲存在任務的定義中。在執行時間, 會 AWS Glue 強制執行設定檔中設定的限制 (最小、最大、允許的工作者)。
設定參數後,所有其他參數都是選用的。可針對任務或互動式工作階段自訂的參數包括:
-
工作者數量 – 限制工作者數量,以避免過度使用運算資源。您可以設定預設值、最小值和最大值。最小值為 1。
-
工作者類型 – 限制工作負載的相關工作者類型。您可以設定預設類型,並允許使用者設定檔的工作者類型。
-
逾時 – 定義任務或互動式工作階段在終止之前可以執行和使用資源的時間上限。設定逾時值以避免長時間執行的任務。
您可以設定預設值、最小值和最大值,以分鐘為單位。最小值為 1 (分鐘)。雖然 AWS Glue 預設逾時為 2880 分鐘,但您可以在用量設定檔中設定任何預設值。
最佳實務是設定 'default' 的值。如果使用者未設定任何值,此值將用於建立任務或工作階段。
-
閒置逾時 – 定義在儲存格執行後逾時之前,互動式工作階段處於非作用中狀態的分鐘數。定義互動式工作階段在工作完成後終止的閒置逾時。閒置逾時範圍應該在逾時限制內。
您可以設定預設值、最小值和最大值,以分鐘為單位。最小值為 1 (分鐘)。雖然 AWS Glue 預設逾時為 2880 分鐘,但您可以在用量設定檔中設定任何預設值。
最佳實務是設定 'default' 的值。如果使用者未設定任何值,則會使用此值建立工作階段。
將 AWS Glue 用量描述檔建立為管理員 (主控台)
-
在左側導覽功能表中,選擇成本管理。
-
選擇建立用量設定檔。
-
輸入用量描述檔的用量描述檔名稱。
-
輸入選用的描述,以協助其他人辨識用量描述檔的目的。
-
在設定檔中定義至少一個參數。表單中的任何欄位都是 參數。例如,工作階段閒置逾時最小值。
-
定義套用至用量描述檔的任何選用標籤。
-
選擇 Save (儲存)。
建立用量描述檔 (AWS CLI)
-
輸入以下命令。
aws glue create-usage-profile --name
profile-name
--configurationfile://config.json
--tagslist-of-tags
其中 config.json 可以定義互動式工作階段 (
SessionConfiguration
) 和任務 () 的參數值JobConfiguration
://config.json (There is a separate blob for session/job configuration { "SessionConfiguration": { "timeout": { "DefaultValue": "2880", "MinValue": "100", "MaxValue": "4000" }, "idleTimeout": { "DefaultValue": "30", "MinValue": "10", "MaxValue": "4000" }, "workerType": { "DefaultValue": "G.2X", "AllowedValues": [ "G.2X", "G.4X", "G.8X" ] }, "numberOfWorkers": { "DefaultValue": "10", "MinValue": "1", "MaxValue": "10" } }, "JobConfiguration": { "timeout": { "DefaultValue": "2880", "MinValue": "100", "MaxValue": "4000" }, "workerType": { "DefaultValue": "G.2X", "AllowedValues": [ "G.2X", "G.4X", "G.8X" ] }, "numberOfWorkers": { "DefaultValue": "10", "MinValue": "1", "MaxValue": "10" } } }
-
輸入下列命令以查看已建立的用量描述檔:
aws glue get-usage-profile --name
profile-name
回應:
{ "ProfileName": "foo", "Configuration": { "SessionConfiguration": { "numberOfWorkers": { "DefaultValue": "10", "MinValue": "1", "MaxValue": "10" }, "workerType": { "DefaultValue": "G.2X", "AllowedValues": [ "G.2X", "G.4X", "G.8X" ] }, "timeout": { "DefaultValue": "2880", "MinValue": "100", "MaxValue": "4000" }, "idleTimeout": { "DefaultValue": "30", "MinValue": "10", "MaxValue": "4000" } }, "JobConfiguration": { "numberOfWorkers": { "DefaultValue": "10", "MinValue": "1", "MaxValue": "10" }, "workerType": { "DefaultValue": "G.2X", "AllowedValues": [ "G.2X", "G.4X", "G.8X" ] }, "timeout": { "DefaultValue": "2880", "MinValue": "100", "MaxValue": "4000" } } }, "CreatedOn": "2024-01-19T23:15:24.542000+00:00" }
用於管理用量設定檔的其他 CLI 命令:
aws 黏性 list-usage-profiles
aws glue update-usage-profile --name
profile-name
--configurationfile://config.json
aws glue delete-usage-profile --name
profile-name
編輯用量設定檔
管理員可以編輯他們已建立的使用設定檔,以變更任務和互動式工作階段的設定檔參數值。
若要編輯用量設定檔:
以管理員身分編輯 AWS Glue 用量描述檔 (主控台)
-
在左側導覽功能表中,選擇成本管理。
-
選擇您具有編輯許可的用量設定檔,然後選擇編輯。
-
視需要變更設定檔。根據預設,已具有值的參數會展開。
-
選擇儲存編輯。
編輯用量描述檔 (AWS CLI)
-
輸入以下命令。使用相同的
--configuration
檔案語法,如上述建立命令所示。aws glue update-usage-profile --name
profile-name
--configurationfile://config.json
其中 config.json 定義互動式工作階段 (
SessionConfiguration
) 和任務 () 的參數值JobConfiguration
:
指派用量設定檔
用量描述檔頁面中的使用狀態欄會顯示用量描述檔是否指派給使用者。將滑鼠暫留在 狀態上會顯示指派的 IAM 實體。
管理員可以將 AWS Glue 用量描述檔指派給建立 AWS Glue 資源的使用者/角色。指派設定檔是兩個動作的組合:
使用
glue:UsageProfile
金鑰更新 IAM 使用者/角色標籤,然後更新使用者/角色的 IAM 政策。
對於使用 AWS Glue Studio 建立任務/互動式工作階段的使用者,管理員會標記下列角色:
對於任務的限制,管理員會標記已登入的主控台角色
對於互動式工作階段的限制,管理員會標記使用者在建立筆記本時提供的角色
以下是管理員需要更新建立 AWS Glue 資源之 IAM 使用者/角色的範例政策:
{
"Effect": "Allow",
"Action": [
"glue:GetUsageProfile"
],
"Resource": [
"arn:aws:glue:us-east-1:123456789012:usageProfile/foo"
]
}
AWS Glue 會根據 AWS Glue 用量描述檔中指定的值來驗證任務、任務執行和工作階段請求,並在不允許請求時引發例外狀況。對於同步 APIs,將會向使用者擲回錯誤。對於非同步路徑,會建立失敗的任務執行,並顯示錯誤訊息,指出輸入參數超出使用者/角色指派設定檔的允許範圍。
若要將用量描述檔指派給使用者/角色:
-
開啟 (身分和存取管理) IAM 主控台。
-
在左側導覽中,選擇使用者或角色。
-
選擇使用者或角色。
-
選擇 Tags (標籤) 索引標籤。
-
選擇新增標籤
-
使用 索引鍵
glue:UsageProfile
和用量描述檔名稱的值來新增標籤。 -
選擇 Save changes (儲存變更)
檢視您指派的用量設定檔
使用者可以檢視其指派的使用設定檔,並在進行 API 呼叫以建立 AWS Glue 任務和工作階段資源,或啟動任務時使用它們。
IAM 政策中提供設定檔許可。只要呼叫者政策具有 glue:UsageProfile
許可,使用者即可查看設定檔。否則,您會收到存取遭拒的錯誤。
若要檢視指派的使用設定檔:
-
在左側導覽功能表中,選擇成本管理。
-
選擇您具有檢視許可的用量設定檔。
