管理筆記本工作階段 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

管理筆記本工作階段

AWS Glue Studio 中的筆記本以 AWS Glue 的互動式工作階段功能為基礎。使用互動式工作階段需要支付費用。為了協助管理成本,您可以監控為帳戶建立的工作階段,並設定所有工作階段的預設值。

變更所有筆記本工作階段的預設逾時

依預設,如果筆記本已啟動並且沒有執行任何儲存格,佈建的 AWS Glue Studio 筆記本會在 12 小時後逾時。不存在相關成本,且無法設定逾時。

一旦您執行儲存格,這便會啟動互動式工作階段。此工作階段的預設逾時時間為 48 小時。此逾時可以透過在執行儲存格之前傳遞 %idle_timeout 魔術命令來設定。

若要修改 AWS Glue Studio 中筆記本的預設工作階段逾時
  1. 在筆記本中,於儲存格中輸入 %idle_timeout 魔術命令,並以分鐘為單位指定逾時值。

  2. 例如:%idle_timeout 15 會將預設逾時變更為 15 分鐘。如果 15 分鐘內未使用工作階段,則工作階段會自動停止。

安裝其他 Python 模組

如果您想使用 pip 將其他模組安裝到工作階段中,則可以使用 %additional_python_modules 將其新增至您的工作階段中:

%additional_python_modules awswrangler, s3://mybucket/mymodule.whl

additional_python_modules 的所有引數都傳遞給 pip3 install -m <>

如需可用 Python 模組的清單,請參閱 Using Python libraries with AWS Glue

變更 AWS Glue 組態

您可以使用魔術命令來控制 AWS Glue 任務組態值。如果您要變更任務組態值,則必須在筆記本中使用適當的魔術命令。請參閱 Magics supported by AWS Glue interactive sessions for Jupyter

注意

無法再覆寫執行中工作階段的屬性。若要變更工作階段的組態,您可以停止工作階段、設定新的組態,然後啟動新的工作階段。

AWS Glue 支援各種工作者類型。您可以使用 %worker_type 設定工作者類型。例如:%worker_type G.2X 。預設值是 G.1X。

您還可以使用 %number_of_workers 指定工作者數量。例如,若要指定 40 個工作者:%number_of_workers 40

如需詳細資訊,請參閱定義任務屬性

停止筆記本工作階段

若要停止筆記本工作階段,請使用魔術命令 %stop_session

如果您瀏覽離開 AWS 主控台中的筆記本,則會收到警告訊息,其中可以選擇停止工作階段。