從 SageMaker工作室或工作室經典 Connect 到 Amazon EMR 集群 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

從 SageMaker工作室或工作室經典 Connect 到 Amazon EMR 集群

Studio 的使用者可以使用其預設值,從 JupyterLab 筆記本連線到執行中的 Amazon EMR 叢集SageMaker 分發映像。Studio 經典版的使用者可以使用任何支援的核心,從 Studio 經典筆記型電腦連線到叢集。

使用工作室使用者介面 Connect 到 Amazon EMR 叢集

若要使用 Studio 或 Studio 典型使用者介面連線至叢集,您可以從中存取的叢集清單從工作室或工作室經典列出 Amazon EMR 集群,或從 SageMaker Studio 或 Studio 傳統版中的筆記本啟動連線。

若要從叢集清單連線至特定叢集
  1. 選擇清單中叢集名稱。這會啟動附加至新筆記本按鈕。

  2. 選擇附加至新筆記本。這將開啟映像與核心選取方塊。

  3. 選擇您的映像與核心,然後選擇選取。如需支援的映像清單,請參閱從工作室或工作室經典版連接到 Amazon EMR 群集的支持映像和內核或參閱使用自有映像

  4. 如果您選取的叢集不使用 Kerberos LDAP、或執行階段角色驗證,Studio 或 Studio 傳統版會提示您選取認證類型。選擇 Http 基本身分驗證無憑證,然後輸入您的憑證 (如果適用)。連線命令會填入筆記本的第一個儲存格,並啟動與 Amazon EMR 叢集的連線。

    一旦連接成功,將顯示一則訊息確認連線並啟動 Spark 應用程式。

或者,您可以從筆記本連線至叢集。
  1. 選擇筆記本頂端的叢集

    只有當您使用 從工作室或工作室經典版連接到 Amazon EMR 群集的支持映像和內核使用自有映像 核心時,叢集才可見。如果您在筆記本頂端看不到叢集,請確定您的系統管理員已設定叢集的可探索性,並切換至支援的核心。

    這會開啟狀Running態中可用叢集的清單。

  2. 選取要連線的叢集,然後選擇連線

  3. 如果您將 Amazon EMR 叢集設定為支援執行時期IAM角色,且管理員在執行角色組態中預先載入角色JSON,則可以從 Amazon 執EMR行角色下拉式功能表中選EMR取 Amazon 存取角色。如果您的角色沒有預先加載,則默認情況下,工作室或工作室經典使用您的工作室或工作室經典執行角色。如需將執行階段角色與 Amazon 搭配使用的資訊EMR,請參閱使用執行階段IAM角色從工作室傳統版 Connect 到 Amazon EMR 叢集。當您連線到叢集時,Studio 或 Studio 典型會將程式碼區塊新增至使用中的儲存格,以建立連線。

    否則,如果您選擇的叢集不使用 Kerberos LDAP、或執行階段角色驗證,則 Studio 或 Studio 傳統版會提示您選取認證類型。您可以選擇「HTTP基本驗證」或「無認證」。

  4. 作用中儲存格會填入並執行。此儲存格包含連線至 Amazon EMR 叢集的連線命令。

    連線成功後,將顯示一則訊息確認連線並啟動 Spark 應用程式。

使用連線命令 Connect 到 Amazon EMR 叢集

若要建立與 Amazon EMR 叢集的連線,您可以在筆記本儲存格內執行連線命令。

建立連線時,您可以使用 Kerberos輕量型目錄存取通訊協定 (LDAP)執行時期IAM角色驗證進行驗證。您選擇的驗證方法取決於您的叢集配置。

您可以參考此範例在啟用 Kerberos 的 Amazon EMR 叢集上使用 Network Load Balancer 存取 Apache Livy,以設定使用 Kerberos 身份驗證的 Amazon EMR 叢集。或者,您也可以在 aw sagemaker-studio-emr GitHub s-Samples/ 儲存庫中使用 Kerberos 或LDAP驗證來探索範 CloudFormation 例範本。

如果您的管理員已啟用跨帳戶存取,則無論您的 Studio Classic 應用程式和EMR叢集位於同一帳戶還是不同的 AWS 帳戶,都可以從 Studio Classic 筆記本連接到 Amazon 叢集。

對於以下每種驗證類型,請使用指定的命令從 Studio 或 Studio Classic 筆記本連接到叢集。

  • Kerberos

    如果您需要跨帳戶 Amazon EMR 訪問,請附加--assumable-role-arn參數。如果您使用連接到群集,請附加--verify-certificate參數HTTPS。

    %load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --cluster-id cluster_id \ --auth-type Kerberos --language python [--assumable-role-arn EMR_access_role_ARN ] [--verify-certificate /home/user/certificateKey.pem]
  • LDAP

    如果您需要跨帳戶 Amazon EMR 訪問,請附加--assumable-role-arn參數。如果您使用連接到群集,請附加--verify-certificate參數HTTPS。

    %load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --cluster-id cluster_id \ --auth-type Basic_Access --language python [--assumable-role-arn EMR_access_role_ARN ] [--verify-certificate /home/user/certificateKey.pem]
  • NoAuth

    如果您需要跨帳戶 Amazon EMR 訪問,請附加--assumable-role-arn參數。如果您使用連接到群集,請附加--verify-certificate參數HTTPS。

    %load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --cluster-id cluster_id \ --auth-type None --language python [--assumable-role-arn EMR_access_role_ARN ] [--verify-certificate /home/user/certificateKey.pem]
  • 運行時IAM角色

    如果您需要跨帳戶 Amazon EMR 訪問,請附加--assumable-role-arn參數。如果您使用連接到群集,請附加--verify-certificate參數HTTPS。

    如需使用執行時期IAM角色連線至 Amazon EMR 叢集的詳細資訊,請參閱使用執行階段IAM角色從工作室傳統版 Connect 到 Amazon EMR 叢集

    %load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --cluster-id cluster_id \ --auth-type Basic_Access \ --emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name [--assumable-role-arn EMR_access_role_ARN] [--verify-certificate /home/user/certificateKey.pem]

Connect 到 Amazon EMR 集群 HTTPS

如果您已經為 Amazon EMR 群集配置了啟用傳輸加密和 Apache Livy 服務器,HTTPS並希望工作室或工作室經典EMR使用與 Amazon 進行通信HTTPS,則需要配置工作室或工作室經典版來訪問您的證書密鑰。

對於自我簽署或本機憑證授權單位 (CA) 簽署憑證,您可以透過兩個步驟執行此作業:

  1. 使用下列其中PEM一個選項,將憑證檔案下載到本機檔案系統:

  2. 在連線命令的 --verify-certificate 引數中提供憑證路徑,以啟用憑證驗證。

    %sm_analytics emr connect --cluster-id cluster_id \ --verify-certificate /home/user/certificateKey.pem ...

對於公有 CA 發行憑證,請將 --verify-certificate 參數設定為 true 來設定憑證驗證。

或者,您可以將 --verify-certificate 參數設定為 false 來停用憑證驗證。

您可以在中找到 Amazon EMR 叢集的可用連線命令清單使用連線命令 Connect 到 Amazon EMR 叢集