本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
從 SageMaker工作室或工作室經典 Connect 到 Amazon EMR 集群
Studio 的使用者可以使用其預設值,從 JupyterLab 筆記本連線到執行中的 Amazon EMR 叢集SageMaker 分發映像。Studio 經典版的使用者可以使用任何支援的核心,從 Studio 經典筆記型電腦連線到叢集。
使用工作室使用者介面 Connect 到 Amazon EMR 叢集
若要使用 Studio 或 Studio 典型使用者介面連線至叢集,您可以從中存取的叢集清單從工作室或工作室經典列出 Amazon EMR 集群,或從 SageMaker Studio 或 Studio 傳統版中的筆記本啟動連線。
若要從叢集清單連線至特定叢集
-
選擇清單中叢集名稱。這會啟動附加至新筆記本按鈕。
-
選擇附加至新筆記本。這將開啟映像與核心選取方塊。
-
選擇您的映像與核心,然後選擇選取。如需支援的映像清單,請參閱從工作室或工作室經典版連接到 Amazon EMR 群集的支持映像和內核或參閱使用自有映像。
-
如果您選取的叢集不使用 Kerberos LDAP、或執行階段角色驗證,Studio 或 Studio 傳統版會提示您選取認證類型。選擇 Http 基本身分驗證或無憑證,然後輸入您的憑證 (如果適用)。連線命令會填入筆記本的第一個儲存格,並啟動與 Amazon EMR 叢集的連線。
一旦連接成功,將顯示一則訊息確認連線並啟動 Spark 應用程式。
或者,您可以從筆記本連線至叢集。
-
選擇筆記本頂端的叢集。
只有當您使用 從工作室或工作室經典版連接到 Amazon EMR 群集的支持映像和內核 或 使用自有映像 核心時,叢集才可見。如果您在筆記本頂端看不到叢集,請確定您的系統管理員已設定叢集的可探索性,並切換至支援的核心。
這會開啟狀
Running
態中可用叢集的清單。 -
選取要連線的叢集,然後選擇連線。
-
如果您將 Amazon EMR 叢集設定為支援執行時期IAM角色,且管理員在執行角色組態中預先載入角色JSON,則可以從 Amazon 執EMR行角色下拉式功能表中選EMR取 Amazon 存取角色。如果您的角色沒有預先加載,則默認情況下,工作室或工作室經典使用您的工作室或工作室經典執行角色。如需將執行階段角色與 Amazon 搭配使用的資訊EMR,請參閱使用執行階段IAM角色從工作室傳統版 Connect 到 Amazon EMR 叢集。當您連線到叢集時,Studio 或 Studio 典型會將程式碼區塊新增至使用中的儲存格,以建立連線。
否則,如果您選擇的叢集不使用 Kerberos LDAP、或執行階段角色驗證,則 Studio 或 Studio 傳統版會提示您選取認證類型。您可以選擇「HTTP基本驗證」或「無認證」。
-
作用中儲存格會填入並執行。此儲存格包含連線至 Amazon EMR 叢集的連線命令。
連線成功後,將顯示一則訊息確認連線並啟動 Spark 應用程式。
使用連線命令 Connect 到 Amazon EMR 叢集
若要建立與 Amazon EMR 叢集的連線,您可以在筆記本儲存格內執行連線命令。
建立連線時,您可以使用 Kerberos、輕量型目錄存取通訊協定 (LDAP) 或執行時期IAM角色驗證進行驗證。您選擇的驗證方法取決於您的叢集配置。
您可以參考此範例在啟用 Kerberos 的 Amazon EMR 叢集上使用 Network Load Balancer 存取 Apache Livy,以設定使用 Kerberos
如果您的管理員已啟用跨帳戶存取,則無論您的 Studio Classic 應用程式和EMR叢集位於同一帳戶還是不同的 AWS 帳戶,都可以從 Studio Classic 筆記本連接到 Amazon 叢集。
對於以下每種驗證類型,請使用指定的命令從 Studio 或 Studio Classic 筆記本連接到叢集。
-
Kerberos
如果您需要跨帳戶 Amazon EMR 訪問,請附加
--assumable-role-arn
參數。如果您使用連接到群集,請附加--verify-certificate
參數HTTPS。%load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --cluster-id
cluster_id
\ --auth-type Kerberos --language python [--assumable-role-arnEMR_access_role_ARN
] [--verify-certificate/home/user/certificateKey.pem
] -
LDAP
如果您需要跨帳戶 Amazon EMR 訪問,請附加
--assumable-role-arn
參數。如果您使用連接到群集,請附加--verify-certificate
參數HTTPS。%load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --cluster-id
cluster_id
\ --auth-type Basic_Access --language python [--assumable-role-arnEMR_access_role_ARN
] [--verify-certificate/home/user/certificateKey.pem
] -
NoAuth
如果您需要跨帳戶 Amazon EMR 訪問,請附加
--assumable-role-arn
參數。如果您使用連接到群集,請附加--verify-certificate
參數HTTPS。%load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --cluster-id
cluster_id
\ --auth-type None --language python [--assumable-role-arnEMR_access_role_ARN
] [--verify-certificate/home/user/certificateKey.pem
] -
運行時IAM角色
如果您需要跨帳戶 Amazon EMR 訪問,請附加
--assumable-role-arn
參數。如果您使用連接到群集,請附加--verify-certificate
參數HTTPS。如需使用執行時期IAM角色連線至 Amazon EMR 叢集的詳細資訊,請參閱使用執行階段IAM角色從工作室傳統版 Connect 到 Amazon EMR 叢集。
%load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --cluster-id
cluster_id
\ --auth-type Basic_Access \ --emr-execution-role-arn arn:aws:iam::studio_account_id
:role/emr-execution-role-name
[--assumable-role-arnEMR_access_role_ARN
] [--verify-certificate/home/user/certificateKey.pem
]
Connect 到 Amazon EMR 集群 HTTPS
如果您已經為 Amazon EMR 群集配置了啟用傳輸加密和 Apache Livy 服務器,HTTPS並希望工作室或工作室經典EMR使用與 Amazon 進行通信HTTPS,則需要配置工作室或工作室經典版來訪問您的證書密鑰。
對於自我簽署或本機憑證授權單位 (CA) 簽署憑證,您可以透過兩個步驟執行此作業:
-
使用下列其中PEM一個選項,將憑證檔案下載到本機檔案系統:
-
Jupyter 的內建檔案上傳功能。
-
筆記本儲存格。
-
(僅適用於 Studio 經典版用戶)生命週期配置(LCC)腳本。
如需如何使用LCC指令碼的詳細資訊,請參閱使用生命週期組態指令碼自訂筆記本執行個體
-
-
在連線命令的
--verify-certificate
引數中提供憑證路徑,以啟用憑證驗證。%sm_analytics emr connect --cluster-id
cluster_id
\ --verify-certificate/home/user/certificateKey.pem
...
對於公有 CA 發行憑證,請將 --verify-certificate
參數設定為 true
來設定憑證驗證。
或者,您可以將 --verify-certificate
參數設定為 false
來停用憑證驗證。
您可以在中找到 Amazon EMR 叢集的可用連線命令清單使用連線命令 Connect 到 Amazon EMR 叢集。