建立 EMR Studio - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

建立 EMR Studio

您可以使用 Amazon EMR主控台或 為團隊建立 EMR Studio AWS CLI。建立 Studio 執行個體是設定 Amazon EMR Studio 的一部分。

先決條件

在建立 Studio 之前,請確保已完成 設定 EMR Studio 中的先前任務。

若要使用 建立 Studio AWS CLI,您應該已安裝最新版本。如需詳細資訊,請參閱安裝或更新最新版本的 AWS CLI

重要

在建立 Studio 之前,請在瀏覽器 SwitchyOmega 中停用代理管理工具,例如 FoxyProxy 或 。當您選擇建立 Studio 時,使用中的代理可能會導致網路故障錯誤訊息。

Amazon EMR為您提供建立 Studio 的簡單主控台體驗,因此您可以快速開始使用預設設定。 使用預設設定執行互動式工作負載或批次工作。建立 EMR Studio 也會建立適用於互動任務的無EMR伺服器應用程式。

如果您想要完全控制 Studio 的設定,您可以選擇自訂 ,這可讓您設定所有其他設定。

Interactive workloads
為互動式工作負載建立 EMR Studio
  1. https://console.aws.amazon.com/emr 開啟 Amazon EMR主控台。

  2. 在左側導覽的 EMR Studio 下,選擇開始使用 。也可以從 Studio 頁面中建立新的 Studio。

  3. 如果您要為互動式工作負載建立 EMR Studio,Amazon EMR會為您提供預設設定,但您可以編輯這些設定。可設定的設定包括 EMR Studio 的名稱、工作區的 S3 位置、要使用的服務角色、要使用的工作區、無EMR伺服器應用程式名稱,以及相關聯的執行期角色。

  4. 選擇建立 Studio 並啟動工作區以完成並導覽至 Studios 頁面。您的新 Studio 會出現在清單中,其中包含 Studio 名稱建立日期 Studio 存取 URL等詳細資訊。您的工作區會在瀏覽器的新索引標籤中開啟。

Batch jobs
為互動式工作負載建立 EMR Studio
  1. https://console.aws.amazon.com/emr 開啟 Amazon EMR主控台。

  2. 在左側導覽的 EMR Studio 下,選擇開始使用 。也可以從 Studio 頁面中建立新的 Studio。

  3. 如果您要為批次工作建立 EMR Studio,Amazon EMR會為您提供預設設定,但您可以編輯這些設定。可設定的設定包括 EMR Studio 的名稱、無EMR伺服器應用程式名稱,以及相關聯的執行期角色。

  4. 選擇建立 Studio 並啟動工作區以完成並導覽至 Studios 頁面。您的新 Studio 會出現在清單中,其中包含 Studio 名稱建立日期 Studio 存取 URL等詳細資訊。您的 EMR Studio 會在瀏覽器的新索引標籤中開啟。

Custom settings
使用自訂設定建立 EMR Studio
  1. https://console.aws.amazon.com/emr 開啟 Amazon EMR主控台。

  2. 在左側導覽的 EMR Studio 下,選擇開始使用 。也可以從 Studio 頁面中建立新的 Studio。

  3. 選擇建立 Studio 以開啟建立 Studio 頁面。

  4. 輸入 Studio 名稱

  5. 選擇建立新的 S3 儲存貯體或使用現有位置。

  6. 選擇要新增至 Studio 的工作區。您最多可以新增 3 個工作區。

  7. 身分驗證下,選擇 Studio 的身分驗證模式,並根據下表提供資訊。若要進一步了解 EMR Studio 的身分驗證,請參閱 選擇 Amazon EMR Studio 的身分驗證模式

    如果您使用... 執行此作業...
    IAM 驗證或聯合

    預設身分驗證方法是 AWS Identity and Access Management (IAM)。在畫面底部,您也可以新增標籤,讓特定使用者可以存取 Studio,如 將使用者或群組指派給 EMR Studio 中所述。

    如果您想要聯合使用者使用 Studio URL和身分提供者 (IdP的憑證登入,請從下拉式清單中選取您的 IdP,然後輸入身分提供者 (IdP登入URLRelayState參數名稱。

    如需 IdP 身分驗證URLs和 RelayState 名稱的清單,請參閱 身分提供者 RelayState 參數和身分驗證 URLs

    IAM 身分中心身分驗證

    選取您的 EMR Studio Service 角色使用者角色 。如需詳細資訊,請參閱 建立 EMR Studio 服務角色為 IAM Identity Center 身分驗證模式建立 EMR Studio 使用者角色

    當您使用 Studio 的 IAM Identity Center (先前為 AWS 單一登入) 身分驗證時,您可以選擇使用啟用受信任身分傳播選項來簡化使用者的登入體驗。透過受信任的身分傳播,使用者可以使用身分中心憑證登入,並在使用 Studio 時將身分傳播到下游 AWS 服務。

    應用程式存取權區段中,您也可以指定 Identity Center 中的所有使用者和群組是否應具有 Studio 的存取權限,或者是否僅有您選擇的已指派使用者和群組才能存取 Studio。

    如需詳細資訊,請參閱 Identity Center 使用者指南中的 將 Amazon EMR與 整合 AWS IAM Identity Center和 ,以及跨應用程式進行可信任身分傳播。 https://docs.aws.amazon.com/singlesignon/latest/userguide/trustedidentitypropagation.html AWS IAM

  8. 對於 VPC,請從下拉式清單中選擇 Studio 的 Amazon Virtual Private Cloud (VPC)。

  9. 子網路 下,選取您 中最多五個VPC要與 Studio 建立關聯的子網路。可以選擇在建立 Studio 之後新增更多子網路。

  10. 針對安全群組,請選擇預設安全群組或自訂安全群組。如需詳細資訊,請參閱定義安全群組以控制 EMR Studio 網路流量

    如果選擇… 執行此作業...
    預設 EMR Studio 安全群組

    若要為 Studio 啟用 GIT 型儲存庫連結,請選擇啟用叢集/端點和 Git 儲存庫。否則,請選擇啟用叢集/端點

    Studio 的自訂安全群組
    • 叢集/端點安全群組下,從下拉式清單中選取您設定的引擎安全群組。Studio 使用此安全群組,以允許來自所附接工作區的傳入存取。

    • 工作區安全群組下,從下拉式清單中選取您設定的工作區安全群組。您的 Studio 將此安全群組與 Workspaces 搭配使用,以提供已連接 Amazon EMR叢集和公開託管 Git 儲存庫的傳出存取權。

  11. 將標籤新增至您的 Studio 和其他資源。如需標籤的詳細資訊,請參閱標記叢集

  12. 選擇建立 Studio 並啟動工作區以完成並導覽至 Studios 頁面。您的新 Studio 會出現在清單中,其中包含 Studio 名稱建立日期 Studio 存取 URL等詳細資訊。

建立 Studio 之後,請遵循 將使用者或群組指派給 EMR Studio 中的指示。

CLI
注意

包含 Linux 行接續字元 (\) 以便於閱讀。它們可以在 Linux 命令中移除或使用。對於 Windows,請將其移除或取代為插入符號 (^)。

範例 – 建立用於身分驗證IAM的 EMR Studio

下列範例 AWS CLI 命令會建立具有IAM身分驗證模式的 EMR Studio。當您使用 Studio 的IAM身分驗證或聯合時,不會指定 --user-role

若要讓聯合使用者使用 Studio URL和身分提供者 (IdP的憑證登入,請指定您的 --idp-auth-url--idp-relay-state-parameter-name。如需 IdP 身分驗證URLs和 RelayState 名稱的清單,請參閱 身分提供者 RelayState 參數和身分驗證 URLs

aws emr create-studio \ --name <example-studio-name> \ --auth-mode IAM \ --vpc-id <example-vpc-id> \ --subnet-ids <subnet-id-1> <subnet-id-2>... <subnet-id-5> \ --service-role <example-studio-service-role-name> \ --user-role studio-user-role-name \ --workspace-security-group-id <example-workspace-sg-id> \ --engine-security-group-id <example-engine-sg-id> \ --default-s3-location <example-s3-location> \ --idp-auth-url <https://EXAMPLE/login/> \ --idp-relay-state-parameter-name <example-RelayState>
範例 – 建立使用 Identity Center 進行身分驗證的 EMR Studio

下列 AWS CLI 範例命令會建立使用 IAM Identity Center 身分驗證模式的 EMR Studio。使用 IAM Identity Center 身分驗證時,您必須指定 --user-role

如需IAM身分中心身分驗證模式的詳細資訊,請參閱 設定 Amazon EMR Studio 的 IAM Identity Center 身分驗證模式

aws emr create-studio \ --name <example-studio-name> \ --auth-mode SSO \ --vpc-id <example-vpc-id> \ --subnet-ids <subnet-id-1> <subnet-id-2>... <subnet-id-5> \ --service-role <example-studio-service-role-name> \ --user-role <example-studio-user-role-name> \ --workspace-security-group-id <example-workspace-sg-id> \ --engine-security-group-id <example-engine-sg-id> \ --default-s3-location <example-s3-location> --trusted-identity-propagation-enabled \ --idc-user-assignment OPTIONAL \ --idc-instance-arn <iam-identity-center-instance-arn>
範例 – 的CLI輸出 aws emr create-studio

以下是建立 Studio 之後出現的輸出範例。

{ StudioId: "es-123XXXXXXXXX", Url: "https://es-123XXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com" }

如需 create-studio 命令的詳細資訊,請參閱《AWS CLI 命令參考》

身分提供者 RelayState 參數和身分驗證 URLs

當您使用聯合時,且您希望使用者使用您的 Studio IAM URL和身分提供者 (IdP的憑證登入,您可以在 時指定身分提供者 (IdP登入URLRelayState參數名稱建立 EMR Studio

下表顯示一些常用身分提供者的標準身分驗證URL和 RelayState 參數名稱。

身分提供者 參數 身分驗證 URL
Auth0 RelayState https://<sub_domain>.auth0.com/samlp/<app_id>
Google 帳戶 RelayState https://accounts.google.com/o/saml2/initsso?idpid=<idp_id>&spid=<sp_id>&forceauthn=false
Microsoft Azure RelayState https://myapps.microsoft.com/signin/<app_name>/<app_id>?tenantId=<tenant_id>
Okta RelayState https://<sub_domain>.okta.com/app/<app_name>/<app_id>/sso/saml
PingFederate TargetResource https://<host>/idp/<idp_id>/startSSO.ping?PartnerSpId=<sp_id>
PingOne TargetResource https://sso.connect.pingidentity.com/sso/sp/initsso?saasid=<app_id>&idpid=<idp_id>