將運算連接至 EMR Studio 工作區 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

將運算連接至 EMR Studio 工作區

Amazon EMR Studio 會使用EMR叢集上的核心執行筆記本命令。在選取核心之前,您應該將工作區連接至使用 Amazon EC2執行個體的叢集、叢集EMR上的 Amazon EKS 或無EMR伺服器應用程式。EMR Studio 可讓您將 Workspaces 連接至新的或現有的叢集,並讓您靈活地變更叢集,而無需關閉 Workspace。

本節涵蓋下列主題,可協助您使用 和佈建 EMR Studio 的叢集:

將 Amazon EC2叢集連接至 EMR Studio Workspace

您可以在建立工作區時,將 Amazon 上執行的EMR叢集EC2連接至工作區,或將叢集連接至現有工作區。若希望建立並附接叢集,請參閱 建立新的EMR叢集並連接至 EMR Studio Workspace

注意

Studio 中已啟用 IAM Identity Center 受信任身分傳播的工作區只能連接至已啟用 Identity Center 的安全組態的EMR叢集。

On create
建立工作區時連接至 Amazon EMR運算叢集
  1. 建立工作區對話方塊中,確定已為新工作區選取子網路。展開進階設定區段。

  2. 選擇將工作區連接至EMR叢集

  3. EMR叢集下拉式清單中,選取要連接至工作區的現有EMR叢集。

附接叢集之後,請完成工作區的建立。第一次開啟新的工作區並選擇EMR叢集面板時,您應該會看到所選叢集已連接。

On launch
啟動工作區時連接至 Amazon EMR運算叢集
  1. 導覽至工作區清單,然後為要啟動的工作區選取列。然後,選取啟動工作區 > 使用選項啟動

  2. 選擇要連接至工作區的EMR叢集。

附接叢集之後,請完成工作區的建立。第一次開啟新的工作區並選擇EMR叢集面板時,您應該會看到所選叢集已連接。

In JupyterLab
在 中將工作區連接至 Amazon EMR運算叢集 JupyterLab
  1. 選取工作區,然後選取啟動工作區 > 快速啟動

  2. 在 中 JupyterLab,開啟左側側邊欄中的叢集索引標籤。

  3. 選取EMREC2叢集下拉式清單,或選取EKS叢集EMR上的 Amazon。

  4. 選擇附接,將叢集附接至工作區。

附接叢集之後,請完成工作區的建立。當您第一次開啟新的工作區並選擇EMR叢集面板時,您應該會看到所選叢集已連接。

In the Workspace UI
從工作區使用者介面將工作區連接至 Amazon EMR運算叢集
  1. 在您要連接至叢集的工作區中,從左側側邊欄中選擇EMR叢集圖示,以開啟叢集面板。

  2. 叢集類型 下,展開下拉式清單,然後在 上選取EMR叢集EC2

  3. 從下拉式清單中選擇叢集。可能需要先分離現有叢集,才能啟用叢集選取下拉式清單。

  4. 選擇 Attach (連接)。附接叢集後,應該會看到成功訊息出現。

將EKS叢集EMR上的 Amazon 連接至 EMR Studio Workspace

除了使用在 Amazon 上執行的 Amazon EMR叢集之外EC2,您還可以將工作區連接至EKS叢集EMR上的 Amazon,以執行筆記本程式碼。如需 Amazon EMR on 的詳細資訊EKS,請參閱什麼是 Amazon EMR on EKS

在您將工作區連接至EKS叢集EMR上的 Amazon 之前,Studio 管理員必須授予您存取權限。

注意

您無法在使用 IAM Identity Center 受信任身分傳播的 EMR Studio 中啟動EKS叢集EMR上的 Amazon。

On create
建立工作區時在EKS叢集EMR上連接 Amazon
  1. 建立工作區對話方塊中,展開進階組態區段。

  2. 選擇將工作區連接至EKS叢集 EMR上的 Amazon

  3. EKS叢集 EMR上的 Amazon 下,從下拉式清單中選擇叢集。

  4. 選取端點下,選擇要附接至工作區的受管端點。受管端點是可讓 EMR Studio 與所選叢集通訊的閘道。

  5. 選擇建立工作區以完成工作區建立程序並附接所選叢集。

附接叢集之後,請完成工作區建立程序。當您第一次開啟新的工作區並選擇EMR叢集面板時,您應該會看到所選叢集已連接。

In the Workspace UI
從工作區使用者介面連接EKS叢集EMR上的 Amazon
  1. 在您要連接至叢集的工作區中,從左側列選擇EMR叢集圖示,以開啟叢集面板。

  2. 展開叢集類型下拉式清單,然後在 上選擇EMR叢集EKS

  3. 的EMR叢集EKS下,從下拉式清單中選擇叢集。

  4. 端點下,選擇要附接至工作區的受管端點。受管端點是可讓 EMR Studio 與所選叢集通訊的閘道。

  5. 選擇 Attach (連接)。附接叢集後,應該會看到成功訊息出現。

將 Amazon EMR Serverless 應用程式連接至 EMR Studio Workspace

您可以將工作區連接至無EMR伺服器應用程式,以執行互動式工作負載。如需詳細資訊,請參閱使用筆記本透過 EMR Studio 使用 EMR Serverless 執行互動式工作負載

注意

您無法將 EMR Serverless 應用程式連接至使用 IAM Identity Center 受信任身分傳播的 EMR Studio。

範例 在 中將工作區連接至無EMR伺服器應用程式 JupyterLab

在您將工作區連接至 EMR Serverless 應用程式之前,您的帳戶管理員必須授予您存取權,如互動式工作負載的必要許可 中所述。

  1. 導覽至 EMR Studio 選取您的工作區,然後選取啟動工作區 > 快速啟動

  2. 在 中 JupyterLab,開啟左側側邊欄中的叢集索引標籤。

  3. 選取 EMR Serverless 作為運算選項,然後選取 EMR Serverless 應用程式和執行期角色。

  4. 若要將叢集附接至工作區,請選擇附接

現在,當您開啟此工作區時,應該會看到所選應用程式已附接。

建立新的EMR叢集並連接至 EMR Studio Workspace

進階 EMR Studio 使用者可以佈建在 Amazon 上執行的新EMR叢集EC2,以搭配工作區使用。新叢集具有預設安裝 EMR Studio 所需的所有大數據應用程式。

若要建立叢集,Studio 管理員必須先使用工作階段政策授予您許可。如需詳細資訊,請參閱為 EMR Studio 使用者建立許可政策

可以在建立工作區對話方塊中或從工作區使用者介面的叢集面板中建立新叢集。無論採用哪種方式,都有兩個叢集建立選項:

  1. 建立EMR叢集 – 選擇 Amazon EC2執行個體類型和計數,以建立EMR叢集。

  2. 使用叢集範本 - 透過選取預先定義的叢集範本來佈建叢集。如果您擁有使用叢集範本的許可,就會顯示此選項。

    注意

    如果您為 Studio 啟用了與 IAM Identity Center 的受信任身分傳播,則必須使用範本來建立叢集。

透過提供EMR叢集組態來建立叢集
  1. 選擇起點。

    若要... 執行此作業...
    使用建立工作區對話方塊建立工作區時會建立叢集。 建立工作區對話方塊中展開進階組態區段,然後選取建立EMR叢集
    建立工作區後,從工作區使用者介面中的EMR叢集面板建立叢集。 選擇開啟工作區左側列中的EMR叢集索引標籤,展開進階組態區段,然後選擇建立叢集
  2. 輸入叢集名稱。為叢集命名可協助您稍後在 EMR Studio 叢集清單中找到它。

  3. 針對 Amazon EMR版本 ,選擇叢集的 Amazon EMR版本版本。

  4. 針對執行個體 ,選取叢集的 Amazon EC2執行個體類型和數量。如需有關選取執行個體類型的詳細資訊,請參閱 設定 Amazon EC2執行個體類型以搭配 Amazon 使用 EMR。一個執行個體將用作主節點。

  5. 選取子網路,讓 EMR Studio 可以啟動新的叢集。Studio 管理員會預先核准每個子網路選項,工作區應該能夠連接到任何已列出的子網路中的叢集。

  6. URI日誌儲存選擇 S3

  7. 選擇建立EMR叢集來佈建叢集。如果使用建立工作區對話方塊,請選擇建立工作區以建立工作區並佈建叢集。EMR Studio 佈建新叢集後,會將叢集連接至工作區。

使用叢集範本來建立叢集
  1. 選擇起點。

    若要... 執行此作業...
    使用建立工作區對話方塊建立工作區時會建立叢集。 展開建立工作區對話方塊中的進階組態區段,然後選取使用叢集範本
    從工作區 UI 中的叢集面板建立EMR叢集 選擇開啟工作區左側列中的EMR叢集索引標籤,展開進階組態區段,然後選擇叢集範本
  2. 從下拉式清單中選取叢集範本。每個可用叢集範本都包含簡短說明,以協助您進行選取。

  3. 您選擇的叢集範本可能有其他參數,例如 Amazon EMR版本或叢集名稱。可以選擇或插入值,或使用管理員選取的預設值。

  4. 選取子網路,讓 EMR Studio 可以啟動新的叢集。Studio 管理員會預先核准每個子網路選項,工作區應該能夠連接到任何子網路中的叢集。

  5. 選擇使用叢集範本來佈建叢集並將其附接至工作區。EMR Studio 建立叢集需要幾分鐘的時間。如果使用建立工作區對話方塊,請選擇建立工作區以建立工作區並佈建叢集。EMR Studio 佈建新叢集後,會將叢集連接至工作區。

從 EMR Studio Workspace 分離運算

若要交換附接至工作區的叢集,可以從工作區使用者介面中分離叢集。

從工作區中分離叢集
  1. 在您要從叢集分離的工作區中,從左側側邊欄中選擇EMR叢集圖示,以開啟叢集面板。

  2. 選取叢集 下,選擇分離並等待 EMR Studio 分離叢集。分離叢集後,將看到成功訊息。

將 EMR Serverless 應用程式與 EMR Studio Workspace 分離

若要交換附接至工作區的運算,可以從工作區使用者介面中分離應用程式。

  1. 在您要從叢集分離的工作區中,從左側側邊欄中選擇 Amazon EMR運算圖示,以開啟運算面板。

  2. 選取運算 下,選擇分離並等待 EMR Studio 分離應用程式。分離應用程式後,將看到成功訊息。