將運算連接到工作EMR室工作區 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

將運算連接到工作EMR室工作區

Amazon EMR Studio 會使用EMR叢集上的核心執行筆記本命令。在選取核心之前,應將工作區連接到使用 Amazon EC2 執行個體的叢集、EKS叢集EMR上的 Amazon 或EMR無伺服器應用程式。EMRStudio 可讓您將工作區附加到新的或現有的叢集,並提供您在不關閉工作區的情況下變更叢集的彈性。

本節涵蓋下列主題,可協助您使用和佈建 EMR Studio 叢集:

將 Amazon EC2 群集附加到工作EMR室工作區

您可以在建立工作區時將 Amazon 上執行的EMR叢集連接EC2到工作區,或將叢集附加到現有的工作區。若希望建立並附接叢集,請參閱 建立新EMR叢集並將其連接至 EMR Studio 工作區

注意

Studio 中啟用IAM身分識別中心信任身分識別傳播的工作區只能連接至已啟用身分識別中心的安全性組態的EMR叢集。

On create
在建立工作區時連接到 Amazon EMR 運算叢集
  1. 建立工作區對話方塊中,確定已為新工作區選取子網路。展開進階設定區段。

  2. 選擇將工作區附加至EMR叢集

  3. EMR叢集下拉式清單中,選取要連接至工作區的現有EMR叢集。

附接叢集之後,請完成工作區的建立。當您第一次開啟新的 Workspace 並選擇EMR叢集面板時,您應該會看到已連接選取的叢集。

On launch
在啟動工作區時連接到 Amazon EMR 運算叢集
  1. 導覽至工作區清單,然後為要啟動的工作區選取列。然後,選取啟動工作區 > 使用選項啟動

  2. 選擇要連接至您的工作區的EMR叢集。

附接叢集之後,請完成工作區的建立。當您第一次開啟新的 Workspace 並選擇EMR叢集面板時,您應該會看到已連接選取的叢集。

In JupyterLab
將工作區附加到 Amazon EMR 運算叢集 JupyterLab
  1. 選取工作區,然後選取啟動工作區 > 快速啟動

  2. 在裡面 JupyterLab,打開群集左側邊欄中的選項卡。

  3. 選取EC2叢集EMR上的下拉式清單,或選取EKS叢集EMR上的 Amazon。

  4. 選擇附接,將叢集附接至工作區。

附接叢集之後,請完成工作區的建立。當您第一次開啟新的 Workspace 並選擇EMR叢集面板時,您應該會看到已連接選取的叢集。

In the Workspace UI
從工作區使用者介面將工作區附加到 Amazon EMR 運算叢集
  1. 在您要附加至叢集的工作區中,從左側邊列EMR選擇叢集圖示以開啟「叢集」面板。

  2. 在 [叢集類型] 下,展開下拉式清單並選取 [開啟EMREC2叢集]

  3. 從下拉式清單中選擇叢集。可能需要先分離現有叢集,才能啟用叢集選取下拉式清單。

  4. 選擇 Attach (連接)。附接叢集後,應該會看到成功訊息出現。

將EKS叢集EMR上的 Amazon 連接到工作EMR室工作區

除了使用在 Amazon 上執行的 Amazon EMR 叢集之外EC2,您還可以將工作區連接到EKS叢集EMR上的 Amazon 以執行筆記本程式碼。有關 Amazon 的更多信EMR息EKS,請參閱 Amazon EMR 在什麼是EKS

您的 Studio 管理員必須授予您存取權限,才能將工作區連線到EKS叢集EMR上的 Amazon。

注意

您無法在使用IAM身分識別中心受信任身分傳播的 EMR Studio 中啟動 Amazon EMR 上的EKS叢集。

On create
若要在建立工作區時EMR在EKS叢集上連接 Amazon
  1. 建立工作區對話方塊中,展開進階組態區段。

  2. 選擇將工作區附加到EKS叢集EMR上的 Amazon

  3. EMR在EKS叢集上的 Amazon 下,從下拉式清單中選擇叢集。

  4. 選取端點下,選擇要附接至工作區的受管端點。受管理端點是可讓 EMR Studio 與您選擇的叢集通訊的閘道。

  5. 選擇建立工作區以完成工作區建立程序並附接所選叢集。

附接叢集之後,請完成工作區建立程序。當您第一次開啟新的 Workspace 並選擇EMR叢集面板時,您應該會看到您選取的叢集已連接。

In the Workspace UI
從工作區使用者介面連接EKS叢集EMR上的 Amazon
  1. 在您要附加至叢集的工作區中,從左側邊列EMR選擇叢集圖示以開啟「叢集」面板。

  2. 展開 [叢集類型] 下拉式清單,然後選擇 EMR [開啟 EKS

  3. 在 [EMR叢集開啟] 下EKS,從下拉式清單中選擇叢集。

  4. 端點下,選擇要附接至工作區的受管端點。受管理端點是可讓 EMR Studio 與您選擇的叢集通訊的閘道。

  5. 選擇 Attach (連接)。附接叢集後,應該會看到成功訊息出現。

將 Amazon EMR 無伺服器應用程式連接至EMR工作室工作區

您可以將 Workspace 附加至EMR無伺服器應用程式以執行互動式工作負載。如需詳細資訊,請參閱使用筆記本透過 EMR Studio 透過EMR無伺服器執行互動式工作負載

注意

您無法將EMR無伺服器應用程式附加至使用IAM身分識別中心信任身分傳播的 EMR Studio。

範例 將工作區附加至EMR無伺服器應用程式 JupyterLab

在您可以將 Workspace 連線到EMR無伺服器應用程式之前,您的帳戶管理員必須授予您存取權限,如互動式工作負載的必要權限中所述。

  1. 導覽至 EMR Studio,選取您的工作區,然後選取啟動工作區 > 快速啟動

  2. 在裡面 JupyterLab,打開群集左側邊欄中的選項卡。

  3. 選取「EMR無伺服器」作為運算選項,然後選取EMR無伺服器應用程式和執行時期角色。

  4. 若要將叢集附接至工作區,請選擇附接

現在,當您開啟此工作區時,應該會看到所選應用程式已附接。

建立新EMR叢集並將其連接至 EMR Studio 工作區

進階 EMR Studio 使用者可以佈建在 Amazon 上執行的新EMR叢集,以EC2便與工作區搭配使用。新叢集具有預設安裝 EMR Studio 所需的所有大數據應用程式。

若要建立叢集,Studio 管理員必須先使用工作階段政策授予您許可。如需詳細資訊,請參閱為 EMR Studio 使用者建立權限原則

可以在建立工作區對話方塊中或從工作區使用者介面的叢集面板中建立新叢集。無論採用哪種方式,都有兩個叢集建立選項:

  1. 建立EMR叢集 — 透過選擇 Amazon EC2 執行個體類型和計數來建立EMR叢集。

  2. 使用叢集範本 - 透過選取預先定義的叢集範本來佈建叢集。如果您擁有使用叢集範本的許可,就會顯示此選項。

    注意

    如果您使用 Studio 的身分識IAM別中心啟用受信任的身分識別傳播,則必須使用範本來建立叢集。

透過提供EMR叢集配置來建立叢集
  1. 選擇起點。

    若要... 執行此作業...
    使用建立工作區對話方塊建立工作區時會建立叢集。 展開 [建立工作區] 對話方塊中的 [進階組態] 區段,然後選取 [建立EMR叢集]。
    建立工作區後,從工作區 UI 中的EMR叢集面板建立叢集。 在開啟的 Workspace 左側邊欄中選擇 [EMR叢集] 索引標籤,展開 [進階設定] 區段,然後選擇 [建立叢集]。
  2. 輸入叢集名稱。命名叢集可協助您稍後在 EMR Studio 叢集清單中找到它。

  3. 對於 Amazon EMR 發行版本,請為叢集選擇 Amazon EMR 發行版本。

  4. 針對行個體,選取叢集的 Amazon EC2 執行個體類型和數量。如需有關選取執行個體類型的詳細資訊,請參閱 配置 Amazon EC2 實例。一個執行個體將用作主節點。

  5. 選取 EMR Studio 可啟動新叢集的子網路。Studio 管理員會預先核准每個子網路選項,工作區應該能夠連接到任何已列出的子網路中的叢集。

  6. 選擇 S3 作URI為日誌儲存

  7. 選擇建立EMR叢集以佈建叢集。如果使用建立工作區對話方塊,請選擇建立工作區以建立工作區並佈建叢集。EMRStudio 佈建新叢集之後,它會將叢集附加至工作區。

使用叢集範本來建立叢集
  1. 選擇起點。

    若要... 執行此作業...
    使用建立工作區對話方塊建立工作區時會建立叢集。 展開建立工作區對話方塊中的進階組態區段,然後選取使用叢集範本
    從工作區 UI 中的EMR叢集面板建立叢集。 在開啟的 Workspace 左側邊欄中選擇 [EMR叢集] 索引標籤,展開 [進階設定] 區段,然後選擇 [叢集範本]。
  2. 從下拉式清單中選取叢集範本。每個可用叢集範本都包含簡短說明,以協助您進行選取。

  3. 您選擇的叢集範本可能有其他參數,例如 Amazon EMR 發行版本或叢集名稱。可以選擇或插入值,或使用管理員選取的預設值。

  4. 選取 EMR Studio 可啟動新叢集的子網路。Studio 管理員會預先核准每個子網路選項,工作區應該能夠連接到任何子網路中的叢集。

  5. 選擇使用叢集範本來佈建叢集並將其附接至工作區。這將需要幾分鐘的EMR工作室創建集群。如果使用建立工作區對話方塊,請選擇建立工作區以建立工作區並佈建叢集。EMRStudio 佈建新叢集之後,它會將叢集附加至您的工作區。

從 EMR Studio 工作區中分離計算

若要交換附接至工作區的叢集,可以從工作區使用者介面中分離叢集。

從工作區中分離叢集
  1. 在您要從叢集中分離的工作區中,從左側邊列EMR選擇叢集圖示以開啟「叢集」面板。

  2. [選取叢集] 下,選擇 [卸離],然後等待 EMR Studio 中斷連結叢集。分離叢集後,將看到成功訊息。

從 EMR Studio 工作區中分離EMR無伺服器應用程式

若要交換附接至工作區的運算,可以從工作區使用者介面中分離應用程式。

  1. 在您要從叢集中分離的工作區中,從左側邊欄選擇 Amazon EMR 運算圖示以開啟「運算」面板。

  2. 在 [選取運算] 下,選擇 [卸離],然後等待 EMR Studio 中斷連結應用程式。分離應用程式後,將看到成功訊息。