使用互動式工作階段建置 AWS Glue 任務 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用互動式工作階段建置 AWS Glue 任務

使用 AWS Glue 中的互動式工作階段,資料工程師可以比之前更快、更輕鬆地編寫 AWS Glue 任務。

AWS Glue 互動式工作階段概觀

使用 AWS Glue 互動式工作階段,您可以快速建置、測試和執行資料準備和分析應用程式。互動式工作階段提供用於建置和測試資料準備之擷取、轉換和載入 (ETL) 指令碼的程式化和視覺化介面。互動式工作階段執行 Apache Spark 分析應用程式,並提供對遠端 Spark 執行階段環境的隨需存取權。AWS Glue 透明地管理這些互動式工作階段的無伺服器 Spark。

互動式工作階段具有彈性,因此您可以從選擇的環境建置和測試應用程式。您可以透過 和 API 建立 AWS Command Line Interface 和使用互動式工作階段。您可以使用與 Jupyter 相容的筆記本,以視覺化方式編寫和測試您的筆記本指令碼。互動式工作階段提供了開放原始碼的 Jupyter 核心,其幾乎整合了 Jupyter 所出現的任何地方,包括與 PyCharm、IntelliJ 和 VS Code 等 IDE 整合。這可讓您在本機環境中編寫程式碼,並在互動式工作階段後端順暢地執行程式碼。

使用互動式工作階段 API,客戶可以透過程式設計方式執行使用 Apache Spark 分析的應用程式,而無需管理 Spark 基礎設施。您可以在單一互動式工作階段內執行一或多個 Spark 陳述式。

因此,互動式工作階段提供更快速、便宜、靈活的方式來建置和執行資料準備和分析應用程式。若要了解如何使用互動式工作階段,請參閱本節中的文件。AWS Glue 支援的魔術命令

限制

  • 互動式工作階段中不支援任務書籤。

  • AWS Command Line Interface 不支援使用 建立筆記本任務。

  • AWS Glue Studio 筆記本不支援 Scala。