AWS Glue Spark 和 PySpark 作业

AWS Glue 支持 Spark 和 PySpark 作业。Spark 任务会在由 AWS Glue 托管的 Apache Spark 环境中执行。它将批量处理数据。流式处理 ETL 作业与 Spark 作业类似，只不过前者在数据流上执行 ETL。它使用 Apache Spark Structured Streaming 框架。某些 Spark 作业功能不可用于流式处理 ETL 作业。

以下几个部分提供有关 AWS Glue Spark 和 PySpark 作业的信息。