AWS GlueSpark と PySpark のジョブ

AWS Glue は Spark および PySpark のジョブをサポートします。Spark ジョブは、AWS Glue によって管理される Apache Spark 環境で実行されます。データはバッチで処理されます。ストリーミング ETL ジョブは Spark ジョブに似ていますが、データストリームで ETL を実行する点が異なります。このタイプのジョブでは Apache Spark 構造化ストリーミングフレームワークが使用されます。一部の Spark ジョブ機能は、ストリーミング ETL ジョブでは使用できません。

以下のセクションでは、AWS GlueSpark と PySpark のジョブについて説明します。