Spark スクリプトのプログラミング - AWS Glue

Spark スクリプトのプログラミング

AWS Glue では、テストや実行に加えて、抽出、変換、ロード (ETL) スクリプトの書き込みや自動生成を簡単に行えます。このセクションでは、AWS Glue に導入された Apache Spark の拡張機能について説明し、ETL スクリプトを Python と Scala でコーディングし実行する方法の例を示します。

重要

AWS Glue の異なるバージョンでは、Apache Spark の異なるバージョンがサポートされます。カスタムスクリプトは、サポートされている Apache Spark バージョンと互換性がある必要があります。AWS Glue バージョンの詳細については、「Glue version job property」を参照してください。