AWS Glue バージョン
AWS Glue バージョンパラメータは、ジョブを追加または更新するときに設定できます。AWS Glueバージョンにより、AWS Glueがサポートする Apache Spark と Python のバージョンが決定されます。Python バージョンは、Spark タイプのジョブでサポートされるバージョンを示します。次の表に、使用可能な AWS Glue のバージョン、対応する Spark と Python のバージョン、および機能上のその他の変更点を示します。
AWS Glue バージョン
AWS Glue バージョン | サポートされているランタイム環境バージョン | サポートされている Java バージョン | 機能の変更 |
---|---|---|---|
AWS Glue 5.0 |
|
Java 17 |
フレームワークへのアップグレードに加えて、この AWS Glue リリースでは、以下の最適化とアップグレードが組み込まれています。
制限AWS Glue 5.0 での制限事項は以下のとおりです。
AWS Glue バージョン 5.0 への移行に関する詳細については、「Spark ジョブの AWS Glue の AWS Glue バージョン 5.0 への移行」を参照してください。 |
AWS Glue 4.0 | Spark 環境バージョン
|
Java 8 |
AWS Glue 4.0 では、AWS Glue リリースで次のような多くの最適化とアップグレードが組み込まれています。
制限AWS Glue 4.0 での制限事項を次に示します。
AWS Glue バージョン 4.0 への移行に関する詳細については、「Spark ジョブの AWS Glue の AWS Glue バージョン 4.0 への移行」を参照してください。 |
Ray 環境バージョン
|
該当なし |
AWS Glue for Ray を使用して分散型 Python アプリケーションをビルドして実行します。
AWS Glue 4.0 での Ray ジョブの制限事項
|
|
AWS Glue 3.0 |
|
Java 8 |
Spark エンジン 3.0 へのアップグレードに加えて、この AWS Glue リリースでは、以下の最適化とアップグレードが行われています。
制限以下に、AWS Glue 3.0での制限事項を示します。
|
AWS Glue 2.0 (非推奨、サポート終了) |
|
該当なし |
AWS Glue バージョン 2.0 では、AWS Glue バージョン 1.0 で提供される機能に加えて次の機能も提供されます。
注記基礎となるアーキテクチャの変更に伴い、AWS Glue バージョン 2.0 での一部の依存関係とバージョンが、AWS Glue バージョン 1.0 から変更されています。AWS Glue のメジャーバージョンリリース間での移行の前に、AWS Glue ジョブの検証を行ってください。 |
AWS Glue 1.0 (非推奨、サポート終了) |
|
該当なし |
AWS Glue ETL ジョブ (AWS Glue バージョン 1.0 を使用) には、Parquet 形式と ORC 形式のジョブのブックマークを維持できます。これまで AWS Glue ETL ジョブでは、JSON、CSV、Apache Avro、XML などの一般的な Amazon S3 ソース形式のみのブックマークが可能でした。 ETL 入力および出力の形式オプションを設定する際に、Apache Avro のリーダー/ライター形式 1.8 を使用して Avro 論理型の読み取りと書き込みをサポートするように指定できます (AWS Glue バージョン 1.0 を使用)。以前は、バージョン 1.7 Avro リーダー/ライター形式のみがサポートされていました。 DynamoDB 接続タイプは、(AWS Glue バージョン 1.0 を使用する) ライターオプションをサポートします。 制限AWS Glue 1.0 での制限事項を次に示します。
|
AWS Glue 0.9 (非推奨、サポート終了) |
|
該当なし |
AWS Glue バージョンを指定せずに作成されたジョブは、デフォルトで AWS Glue 0.9 に設定されます。 制限AWS Glue 0.9 での制限事項を次に示します。
|
注記
次の Glue バージョンは、PythonShell のこれらのバージョンをサポートしています。
PythonShell v3.6 は Glue バージョン 1.0 でサポートされています。
PythonShell v3.9 は Glue バージョン 3.0 でサポートされています。
さらに、開発エンドポイントは Glue バージョン 1.0 および 0.9 でのみサポートされています。