制約事項 - AWS Glue
Lake Formation の許可によって管理されるデータレイク形式のテーブルの制限事項

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

制約事項

AWS Glue でデータレイクフレームワークを使用する際には、以下の制限を考慮してください。

  • DynamicFrame の次の AWS Glue GlueContext メソッドは、データレイクフレームワークテーブルの読み取りと書き込みをサポートしていません。代わりに、DataFrame または Spark DataFrame API については GlueContext メソッドを使用します。

    • create_dynamic_frame.from_catalog

    • write_dynamic_frame.from_catalog

    • getDynamicFrame

    • writeDynamicFrame

  • DataFrame の次の GlueContext メソッドは、Lake Formation の許可のコントロールでサポートされています。

    • create_data_frame.from_catalog

    • write_data_frame.from_catalog

    • getDataFrame

    • writeDataFrame

  • 小さなファイルのグループ化は、サポートされません。

  • ジョブのブックマークはサポートされません。

  • Apache Hudi 0.10.1 for AWS Glue 3.0 では、Hudi Merge on Read (MoR) テーブルはサポートされていません。

  • Apache Iceberg 0.13.1 for AWS Glue 3.0 では、ALTER TABLE … RENAME TO を使用できません。

Lake Formation の許可によって管理されるデータレイク形式のテーブルの制限事項

データレイク形式は、Lake Formation の許可を介して AWS Glue ETL と統合されます。create_dynamic_frame を使用した DynamicFrame の作成はサポートされていません。詳細については、次の例を参照してください。

注記

Apache Hudi、Apache Iceberg、Delta Lake の Lake Formation 許可による AWS Glue ETLとの統合は、AWS Glue バージョン 4.0 でのみサポートされています。

Apache Iceberg は、Lake Formation の許可を介して AWS Glue ETL と最適に統合されています。ほぼすべてのオペレーションをサポートしており、SQL サポートも含まれています。

Hudi は、管理オペレーションを除くほとんどの基本オペレーションをサポートします。これは、これらのオプションが通常、データフレームの書き込みを介して実行され、additional_options を介して指定されるためです。SparkSQL はサポートされていないため、オペレーションのために AWS Glue API を使用して DataFrame を作成する必要があります。

Delta Lake は、テーブルデータの読み取り、付加、および上書きのみをサポートします。Delta Lake では、更新などのさまざまなタスクを実行できるように独自のライブラリを使用する必要があります。

次の機能は、Lake Formation の許可によって管理される Iceberg テーブルでは使用できません。

  • AWS Glue ETL を使用した圧縮

  • AWS Glue ETL を介した Spark SQL サポート

Lake Formation の許可によって管理される Hudi テーブルの制限は次のとおりです。

  • 孤立したファイルの削除

Lake Formation の許可によって管理される Delta Lake テーブルの制限は次のとおりです。

  • Delta Lake テーブルの挿入と読み取り以外のすべての機能。