テーブルの場所とパーティショニングレベルの指定

デフォルトでは、クローラーが Amazon S3 に保存されているデータのテーブルを定義すると、クローラーはスキーマをマージし、最上位のテーブル () を作成しようとしますyear=2019。場合によっては、フォルダ month=Jan のテーブルをクローラーが作成することを期待することがありますが、兄弟フォルダ (month=Mar) が同じテーブルにマージされているので、代わりにクローラーはパーティションを作成します。

テーブルレベルのクローラーオプションを使用すると、クローラーにテーブルの配置場所やパーティションの作成方法を柔軟に指定できます。テーブルレベル を指定すると、その絶対レベルにAmazon S3 バケットからテーブルが作成されます。

コンソールでクローラーを設定するとき、テーブルレベル クローラーオプションの値を指定できます。値は、テーブルの場所 (データセット内の絶対レベル) を示す正の整数である必要があります。最上位レベルのフォルダのレベルは 1 です。例えば、mydataset/year/month/day/hour というパスで、レベルが 3 に設定されている場合、テーブルは mydataset/year/month という場所に作成されます。