クローラーによって設定されたデータカタログテーブルのパラメータ
これらのテーブルプロパティは、AWS Glue クローラーによって設定されます。ユーザーが classification および compressionType プロパティを使用することを想定しています。テーブルサイズの推定値など、その他のプロパティは内部計算に使用されるものであり、その精度やお客様のユースケースへの適用性は保証されません。これらのパラメータを変更すると、クローラーの動作が変わる可能性があるため、このワークフローはサポートされません。
| プロパティキー | プロパティ値 |
|---|---|
UPDATED_BY_CRAWLER |
更新を実行するクローラーの名前。 |
connectionName |
データストアに接続するために使用されるクローラーのデータカタログ内にある接続名。 |
recordCount |
ファイルサイズとヘッダーに基づいた、テーブル内の推定レコード数。 |
skip.header.line.count |
スキップヘッダーにスキップされた行数。CSV に分類されたテーブルに設定します。 |
CrawlerSchemaSerializerVersion |
内部使用目的 |
classification |
クローラーによって推測されたデータの形式。AWS Glue クローラーでサポートされるデータ形式の詳細については、「組み込み分類子」を参照してください。 |
CrawlerSchemaDeserializerVersion |
内部使用目的 |
sizeKey |
クロールされたテーブル内のファイルの合計サイズ。 |
averageRecordSize |
テーブル内の行の平均サイズ (バイト単位)。 |
compressionType |
テーブル内のデータで使用される圧縮タイプ。AWS Glue クローラーでサポートされる圧縮タイプの詳細については、「組み込み分類子」を参照してください。 |
typeOfData |
|
objectCount |
テーブルの Amazon S3 パスの下にあるオブジェクトの数。 |
これらの追加のテーブルプロパティは、Snowflake データストアの AWS Glue クローラーによって設定されます。
| プロパティキー | プロパティ値 |
|---|---|
aws:RawTableLastAltered |
Snowflake テーブルの最後に変更されたタイムスタンプを記録します。 |
ViewOriginalText |
SQL ステートメントを表示します。 |
ViewExpandedText |
Base64 形式でエンコードされた SQL ステートメントを表示します。 |
ExternalTable:S3Location |
Snowflake 外部テーブルの Amazon S3 の場所。 |
ExternalTable:FileFormat |
Snowflake 外部テーブルの Amazon S3 ファイル形式。 |
これらの追加のテーブルプロパティは、Amazon Redshift、Microsoft SQL Server、MySQL、PostgreSQL、Oracle などの JDBC タイプのデータストアの AWS Glue クローラーによって設定されます。
| プロパティキー | プロパティ値 |
|---|---|
aws:RawType |
クローラーがデータカタログにデータを保存すると、データ型が Hive 互換型に変換されるため、ネイティブデータ型の情報が失われることがよくあります。クローラーは、ネイティブレベルのデータ型を提供する |
aws:RawColumnComment |
コメントがデータベース内の列に関連付けられている場合、クローラーはカタログテーブル内の対応するコメントを出力します。コメント文字列は 255 バイトに切り捨てられます。 Microsoft SQL Server ではコメントはサポートされていません。 |
aws:RawTableComment |
コメントがデータベース内のテーブルに関連付けられている場合、クローラーはカタログテーブル内の対応するコメントを出力します。コメント文字列は 255 バイトに切り捨てられます。 Microsoft SQL Server ではコメントはサポートされていません。 |
