本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
排程爬蟲程式,讓 AWS Glue Data Catalog 和 Amazon S3 保持同步
AWS Glue 爬蟲程式可以設定為按排程或隨需執行。如需詳細資訊,請參閱《AWS Glue 開發人員指南》中的任務和爬蟲程式的時間排程。
如果您有資料在固定時間抵達分割的資料表,您可以設定 AWS Glue 爬蟲程式以按排程執行,以偵測和更新資料表分割區。您不再需要花費大量時間和金錢執行 MSCK REPAIR
命令,也不需要再手動執行 ALTER TABLE ADD PARTITION
命令。如需詳細資訊,請參閱《AWS Glue 開發人員指南》中的資料表分割區。