本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用爬行者程式新增表格
AWS Glue 搜尋器可協助探索資料集的結構描述,並將其註冊為「 AWS Glue 資料目錄」中的資料表。爬蟲程式可逐一瀏覽您的資料,並判斷結構描述。此外,爬蟲程式可偵測和登錄分割區。如需詳細資訊,請參閱《AWS Glue 開發人員指南》中的定義爬蟲程式。可從 Athena 查詢來自已成功編目的資料的資料表。
注意
Athena 無法辨識您為 AWS Glue 爬行者程式指定的排除模式。例如,如果您的 Simple Storage Service (Amazon S3) 儲存貯體同時包含 .csv
和 .json
檔案,並且您將 .json
檔案從爬蟲程式中排除,Athena 會查詢這兩個檔案群組。若要避免這種情況,請將您要排除的檔案放在不同的位置。
建立 AWS Glue 爬行者程式
您可以從 Athena 主控台開始建立爬蟲程式,然後以整合方式使用 AWS Glue 主控台。建立爬蟲程式時,需要在 Amazon S3 中指定要網路爬取的資料位置。
從 Athena 主控台 AWS Glue 開始建立爬蟲程式
在 https://console.aws.amazon.com/athena/
中開啟 Athena 主控台。 -
在查詢編輯器中,選擇位於資料表和檢視旁的建立,然後選擇 AWS Glue 爬蟲程式。
-
在 AWS Glue 主控台的 Add crawler (新增爬蟲程式) 頁面上,依照步驟建立爬蟲程式。如需詳細資訊,請參閱本指南中的使用 AWS Glue 爬行程式和填入AWS Glue開發人員指南 AWS Glue Data Catalog中的。
注意
Athena 無法辨識您為 AWS Glue 爬行者程式指定的排除模式。例如,如果您的 Simple Storage Service (Amazon S3) 儲存貯體同時包含 .csv
和 .json
檔案,並且您將 .json
檔案從爬蟲程式中排除,Athena 會查詢這兩個檔案群組。若要避免這種情況,請將您要排除的檔案放在不同的位置。
AWS Glue 搜索之後,爬行者程式會自動指派特定資料表中繼資料,以協助使其與 Apache Hive、Presto 和 Spark 等其他外部技術相容。有時爬蟲程式可能不正確地指派中繼資料屬性。在使用 Athena 查詢資料表之 AWS Glue 前,請手動更正中的屬性。如需詳細資訊,請參閱《AWS Glue 開發人員指南》中的檢視與編輯資料表詳細資訊。
AWS Glue 當CSV文件在每個數據字段周圍都有引號時,可能會錯誤地分配元數據,從而導致serializationLib
屬性錯誤。如需詳細資訊,請參閱處理引號中的CSV數據。