步驟 2：選擇資料來源和分類器

選取適當的選項，以判斷您的資料是否已映射至 AWS Glue 資料表？選擇「尚未」或「是」。依預設已選取「尚未」。

爬蟲程式可以直接存取資料存放區做為抓取來源，也可以使用現有的 Data Catalog 資料表做為來源。如果爬蟲程式使用現有的目錄資料表，即會抓取這些目錄資料表指定的資料存放區。

若要使用 Delta 資料表，請先使用 Athena DDL或 建立 Delta 資料表 AWS Glue API。

使用 Athena，將位置設定為 Amazon S3 資料夾，並將資料表類型設定為 'DELTA'。

CREATE EXTERNAL TABLE database_name.table_name
LOCATION 's3://bucket/folder/'
TBLPROPERTIES ('table_type' = 'DELTA')

使用 AWS Glue API，在資料表參數映射中指定資料表類型。資料表參數需要包含下列索引鍵/值對。如需如何建立資料表的詳細資訊，請參閱 create_table 的 Boto3 文件。

{
    "table_type":"delta"
}

選取或新增爬蟲程式要掃描的資料來源清單。

（選用） 如果您選擇 JDBC作為資料來源，您可以在指定存放JDBC驅動程式資訊的連線存取時使用自己的驅動程式。

在評估抓取要包含或排除的內容時，爬蟲程式會先評估必要的包含路徑。對於 Amazon S3、MongoDB、MongoDB Atlas、Amazon DocumentDB (with MongoDB compatibility) 和關聯式資料存放區，您必須指定包含路徑。

對於JDBC資料存放區，語法為 database-name/schema-name/table-name或 database-name/table-name。語法取決於資料庫引擎在資料庫中是否支援結構描述。例如，對於 My SQL或 Oracle 等資料庫引擎，請勿在包含路徑的 schema-name中指定 。您可以在包含路徑中針對結構描述或資料表替代百分比符號 (%)，以代表資料庫中的所有結構描述或所有資料表。您不能替代包含路徑中資料庫的百分比符號 (%)。

定義爬蟲程式可在 Amazon S3 路徑中周遊探索 Iceberg 或 Hudi 中繼資料資料夾的 Amazon S3 路徑深度上限。此參數的用途是限制爬蟲程式執行時間。預設值為 10，最大值為 20。

這些模式可讓您排除抓取特定檔案或資料表。排除路徑是相對於包含路徑。例如，若要在JDBC資料存放區中排除資料表，請在排除路徑中輸入資料表名稱。

爬蟲程式會使用 連線至JDBC資料存放區 AWS Glue 包含連線字串的JDBCURI連線。爬蟲程式只能使用 中的JDBC使用者名稱和密碼存取資料庫引擎中的物件 AWS Glue 連線。爬蟲程式只能建立可透過JDBC連線存取的資料表。爬蟲程式使用 JDBC 存取資料庫引擎後URI， 包含路徑會用來判斷資料庫引擎中的哪些資料表是在 Data Catalog 中建立。例如，使用我的 SQL，如果您指定包含 的路徑MyDatabase/%，則 中的所有資料表MyDatabase都會在 Data Catalog 中建立。存取 Amazon Redshift 時，如果您指定 MyDatabase/% 的包括路徑，則資料庫 MyDatabase 所有結構描述中的所有資料表會在 Data Catalog 中建立。如果您指定 MyDatabase/MySchema/% 的包括路徑，則資料庫 MyDatabase 中的所有資料表和結構描述 MySchema 會加以建立。

在指定包含路徑後，您可以指定一個或多個 Unix 樣式的 glob 排除模式，從包含路徑包含的抓取中排除物件。這些模式會套用至您的包含路徑，以判斷哪些物件被排除。這些模式也會在爬蟲程式所建立的表格中儲存為屬性。AWS Glue PySpark 延伸模組，例如 create_dynamic_frame.from_catalog，讀取資料表屬性並排除排除模式定義的物件。

AWS Glue 在排除glob模式中支援下列模式。

AWS Glue 解譯glob排除模式，如下所示：

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table

每個來源類型都需要一組不同的附加參數。

選取或新增 AWS Glue 連線。如需連線的詳細資訊，請參閱 連線至資料。

選取要網路爬取的其他爬蟲程式中繼資料屬性。

輸入要連線至資料來源的爬蟲程式自訂JDBC驅動程式類別名稱：

選擇 .jar 檔案的現有 Amazon S3 路徑。這是使用自訂JDBC驅動程式讓爬蟲程式連線至資料來源時，.jar檔案將存放的位置。

選取是否只編目資料範例。如果未選取，則會編目整個資料表。當資料表不是高傳輸量資料表時，掃描所有記錄可能需要很長的時間。

選取建立 Delta Lake 資料表的方式：

指定爬蟲程式要使用的 DynamoDB 資料表讀取容量單位百分比。讀取容量單位是 DynamoDB 定義的術語，此數值可作為每秒可在該資料表上執行的讀取次數速率限制符號。請輸入介於 0.1 到 1.5 之間的值。如果未指定，則佈建資料表預設為 0.5，而隨需資料表則預設為最大設定容量的 1/4。請注意，僅佈建的容量模式應與 AWS Glue 爬蟲程式搭配使用。

選擇是否包含要用於此 Amazon S3 目標的網路連線。請注意，每個爬蟲程式僅限於一個網路連線，因此任何其他 Amazon S3 目標也會使用相同的連線 (如果保留空白，則無連線)。

如需連線的詳細資訊，請參閱 連線至資料。

指定在資料集中網路爬取範例檔案時，每個分葉資料夾中要編目的檔案數目。開啟此功能時，爬蟲程式會隨機選取每個分葉資料夾中要網路爬取的某些檔案，而不是網路爬取此資料集中的所有檔案。

取樣爬蟲程式最適合先前了解其資料格式，並且知道資料夾中的結構描述不會變更的客戶。開啟此功能會大幅減少爬蟲程式執行時間。

有效值是介於 1 到 249 之間的整數。如果未指定，則會網路爬取所有檔案。

此欄位是會影響所有 Amazon S3 資料來源的全域欄位。

定義自訂分類器，再定義爬蟲程式。分類器會檢查指定的檔案是否採用爬蟲程式可以處理的格式。如果是，則分類器會以符合該資料格式的 StructType 物件形式，建立結構描述。

如需詳細資訊，請參閱定義和管理分類器。