步骤 2：选择数据源和分类器

为 “您的数据是否已映射到” 选择相应的选项 AWS Glue 桌子？ 选择 “还没有” 或 “是”。默认情况下已选择“尚未”。

爬网程序可以直接访问数据存储作为爬取的源，也可以使用数据目录中的现有表作为源。如果爬网程序使用现有目录表，它将爬取由这些目录表指定的数据存储。

要使用 Delta 表，请先使用 At DDL hena 或创建增量表。 AWS Glue API

使用 Athena，将位置设置为你的 Amazon S3 文件夹，将表格类型设置为 “”。DELTA

CREATE EXTERNAL TABLE database_name.table_name
LOCATION 's3://bucket/folder/'
TBLPROPERTIES ('table_type' = 'DELTA')

使用 AWS Glue API，在表参数映射中指定表类型。表参数需要包含以下键/值对。有关如何创建表的更多信息，请参阅有关 create_table 的 Boto3 文档。

{
    "table_type":"delta"
}

选择或添加要由爬网程序扫描的数据源列表。

（可选）如果您选择JDBC作为数据源，则可以在指定存储JDBC驱动程序信息的 Connection 访问权限时使用自己的驱动程序。

在评估要在爬取中包含或排除的内容时，爬网程序首先评估所需的包含路径。对于 Amazon S3、MongoDB、MongoDB Atlas、Amazon DocumentDB（与 MongoDB 兼容）和关系数据存储，您必须指定包含路径。

对于JDBC数据存储，语法为database-name/schema-name/table-name或database-name/table-name。语法取决于数据库引擎是否支持数据库中的架构。例如，对于 My SQL 或 Oracle 等数据库引擎，请不要schema-name在包含路径中指定。您可以用百分号 (%) 取代包含路径中的架构或表，以表示数据库中的所有架构或所有表。您不能用百分号 (%) 取代包含路径中的数据库。

定义爬网程序可以遍历的最大 Amazon S3 路径深度，以发现 Amazon S3 路径中的 Iceberg 或 Hudi 元数据文件夹。此参数的目的是限制爬网程序的运行时间。默认值为 10；最大值为 20。

您可以使用这些模式从爬取中排除某些文件或表。排除路径与包含路径是相对的。例如，要排除JDBC数据存储中的表，请在排除路径中键入表名。

Crawler 使用连接到JDBC数据存储 AWS Glue 包含连接字符串的JDBCURI连接。Crawler 只能使用数据库引擎中的JDBC用户名和密码访问数据库引擎中的对象 AWS Glue 连接。Crawler 只能创建它可以通过JDBC连接访问的表。Crawler 使用访问数据库引擎后 JDBCURI，将使用包含路径来确定数据库引擎中的哪些表是在数据目录中创建的。例如，使用 “我的”SQL，如果将包含路径指定为MyDatabase/%，则其中的所有表都将在MyDatabase数据目录中创建。访问 Amazon Redshift 时，如果您指定包含路径 MyDatabase/%，则数据库 MyDatabase 的所有架构中的所有表都是在数据目录中创建的。如果您指定包含路径 MyDatabase/MySchema/%，则会创建数据库 MyDatabase 和架构 MySchema 中的所有表。

指定包含路径后，您可以通过指定一个或多个 Unix 样式 glob 排除模式，从网络爬取中排除对象 (否则您的包含路径会包括它)。这些模式应用于您的包含路径，以确定哪些对象被排除。这些模式也会存储为由爬网程序创建的表的属性。AWS Glue PySpark 扩展，例如create_dynamic_frame.from_catalog，读取表格属性和排除排除模式定义的对象。

AWS Glue 在排除glob模式中支持以下模式。

AWS Glue 按如下方式解释glob排除模式：

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table

每种源类型都需要一组不同的附加参数。

选择或添加 AWS Glue 连接。有关连接的信息，请参阅 连接到数据。

选择爬网程序要爬取的其他元数据属性。

键入用于连接数据源的爬网程序的自定义JDBC驱动程序类名：

选择 .jar 文件的现有 Amazon S3 路径。使用自定义JDBC驱动程序让 Crawler 连接到数据源时，.jar文件将存储在这里。

选择是否仅对数据样本进行爬网。如果未选择该选项，则对整个表进行爬网。当表不是高吞吐量表时，扫描所有记录会花费很长时间。

选择要如何创建 Delta Lake 表：

指定爬网程序使用的 DynamoDB 表读取容量单位的百分比。读取容量单位是一个由 DynamoDB 定义的术语，它是一个数值，用作每秒可对表执行的读取次数的速率限制器。请输入介于 0.1 和 1.5 之间的值。如果未指定，则该值默认为 0.5（对于预置的表）和配置的最大容量的 1/4（对于按需表）。请注意，只能对 AWS Glue 爬网程序使用预置容量模式。

可以包括一个用于此 Amazon S3 目标的网络连接。请注意，每个爬网程序仅限于一个网络连接，因此任何其他 Amazon S3 目标也将使用相同的连接（如果留空，则不使用任何连接）。

有关连接的信息，请参阅 连接到数据。

指定爬取数据集中的示例文件时要网络爬取的每个叶文件夹中的文件数。启用此功能后，爬网程序会随机选择每个叶文件夹中的一些文件进行网络爬取，而不是网络爬取此数据集中的所有文件。

采样爬网程序最适合于先前了解其数据格式并知道其文件夹中的架构不会更改的客户。启用此功能将显著减少爬网程序运行时间。

有效值是介于 1 到 249 之间的整数。如果未指定，则对所有文件进行爬取。

此字段是影响所有 Amazon S3 数据源的全局字段。

您可以先定义自定义分类器，然后再定义爬网程序。分类器检查爬网程序是否可以处理给定文件的格式。如果可以处理，分类器将以与该数据格式匹配的 StructType 对象的形式创建一个模式。

有关更多信息，请参阅 定义和管理分类器。