設定爬行者程式

名稱可包含字母 (A-Z)、數字 (0-9)、連字號 (-) 或底線 (_)，並且長度上限為 255 個字元。

說明最多可有 2,048 個字元。

您可以使用標籤整理和識別資源。如需詳細資訊，請參閱下列內容：

為您的資料是否已對映至AWS Glue表格？ 選擇「尚未」或「是」。依預設已選取「尚未」。

爬蟲程式可以直接存取資料存放區做為抓取來源，也可以使用現有的 Data Catalog 資料表做為來源。如果爬蟲程式使用現有的目錄資料表，即會抓取這些目錄資料表指定的資料存放區。

若要使用差異資料表，請先使用 Athena DDL 或 AWS Glue API.

使用 Athena，將位置設定為您的 Amazon S3 資料夾，並將表格類型設定為 DELTA ''。

CREATE EXTERNAL TABLE database_name.table_name
LOCATION 's3://bucket/folder/'
TBLPROPERTIES ('table_type' = 'DELTA')

使用 AWS Glue API，在表格參數對映中指定表格類型。資料表參數必須包含下列索引鍵/值組。如需如何建立資料表的詳細資訊，請參閱 Create_table 的 Boto3 說明文件。

{
    "table_type":"delta"
}

選取或新增爬蟲程式要掃描的資料來源清單。

(選擇性) 如果您選擇JDBC做為資料來源，則可以在指定儲存JDBC驅動程式資訊的連線存取時使用您自己的驅動程式。

在評估抓取要包含或排除的內容時，爬蟲程式會先評估必要的包含路徑。對於 Amazon S3、MongoDB、MongoDB Atlas、Amazon DocumentDB (with MongoDB compatibility) 和關聯式資料存放區，您必須指定包含路徑。

對於 MongoDB、MongoDB Atlas 和 Amazon DocumentDB (with MongoDB compatibility)，語法是 database/collection。

對於JDBC資料存放區，語法為database-name/schema-name/table-name或database-name/table-name。語法取決於資料庫引擎在資料庫中是否支援結構描述。例如，對於諸如 My SQL 或 Oracle 之類的資料庫引擎，請勿schema-name在包含路徑中指定。您可以在包含路徑中針對結構描述或資料表替代百分比符號 (%)，以代表資料庫中的所有結構描述或所有資料表。您不能替代包含路徑中資料庫的百分比符號 (%)。

定義爬蟲程式可在 Amazon S3 路徑中周遊探索 Iceberg 或 Hudi 中繼資料資料夾的 Amazon S3 路徑深度上限。此參數的用途是限制爬蟲程式執行時間。預設值為 10，最大值為 20。

這些模式可讓您排除抓取特定檔案或資料表。排除路徑是相對於包含路徑。例如，若要排除JDBC資料倉庫中的表格，請在排除路徑中鍵入表格名稱。

爬行者程式會使用包含連接字串的AWS Glue連線連線至JDBC資料倉庫。JDBC URI爬行者程式只能使用AWS Glue連線中的使用JDBC者名稱和密碼存取資料庫引擎中的物件。爬行者程式只能建立可透過JDBC連線存取的表格。爬行者程式使用存取資料庫引擎之後 JDBCURI，會使用包含路徑來決定在「資料目錄」中建立資料庫引擎中的哪些表格。例如，使用 My 時SQL，如果您指定的包括路徑MyDatabase/%，則會在「資料目錄」中建立其中的所有表格。MyDatabase存取 Amazon Redshift 時，如果您指定 MyDatabase/% 的包括路徑，則資料庫 MyDatabase 所有結構描述中的所有資料表會在 Data Catalog 中建立。如果您指定 MyDatabase/MySchema/% 的包括路徑，則資料庫 MyDatabase 中的所有資料表和結構描述 MySchema 會加以建立。

在指定包含路徑後，您可以指定一個或多個 Unix 樣式的 glob 排除模式，從包含路徑包含的抓取中排除物件。這些模式會套用至您的包含路徑，以判斷哪些物件被排除。這些模式也會在爬蟲程式所建立的表格中儲存為屬性。AWS Glue PySpark 副檔名 (例如) 會讀取表格屬性create_dynamic_frame.from_catalog，並排除排除由排除模式定義的物件。

AWS Glue 支援以下在排除模式中的 glob 模式。

AWS Glue 對 glob 排除模式的解譯如下：

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table

每個來源類型都需要一組不同的附加參數。以下提供非完整清單：

選取或新增 AWS Glue 連線。如需連線的詳細資訊，請參閱 連線至資料。

選取要網路爬取的其他爬蟲程式中繼資料屬性。

輸入要連線至資料來源之爬行者程式的自訂JDBC驅動程式類別名稱：

選擇 .jar 檔案的現有 Amazon S3 路徑。這是使用爬行者程式連線至資料來源的自訂JDBC驅動程式時儲存.jar檔案的位置。

選取是否只編目資料範例。如果未選取，則會編目整個資料表。當資料表不是高傳輸量資料表時，掃描所有記錄可能需要很長的時間。

選取建立 Delta Lake 資料表的方式：

指定爬蟲程式要使用的 DynamoDB 資料表讀取容量單位百分比。讀取容量單位是 DynamoDB 定義的術語，此數值可作為每秒可在該資料表上執行的讀取次數速率限制符號。請輸入介於 0.1 到 1.5 之間的值。如未指定，則會將已佈建的資料表預設為 0.5%，並將隨需資料表預設為 1/4 的最大設定容量。請注意，只有佈建的容量模式才能與 AWS Glue 編目器搭配使用。

選擇是否包含要用於此 Amazon S3 目標的網路連線。請注意，每個爬蟲程式僅限於一個網路連線，因此任何其他 Amazon S3 目標也會使用相同的連線 (如果保留空白，則無連線)。

如需連線的詳細資訊，請參閱 連線至資料。

指定在資料集中網路爬取範例檔案時，每個分葉資料夾中要編目的檔案數目。開啟此功能時，爬蟲程式會隨機選取每個分葉資料夾中要網路爬取的某些檔案，而不是網路爬取此資料集中的所有檔案。

取樣爬蟲程式最適合先前了解其資料格式，並且知道資料夾中的結構描述不會變更的客戶。開啟此功能會大幅減少爬蟲程式執行時間。

有效值是介於 1 到 249 之間的整數。如果未指定，則會網路爬取所有檔案。

此欄位是會影響所有 Amazon S3 資料來源的全域欄位。

定義自訂分類器，再定義爬蟲程式。分類器會檢查指定的檔案是否採用爬蟲程式可以處理的格式。如果是，則分類器會以符合該資料格式的 StructType 物件形式，建立結構描述。

如需詳細資訊，請參閱 定義和管理分類器。

爬蟲程式會擔任此角色。它必須具有類似於 AWS 受管理策略的權限AWSGlueServiceRole。對於 Amazon S3 和 DynamoDB 來源，它也必須具有存取資料存放區的許可。如果爬蟲讀取使用 AWS Key Management Service (AWS KMS) 加密的 Amazon S3 資料，則該角色必須具有 AWS KMS 金鑰的解密許可。

對於 Amazon S3 資料存放區，連接到角色的其他許可將類似下列內容：

{
   "Version": "2012-10-17",
    "Statement": [
        {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject",
              "s3:PutObject"
          ],
          "Resource": [
              "arn:aws:s3:::bucket/object*"
          ]
        }
    ]
}

對於 Amazon DynamoDB 資料存放區，連接到角色的其他許可將類似下列內容：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "dynamodb:DescribeTable",
        "dynamodb:Scan"
      ],
      "Resource": [
        "arn:aws:dynamodb:region:account-id:table/table-name*"
      ]
    }
  ]
}

為了添加自己的JDBC驅動程序，需要添加其他權限。

Amazon S3 政策範例：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::bucket-name/driver-parent-folder/driver.jar",
                "arn:aws:s3:::bucket-name"
            ]
        }
    ]
}
                            
                        

AWS Glue會建立下列資料夾 (_crawler並_glue_job_crawler在與 Amazon S3 儲存貯體中的JDBC驅動程式相同的層級)。例如，如果驅動程式路徑為 <s3-path/driver_folder/driver.jar>，則如果下列資料夾尚不存在，則會建立這些資料夾：

或者，您可以新增安全組態至爬蟲程式以指定靜態加密選項。

如需詳細資訊，請參閱 步驟 2：建立IAM角色 AWS Glue 和 AWS Glue 的身分識別與存取管理。

允許爬蟲程式使用 Lake Formation 憑證來網路爬取資料來源。

核取 Use Lake Formation credentials for crawling S3 data source (使用 Lake Formation 憑證網路爬取 S3 資料來源)，可讓爬蟲程式使用 Lake Formation 憑證來網路爬取資料來源。如果資料來源屬於其他帳戶，您必須提供註冊的帳戶 ID。否則，爬蟲程式只會網路爬取與帳戶相關聯的那些資料來源。僅適用於 Amazon S3 和 Data Catalog 資料來源。

設定包括安全組態。如需詳細資訊，請參閱下列內容：

這些選項包括當偵測到資料存放區的結構描述變更、刪除物件等情況，爬蟲程式應該如何處理。如需詳細資訊，請參閱 自訂爬行者程式行為

您可以在 AWS Glue中隨需執行爬蟲程式或為爬蟲程式和任務定義以時間為基礎的排程。這些排程的定義使用類似 Unix 的 ​cron​ 語法。如需詳細資訊，請參閱 排程爬蟲程式。