選取您的 Cookie 偏好設定

我們使用提供自身網站和服務所需的基本 Cookie 和類似工具。我們使用效能 Cookie 收集匿名統計資料,以便了解客戶如何使用我們的網站並進行改進。基本 Cookie 無法停用,但可以按一下「自訂」或「拒絕」以拒絕效能 Cookie。

如果您同意,AWS 與經核准的第三方也會使用 Cookie 提供實用的網站功能、記住您的偏好設定,並顯示相關內容,包括相關廣告。若要接受或拒絕所有非必要 Cookie,請按一下「接受」或「拒絕」。若要進行更詳細的選擇,請按一下「自訂」。

爬蟲正在使用 Lake Formation 權限時發生爬行者程式錯誤

焦點模式
爬蟲正在使用 Lake Formation 權限時發生爬行者程式錯誤 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

參考下列資訊診斷及修正各種問題,同時使用 Lake Formation 憑證設定爬蟲程式。

錯誤:S3 位置 (s3://examplepath) 尚未註冊

若要使用 Lake Formation 憑證執行爬蟲程式,您需要先設定 Lake Formation 許可。若要解決此錯誤,請向 Lake Formation 註冊目標 Amazon S3 位置。如需詳細資訊,請參閱 Registering an Amazon S3 location (註冊 Amazon S3 位置)。

錯誤:未授權使用者/角色執行:資源上的湖泊形成 GetDataAccess

請使用主控台或將lakeformation:GetDataAccess權限新增至爬行者 AWS CLI程IAM式角色。有了此許可,Lake Formation 就會授與要求存取資料所需的臨時憑證。請參閱以下政策:

{ "Version": "2012-10-17", "Statement": { "Effect": "Allow", "Action": [ "lakeformation:GetDataAccess" ], "Resource": "*" } }

錯誤:(資料庫名稱:exampleDatabase,表格名稱:)的 Lake Formation 權限不足 exampleTable

在 Lake Formation 主控台 (https://console.aws.amazon.com/lakeformation/) 中,授與指定為輸出資料庫之資料庫的爬行者程式角色存取權限 ( Create、、Alter)。Describe您也可以授與資料表的使用許可。如需詳細資訊,請參閱 Granting database permissions using the named resource method (使用具名資源方法授與資料庫許可)。

錯誤:s3://examplepath 上的 Lake Formation 許可不足

  1. 跨帳戶網路爬取

    1. 使用註冊 Amazon S3 儲存貯體的帳戶 (帳戶 B https://console.aws.amazon.com/lakeformation/) 登入 Lake Formation 主控台 ()。將資料位置許可授與要執行爬蟲程式的帳戶。如此一來,爬蟲程式就能從目標 Amazon S3 位置讀取資料。

    2. 在建立爬行者程式的帳戶 (帳戶 A) 中,將目標 Amazon S3 位置上的資料位置許可授與用於爬行者程式執行的IAM角色,以便爬行者程式可以從 Lake Formation 中的目標讀取資料。如需詳細資訊,請參閱 Granting data location permissions (external account) (授與資料位置許可 (外部帳戶))。

  2. 帳戶內 (爬行者程式和已註冊的 Amazon S3 位置位於同一帳戶中) 編目-將資料位置許可授與用於在 Amazon S3 位置執行的爬行者程式的IAM角色,以便爬行者程式可以從 L ake Formation 中的目標讀取資料。如需詳細資訊,請參閱 Granting data location permissions (same account) (授與資料位置許可 (相同帳戶))。

使用 Lake Formation 憑證設定爬蟲程式的常見問題

  1. 如何在 AWS 主控台使用 Lake Formation 憑證設定爬蟲程式,使其能順利執行?

    在 AWS Glue 主控台 (https://console.aws.amazon.com/glue/) 中,設定爬行者程式時,選取「使用 Lake Formation 登入資料來編目 Amazon S3 資料來源」選項。對於跨帳戶探索,請指定目標 Amazon S3 位置向 Lake Formation 註冊的 AWS 帳戶 ID。對於帳戶內搜索,該accountId字段是可選的。

  2. 如何在 AWS CLI使用 Lake Formation 憑證設定爬蟲程式,使其能順利執行?

    CreateCrawlerAPI通話期間,添加LakeFormationConfiguration

    "LakeFormationConfiguration": { "UseLakeFormationCredentials": true, "AccountId": "111111111111" (AWS account ID where the target Amazon S3 location is registered with Lake Formation) }
  3. 使用 Lake Formation 憑證的情況下,爬蟲程式支援哪些目標?

    使用 Lake Formation 憑證的爬蟲程式僅支援 Amazon S3 (帳戶內和跨帳戶網路爬取)、帳戶內資料型錄目標 (其中的基礎位置為 Amazon S3) 以及 Apache Iceberg 目標。

  4. 可以使用 Lake Formation 憑證,以單一爬蟲程式對多個 Amazon S3 儲存貯體執行網路爬取作業嗎?

    不可以。如果使用 Lake Formation 憑證販售對目標執行網路爬取,基礎 Amazon S3 位置必須屬於同一個儲存貯體。舉例來說,客戶可以使用多個目標位置 (s3://bucket1/folder1, s3://bucket1/folder2),但這些位置必須位於同一個儲存貯體 (儲存貯體 1),不允許指定不同的儲存貯體 (s3://bucket1/folder1、s3://bucket2/folder2)。

隱私權網站條款Cookie 偏好設定
© 2025, Amazon Web Services, Inc.或其附屬公司。保留所有權利。