本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
參考下列資訊診斷及修正各種問題,同時使用 Lake Formation 憑證設定爬蟲程式。
錯誤:S3 位置 (s3://examplepath) 尚未註冊
若要使用 Lake Formation 憑證執行爬蟲程式,您需要先設定 Lake Formation 許可。若要解決此錯誤,請向 Lake Formation 註冊目標 Amazon S3 位置。如需詳細資訊,請參閱 Registering an Amazon S3 location (註冊 Amazon S3 位置)。
錯誤:未授權使用者/角色執行:資源上的湖泊形成 GetDataAccess
請使用主控台或將lakeformation:GetDataAccess
權限新增至爬行者 AWS CLI程IAM式角色。有了此許可,Lake Formation 就會授與要求存取資料所需的臨時憑證。請參閱以下政策:
{
"Version": "2012-10-17",
"Statement": {
"Effect": "Allow",
"Action": [
"lakeformation:GetDataAccess"
],
"Resource": "*"
}
}
錯誤:(資料庫名稱:exampleDatabase,表格名稱:)的 Lake Formation 權限不足 exampleTable
在 Lake Formation 主控台 (https://console.aws.amazon.com/lakeformation/ Create
、、Alter
)。Describe
您也可以授與資料表的使用許可。如需詳細資訊,請參閱 Granting database permissions using the named resource method (使用具名資源方法授與資料庫許可)。
錯誤:s3://examplepath 上的 Lake Formation 許可不足
-
跨帳戶網路爬取
-
使用註冊 Amazon S3 儲存貯體的帳戶 (帳戶 B https://console.aws.amazon.com/lakeformation/
) 登入 Lake Formation 主控台 ()。將資料位置許可授與要執行爬蟲程式的帳戶。如此一來,爬蟲程式就能從目標 Amazon S3 位置讀取資料。 -
在建立爬行者程式的帳戶 (帳戶 A) 中,將目標 Amazon S3 位置上的資料位置許可授與用於爬行者程式執行的IAM角色,以便爬行者程式可以從 Lake Formation 中的目標讀取資料。如需詳細資訊,請參閱 Granting data location permissions (external account) (授與資料位置許可 (外部帳戶))。
-
-
帳戶內 (爬行者程式和已註冊的 Amazon S3 位置位於同一帳戶中) 編目-將資料位置許可授與用於在 Amazon S3 位置執行的爬行者程式的IAM角色,以便爬行者程式可以從 L ake Formation 中的目標讀取資料。如需詳細資訊,請參閱 Granting data location permissions (same account) (授與資料位置許可 (相同帳戶))。
使用 Lake Formation 憑證設定爬蟲程式的常見問題
-
如何在 AWS 主控台使用 Lake Formation 憑證設定爬蟲程式,使其能順利執行?
在 AWS Glue 主控台 (https://console.aws.amazon.com/glue/
) 中,設定爬行者程式時,選取「使用 Lake Formation 登入資料來編目 Amazon S3 資料來源」選項。對於跨帳戶探索,請指定目標 Amazon S3 位置向 Lake Formation 註冊的 AWS 帳戶 ID。對於帳戶內搜索,該accountId字段是可選的。 -
如何在 AWS CLI使用 Lake Formation 憑證設定爬蟲程式,使其能順利執行?
在
CreateCrawler
API通話期間,添加LakeFormationConfiguration
:"LakeFormationConfiguration": { "UseLakeFormationCredentials": true, "AccountId": "111111111111" (AWS account ID where the target Amazon S3 location is registered with Lake Formation) }
-
使用 Lake Formation 憑證的情況下,爬蟲程式支援哪些目標?
使用 Lake Formation 憑證的爬蟲程式僅支援 Amazon S3 (帳戶內和跨帳戶網路爬取)、帳戶內資料型錄目標 (其中的基礎位置為 Amazon S3) 以及 Apache Iceberg 目標。
-
可以使用 Lake Formation 憑證,以單一爬蟲程式對多個 Amazon S3 儲存貯體執行網路爬取作業嗎?
不可以。如果使用 Lake Formation 憑證販售對目標執行網路爬取,基礎 Amazon S3 位置必須屬於同一個儲存貯體。舉例來說,客戶可以使用多個目標位置
(s3://bucket1/folder1, s3://bucket1/folder2)
,但這些位置必須位於同一個儲存貯體 (儲存貯體 1),不允許指定不同的儲存貯體 (s3://bucket1/folder1、s3://bucket2/folder2)。