本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
必要先決條件
BigQuery 類型 AWS Glue Data Catalog 連線
您的 Google BigQuery 憑證的 AWS Secrets Manager 秘密,由連線使用。
針對您任務的適當許可,以讀取連線所使用的秘密。
您要讀取的資料表名稱和資料集,以及對應的 Google Cloud 專案。
新增 BigQuery 資料來源
新增資料來源 – BigQuery 節點:
-
選擇您 BigQuery 資料來源的連線。由於您已建立連線,其應可用於下拉式清單中。如果您需要建立連線,請選擇建立 BigQuery 連線。如需詳細資訊,請參閱 Overview of using connectors and connections 。
選擇連線之後,您可以按一下檢視屬性來檢視連線屬性。
識別您要讀取的 BigQuery 資料,然後選擇 BigQuery 來源選項
選擇單一資料表 – 讓您可從資料表中提取所有資料。
輸入自訂查詢 – 讓您可藉由提供查詢來自訂要擷取的資料。
-
描述您要讀取的資料
(必要) 將父系專案設定為包含資料表的專案,或設定為計費父系專案 (若相關)。
若您選擇單一資料表,請以下列格式將資料表設定為 Google BigQuery 資料表的名稱:
[dataset].[table]
若您選擇查詢,請將其提供給查詢。在您的查詢中,請參考具有完整資料表名稱的資料表,格式為:
[project].[dataset].[tableName]
。 -
提供 BigQuery 屬性
若您選擇單一資料表,您便無需提供其他屬性。
若您選擇查詢,則必須提供下列自訂 Google BigQuery 屬性:
將
viewsEnabled
設定為 true。將
materializationDataset
設定為資料集。透過 AWS Glue 連線提供之認證驗證的 GCP 主體,必須能在此資料集中建立資料表。