Vertica 連線 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Vertica 連線

您可以使用 AWS Glue for Spark 從 AWS Glue 4.0 及更新版本中的 Vertica 讀取和寫入資料表。您可以使用 SQL 查詢定義要從 Vertica 讀取的內容。您可以使用透過 AWS Glue 連線儲存於 AWS Secrets Manager 的使用者名稱和密碼憑證來連線至 Vertica。

如需有關 Vertica 的詳細資訊,請參閱 Vertica 文件

設定 Vertica 連線

若要從 AWS Glue 連線至 Vertica,您將需要在 AWS Secrets Manager 密碼中建立並儲存 Vertica 憑證,然後將該密碼與 Vertica AWS Glue 連線建立關聯。如果 Vertica 執行個體位於 Amazon VPC 中,您也需要向 AWS Glue Vertica 連線提供網路選項。從資料庫讀取和寫入資料庫時,您將需要用於暫存空間的 Amazon S3 儲存貯體或資料夾。

若要從 AWS Glue 連線至 Vertica,您可能需要部分先決條件:

  • 從資料庫讀取和寫入資料庫時用於暫存空間的 Amazon S3 儲存貯體或資料夾 (稱為 tempS3Path)。

    注意

    在 AWS Glue 工作資料預覽中使用 Vertica 時,可能無法從 tempS3Path 中自動移除暫存檔案。若要確保移除暫存檔案,請選擇資料預覽窗格中的結束工作階段,直接結束資料預覽工作階段。

    如果無法保證資料預覽工作階段會直接結束,請考慮設定 Amazon S3 生命週期組態以移除舊資料。根據最長任務執行期和餘裕,我們建議移除超過 49 小時的資料。如需有關設定 Amazon S3 生命週期的詳細資訊,請參閱《Amazon S3 文件》中的管理您的儲存空間生命週期

  • 您可以與 AWS Glue 任務角色建立關聯的 IAM 政策,其中具有 Amazon S3 的適當權限。

  • 如果 Vertica 執行個體位於 Amazon VPC 中,請設定 Amazon VPC 以允許 AWS Glue 任務與 Vertica 執行個體通訊,使流量不會周遊公有網際網路。

    在 Amazon VPC 中,識別或建立 AWS Glue 將在執行任務時使用的 VPC子網路安全群組。此外,您也需要確保 Amazon VPC 已完成設定,以允許 Vertica 執行個體與此位置之間的網路流量。您的任務將需要與 Vertica 用戶端連接埠建立 TCP 連線 (預設 5433)。根據您的網路配置,這可能需要變更安全群組規則、網路 ACL、NAT 閘道及對等連線。

然後,您可以繼續設定 AWS Glue 以搭配 Vertica 使用。

設定連至 Vertica 的連線:
  1. 在 AWS Secrets Manager 中,使用 Vertica 憑證 verticaUsernameverticaPassword 建立密碼。若要在 Secrets Manager 中建立機密,請遵循 AWS Secrets Manager 文件中建立 AWS Secrets Manager 機密中提供的教學課程。建立機密之後,請保留機密名稱 secretName,以便進行下一個步驟。

    • 在選取鍵/值組時,請使用 verticaUsername 值來建立 user 金鑰對。

    • 在選取鍵/值組時,請使用 verticaPassword 值來建立 password 金鑰對。

  2. 在 AWS Glue 主控台中,依照 新增 AWS Glue 連線 中的步驟建立連線。建立連線之後,請保留連線名稱 connectionName,以便進行下一個步驟。

    • 選取連線類型時,請選取 Vertica。

    • 選取 Vertica 主機後,請提供 Vertica 安裝的主機名稱。

    • 選取 Vertica 連接埠時,您可透過該連接埠安裝 Vertica。

    • 選取 AWS 機密時,請提供 secretName

  3. 在下列情況中,您可能需要其他組態:

    • Amazon VPC 中託管於 AWS 的 Vertica 執行個體

      • 向定義 Vertica 安全憑證的 AWS Glue 連線提供 Amazon VPC 連線資訊。建立或更新連線時,請在網路選項中設定 VPC子網路安全群組

建立 AWS Glue Vertica 連線後,您將需要執行下列步驟,才能呼叫連線方法。

  • 將與 AWS Glue 任務權限相關聯的 IAM 角色授予 tempS3Path

  • 授予與您 AWS Glue 任務許可相關聯的 IAM 角色,以讀取 secretName

  • 在您的 AWS Glue 任務組態中,提供 connectionName 作為其他網路連線

從 Vertica 讀取

先決條件:

  • 您想要讀取的 Vertica 資料表。您將需要 Vertica 資料庫名稱 dbName 和資料表名稱 tableName

  • 完成設定的 AWS Glue Vertica 連線,可提供驗證資訊。完成上一個程序設定連至 Vertica 的連線的步驟,以設定驗證資訊。您將會需要 AWS Glue 連線的名稱,connectionName

  • 用於暫存空間的 Amazon S3 儲存貯體或資料夾 (如前述)。您將需要名稱 tempS3Path。您將需要使用 s3a 通訊協定連線至此位置。

例如:

dynamicFrame = glueContext.create_dynamic_frame.from_options( connection_type="vertica", connection_options={ "connectionName": "connectionName", "staging_fs_url": "s3a://tempS3Path", "db": "dbName", "table": "tableName", } )

您也可提供 SELECT SQL 查詢,以篩選傳回 DynamicFrame 的結果,或從多個資料表存取資料集。

例如:

dynamicFrame = glueContext.create_dynamic_frame.from_options( connection_type="vertica", connection_options={ "connectionName": "connectionName", "staging_fs_url": "s3a://tempS3Path", "db": "dbName", "query": "select * FROM tableName", }, )

寫入 Vertica 資料表

此範例會從現有的 DynamicFrame dynamicFrame 將資訊寫入 Vertica。如果資料表已具有資訊,則 AWS Glue 會從 DynamicFrame 附加資料。

先決條件:

  • 您想要寫入的目前或所需資料表名稱 tableName。您也需要相應的 Vertica 資料庫名稱 dbName

  • 完成設定的 AWS Glue Vertica 連線,可提供驗證資訊。完成上一個程序設定連至 Vertica 的連線的步驟,以設定驗證資訊。您將會需要 AWS Glue 連線的名稱,connectionName

  • 用於暫存空間的 Amazon S3 儲存貯體或資料夾 (如前述)。您將需要名稱 tempS3Path。您將需要使用 s3a 通訊協定連線至此位置。

例如:

glueContext.write_dynamic_frame.from_options( frame=dynamicFrame, connection_type="vertica", connection_options={ "connectionName": "connectionName", "staging_fs_url": "s3a://tempS3Path", "db": "dbName", "table": "tableName", } )

Vertica 連線選項參考

  • connectionName – 必要。用於讀取/寫入。完成設定之 AWS Glue Vertica 連線的名稱,可向連線方法提供驗證和網路資訊。

  • db – 必要。用於讀取/寫入。您的連線方法將會互動的 Vertica 資料庫名稱。

  • dbSchema:如需要識別資料表,則為必要項目。用於讀取/寫入。預設:public。您的連線方法將會互動的結構描述名稱。

  • table:除非已提供 query,否則為寫入和讀取的必要項目。用於讀取/寫入。您的連線方法將會互動的資料表名稱。

  • query – 用於讀取。定義從 Teradata 讀取時應擷取之內容的 SELECT SQL 查詢。

  • staging_fs_url – 必要。用於讀取/寫入。有效值:s3a URL。用於暫存空間的 Amazon S3 儲存貯體或資料夾的 URL。