藍圖範例 - AWS Glue

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

藍圖範例

AWS Glue 藍圖 Github 儲存庫提供許多範例藍圖專案。這些範例僅供參考，並非作為生產用途。

範例專案的標題如下：

  • 壓縮：此藍圖會建立任務，根據所需的檔案大小，將輸入檔案壓縮成較大的區塊。

  • 轉換：此藍圖會將各種標準檔案格式的輸入檔案轉換為 Apache Prquet 格式，並針對分析工作負載進行最佳化。

  • 網路爬取 Amazon S3 位置：此藍圖會網路爬取多個 Amazon S3 位置，以將中繼資料表新增至 Data Catalog 。

  • 與 Data Catalog 的自訂連線：此藍圖使用 AWS Glue 自訂連接器存取資料存放區、讀取記錄，並根據記錄結構描述在 AWS Glue Data Catalog 中填入資料表定義。

  • 編碼：此藍圖會將非 UTF 檔案轉換為 UTF 編碼檔案。

  • 分割：此藍圖會建立分割任務，根據特定分割索引鍵將輸出檔案放置到分割區。

  • 將 Amazon S3 資料匯入到 DynamoDB 資料表：此藍圖會將資料從 Amazon S3 匯入到 DynamoDB 資料表。

  • 要管控的標準資料表：此藍圖會將 AWS Glue Data Catalog 資料表匯入 Lake Formation 資料表。