本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
建立和使用AWS Glue DataBrew專案
在 中AWS Glue DataBrew,專案是資料分析和轉換工作的中心部分。
建立專案時,您會將兩個基本元件結合在一起:
-
資料集,提供對來源資料的唯讀存取。如需詳細資訊,請參閱使用 連線至資料AWS Glue DataBrew。
-
將 DataBrew 資料轉換套用至資料集的配方。如需詳細資訊,請參閱建立和使用AWS Glue DataBrew配方。
DataBrew 主控台以高度互動、直覺式的使用者介面呈現您的專案。它鼓勵您實驗數百個資料轉換,因此您可以了解它們的運作方式,以及它們對您的資料有何影響。
您在專案檢視中看到的資料是資料集的範例。由於資料集可能非常大,有數千或甚至數百萬個資料列,使用範例有助於確保 DataBrew 主控台在您以各種方式轉換範例資料時保持回應。根據預設,範例包含來自資料集的前 500 列資料。您可以為樣本大小選擇不同的設定,以及選擇哪些資料列。
當您轉換範例資料時,DataBrew step-by-step 可協助您建置和精簡專案配方,這是您目前套用的逐步轉換系列。您的work-in-progress配方會自動儲存,因此您可以隨時離開專案檢視,稍後再返回並從您停止的地方挑選。
當您的配方可供使用時,您可以發佈它。發佈配方可讓 DataBrew 任務子系統使用,您可以在其中將配方套用至整個資料集,或建立廣泛的資料設定檔,讓您了解資料的結構、內容和統計特性。
建立專案
使用下列程序來建立專案。
建立專案
-
登入AWS 管理主控台並開啟 DataBrew 主控台 。
-
在導覽窗格中,選擇專案。然後選擇建立專案。
-
輸入專案的名稱。然後選擇要連接到專案的配方:
-
如果您是從頭開始,請選擇建立新配方。這樣做會建立新的空白配方,並將其連接到您的專案。
-
如果您有先前發佈的配方要用於此專案,請選擇編輯現有配方。如果配方目前連接到另一個專案,或已為其定義任何任務,則您無法在新專案中使用它。選擇瀏覽配方以查看可用的配方。
-
如果您有先前已發佈且想要匯入其步驟的現有配方,請從配方中選擇匯入步驟,然後執行下列動作:
-
選擇瀏覽配方以查看可用的配方。
-
選擇您要使用的配方發佈版本。配方可以有多個版本,取決於您在專案檢視中發佈它的頻率。
-
選擇檢視配方步驟以檢查配方中的資料轉換。
-
-
-
在您擁有配方之後,請在選取資料集窗格中選擇要使用的資料集:
-
我的資料集 – 選擇您先前建立的資料集。如需詳細資訊,請參閱 建立專案)。
-
範例檔案 – 根據 維護的範例資料建立新的資料集AWS。此範例資料是探索 DataBrew 可以做什麼的好方法,而無需提供您自己的資料。請務必輸入資料集的名稱。
-
新資料集 – 建立新的資料集。如需詳細資訊,請參閱建立專案。
-
-
針對存取許可,選擇允許 DataBrew 從 Amazon S3 輸入位置讀取的AWS Identity and Access Management(IAM) 角色。對於AWS您的帳戶擁有的 S3 位置,您可以選擇
AwsGlueDataBrewDataAccessRole服務受管角色。這樣做可讓 DataBrew 存取您擁有的 S3 資源。 -
在取樣窗格中,您可以找到 DataBrew 從資料集建置資料範例的選項。
針對類型,選擇 DataBrew 應如何從您的資料集取得資料列:
-
使用前 n 個資料列,根據資料集中的前 列建立範例。
-
使用隨機資料列,根據資料集中的資料列隨機選取來建立範例。
-
選擇要出現在範例中的資料列數目:500、1,000、2,500 或自訂樣本大小,最多 5,000 個資料列。較小的範例大小可讓 DataBrew 更快地執行轉換,節省您開發配方的時間。較大的樣本大小更準確地反映基礎來源資料的組成。不過,專案工作階段初始化和互動式轉換速度較慢。
-
-
(選用) 選擇標籤以將標籤連接至資料集。
標籤是簡單的標籤,由使用者定義的金鑰和選用值組成,可讓您根據用途、擁有者、環境或其他條件更輕鬆地管理、搜尋和篩選 DataBrew 專案。
-
設定如您想要,請選擇建立任務。
DataBrew 會視需要建立新的資料集、視需要建立新的配方、建置資料範例,以及建立互動式專案工作階段。此程序可能需要幾分鐘的時間才能完成。當專案可供使用時,您可以開始使用資料範例。