View a markdown version of this page

使用資料品質規則建立規則集 - AWS Glue DataBrew開發人員指南

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用資料品質規則建立規則集

在下列程序中,您可以找到建立規則集並將其套用至資料集的範例。規則集是一組規則,可將不同的資料指標與預期值進行比較。然後,您可以在設定檔任務中使用此規則集來驗證其中包含的資料品質規則。

使用資料品質規則建立範例規則集
  1. 登入AWS 管理主控台並開啟 DataBrew 主控台,網址為 https://https://console.aws.amazon.com/databrew/

  2. 從導覽窗格中選擇 DQ 規則,然後選擇建立資料品質規則集

  3. 輸入規則集的名稱。或者,輸入規則集的描述。

  4. 關聯的資料集下,選擇要與規則集建立關聯的資料集。

    選取資料集之後,您可以檢視右側的資料集預覽窗格。

  5. 當您決定要建立的資料品質規則時,請使用資料集預覽窗格中的預覽來探索資料集的值和結構描述。預覽可讓您深入了解資料可能遇到的潛在問題。

    有些資料來源,例如資料庫,不支援資料預覽。在這種情況下,您可以執行設定檔任務,而無需先驗證資料品質規則。然後,您可以使用資料描述檔取得資料結構描述和值分佈的相關資訊。

  6. 檢查建議索引標籤,其中列出您可以在建立規則集時使用的一些規則建議。您可以選取所有、部分或無任何建議。

    選取相關建議後,選擇新增至規則集

    這會將規則新增至您的規則集。視需要檢查和修改參數。請注意,資料品質規則中只能使用字串數字布林值等簡單類型的資料欄。

  7. 選擇新增另一個規則以新增建議未涵蓋的規則。您可以變更規則名稱,以便稍後更輕鬆地解譯驗證結果。

  8. 使用資料品質檢查範圍來選擇是否要針對此規則中的每個檢查選取個別資料欄,或是否應套用到您選取的資料欄群組。例如,如果您的資料集有數個數值資料欄的值應該介於 0 到 100 之間,您可以定義規則一次,然後選取所有要由此規則檢查的資料欄。

  9. 如果您的規則會有多個檢查,請在規則成功條件下拉式清單中,選擇是否應符合所有檢查,還是哪些檢查符合條件。

  10. 選取將在資料品質檢查下拉式清單中執行以驗證此規則的檢查。如需可用檢查的詳細資訊,請參閱 可用的檢查

  11. 如果您為資料品質檢查範圍中的每個資料欄選擇個別檢查,請選擇資料欄。 選取或輸入此檢查的資料欄名稱。

  12. 根據檢查選取參數。有些條件只接受提供的自訂值,有些條件也支援參考另一個資料欄。

  13. 如果您選擇檢查資料欄值,例如包含字串值的條件,則可以指定「傳遞」閾值。例如,如果您希望至少 95% 的值滿足條件,則需要選擇大於等於閾值的條件,輸入 95 做為閾值,並在閾值區段的下一個下拉式清單中保留「增加百分比) 資料列」。或者,如果您想要不超過 10 個資料列,其中值缺少條件為 true,則可以選取小於等於條件,在閾值中輸入 10,然後在下一個下拉式清單中選擇資料列。請注意,如果您在驗證期間使用不同大小的範例,可能會得到不同的結果。

  14. 視需要新增更多規則。

  15. 選擇建立規則集