本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

在 中驗證資料品質AWS Glue DataBrew

為了確保資料集的品質，您可以在規則集中定義資料品質規則清單。規則集是一組規則，可將不同的資料指標與預期值進行比較。如果不符合任何規則的條件，則整體規則集會驗證失敗。然後，您可以檢查每個規則的個別結果。對於導致驗證失敗的任何規則，您可以進行必要的更正和重新驗證。

規則的範例包括下列項目：

您可以為個別資料欄定義每個規則，或將其獨立套用至數個選取的資料欄，例如：

規則可以包含多個簡單的檢查。您可以定義所有應該是 true 還是任何，例如：

您可以針對彙總值驗證規則max，例如 min、 或 number of duplicate values，其中只比較一個值，或是資料欄每一列中的非彙總值。在後一種情況下，您也可以定義「傳遞」閾值，例如 value in columnA > value in columnB for at least 95% of rows。

如同設定檔資訊，您只能為簡單類型的資料欄定義資料欄層級資料品質規則，例如字串和數字。您無法定義複雜類型資料欄的資料品質規則，例如陣列或結構。如需使用設定檔資訊的詳細資訊，請參閱 建立和使用AWS Glue DataBrew設定檔任務。

驗證資料品質規則

定義規則集之後，您可以將其新增至設定檔任務以進行驗證。您可以為資料集定義多個規則集。

例如，一個規則集可能包含最低可接受條件的規則。該規則集的驗證失敗可能表示資料無法接受進一步使用。範例是用於機器學習訓練之資料集的索引鍵資料欄中缺少值。您可以使用第二個規則集搭配更嚴格的規則，來驗證資料集的品質是否良好，因此不需要清除。

您可以在設定檔任務組態中套用為指定資料集定義的一或多個規則集。當設定檔任務執行時，除了資料設定檔之外，還會產生驗證報告。驗證報告可在與設定檔資料相同的位置取得。如同設定檔資訊，您可以在 DataBrew 主控台中探索結果。在資料集詳細資訊檢視中，選擇資料品質索引標籤以檢視結果。如需使用設定檔資訊的詳細資訊，請參閱 建立和使用AWS Glue DataBrew設定檔任務。

對驗證結果採取行動

當 DataBrew 設定檔任務完成時，DataBrew 會傳送 Amazon CloudWatch 事件，其中包含該任務執行的詳細資訊。如果您也設定任務來驗證資料品質規則，DataBrew 會為每個已驗證的規則集傳送事件。事件包含其結果 (SUCCEEDED、 FAILED或 ERROR)，以及詳細資料品質驗證報告的連結。然後，您可以根據驗證狀態調用下一個動作來自動執行進一步的動作。如需將事件連線至目標動作的詳細資訊，例如 Amazon SNS 通知、AWS Lambda函數叫用等，請參閱 Amazon EventBridge 入門。

以下是 DataBrew 驗證結果事件的範例：

{
  "version": "0",
  "id": "fb27348b-112d-e7c2-560d-85e7c2c09964",
  "detail-type": "DataBrew Ruleset Validation Result",   
  "source": "aws.databrew",                     
  "account": "123456789012",          
  "time": "2021-11-18T13:15:46Z", 
  "region": "us-east-1",
  "resources": [],
  "detail": {
    "datasetName": "MyDataset", 
    "jobName": "MyProfileJob",
    "jobRunId": "db_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e",
    "rulesetName": "MyRuleset",
    "validationState": "FAILED",
    "validationReportLocation": "s3://MyBucket/MyKey/MyDataset_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e_dq-validation-report.json"
  }
}

您可以使用 等事件的屬性detail-type，source以及 detail 屬性的巢狀屬性，在 Amazon Eventbridge 中建立事件模式。例如，符合任何 DataBrew 任務中所有失敗驗證的事件模式如下所示：

{
  "source": ["aws.databrew"],
  "detail-type": ["DataBrew Ruleset Validation Result"],
  "detail": {
   "validationState": ["FAILED"]
  }
}

如需建立規則集和驗證其規則的範例，請參閱 使用資料品質規則建立規則集。如需在 DataBrew 中使用 CloudWatch 事件的詳細資訊，請參閱 使用 CloudWatch Events 自動化 DataBrew

檢查資料品質規則的驗證結果並更新資料品質規則

設定檔任務完成後，您可以檢視資料品質規則的驗證結果，並視需要更新規則。

對於驗證失敗的任何規則，您可以進行必要的更正。