開始使用適用於 Data Catalog 的 AWS Glue Data Quality

AWS 在 https://console.aws.amazon.com/glue/：// 開啟 Glue 主控台。

在導覽窗格中，選擇 Tables (資料表)。然後選擇您要為其產生資料品質規則建議的資料表。

在資料表詳細資訊頁面上，選取資料品質索引標籤以存取資料表的 AWS Glue Data Quality 規則和設定。

在資料品質索引標籤上，選擇新增規則並監控資料品質。

在規則集建置器頁面上，如果沒有規則建議執行，頁面頂端的提醒將提示您開始建議任務。

選擇建議規則以開啟模態並輸入建議任務的參數。

選擇可存取 Glue 的 IAM AWS 角色。此角色必須具有存取各種 AWS Glue Data Quality 程序代表您執行所需的資源的許可。

根據偏好設定填寫欄位後，選擇建議規則以開始建議任務執行。如果建議執行正在進行中或已完成，您可以在此提醒中管理執行。您可能需要重新整理提醒，才能檢視狀態變更。已完成和進行中的建議任務執行會顯示在執行歷史記錄頁面中，其中會列出所有過去 90 天內的建議執行。

在 AWS Glue 主控台中，選擇 Data Catalog，然後在導覽窗格中選擇資料庫資料表。選擇 tickets 資料表。

在資料表詳細資訊頁面上，選擇資料品質索引標籤來存取資料表的 AWS Glue Data Quality 規則和設定。

在規則集區段中，選取在 產生規則建議 中產生的規則集。

選擇動作，然後在主控台視窗中選擇編輯。規則集編輯器會在主控台中載入。其中包括規則的編輯窗格和 DQDL 的快速參考。

移除指令碼的第 2 行。如此可以放寬要求，即將資料庫大小限制在特定數量的資料列內。編輯後，檔案的第 1 至 3 行中應包含以下內容：

Rules = [
    IsComplete "TAG_NUMBER_MASKED",
    ColumnLength "TAG_NUMBER_MASKED" between 6 and 9,

移除指令碼的第 25 行。如此放寬了 96％ 的記錄省份為 ON 的要求。編輯後，檔案從第 24 行至規則集結尾應包含以下內容：

ColumnValues "PROVINCE" in ["ON", "QC", "AB", "NY", "AZ", "NS", "BC", "MI", "PQ", "MB", "PA", "FL", "SK", "NJ", "OH", "NB", "IL", "MA", "CA",
    "VA", "TX", "NF", "MD", "PE", "CT", "NC", "GA", "IN", "OR", "MN", "TN", "WI", "KY", "MO", "WA", "NH", "SC", "CO", "OK", "VT", "RI", "ME", "AL",
    "YT", "IA", "DE", "AR", "LA", "XX", "WV", "MT", "KS", "NT", "DC", "NV", "NE", "UT", "MS", "NM", "ID", "SD", "ND", "AK", "NU", "GO", "WY", "HI"],
ColumnLength "PROVINCE" = 2
]

將第 14 行變更為以下內容：

IsComplete "TIME_OF_INFRACTION",

如此可以將資料庫限制為僅包含記錄違規時間的票證，藉此加強對資料欄的要求。您應始終將缺少記錄違規時間的票證視為此資料集中的無效資料。這與分割或轉換可能更適合進一步使用或檢查資料以確定規則品質的情況不同。

選擇主控台頁面底部的更新規則集。

在 AWS Glue 主控台中，選擇 Data Catalog，選擇資料庫，然後在導覽窗格中選擇資料表。選取 tickets 資料表。

開啟 Data quality (資料品質) 索引標籤。

在規則集區段中，選擇建立規則集。DQDL 編輯器會在主控台中啟動。它具有可供直接編輯的文字區域，以及 DQDL 規則和資料表結構描述的快速參考。

開始將規則新增至 DQDL 編輯器的文字區域。您可以直接從本教學課程撰寫規則，也可以使用資料品質規則編輯器的 DQDL 規則建置器功能進行撰寫。

例如，下列規則是 tickets 資料表中 ticket_number 資料欄資料驗證的限制條件。若要新增下列規則，請使用 DQDL 規則建置器或直接編輯規則集：

IsComplete "ticket_number",
IsUnique "ticket_number",
ColumnValues "ticket_number" > 9000000000

在規則集名稱欄位中輸入新規則集的名稱。

選擇儲存規則集。

在 AWS Glue 主控台中，選擇 Data Catalog，選擇資料庫，然後在導覽窗格中選擇資料表。選取資料表 tickets。

選擇資料品質索引標籤。

在規則集清單中，選取您要根據資料表評估的規則集。在此步驟中，我們建議使用已撰寫或修改的規則集，而不是產生的規則。選擇執行。

在模態中選擇 IAM 角色。此角色必須具有存取各種 AWS Glue Data Quality 程序代表您執行所需的資源的許可。您可以將 IAM 角色儲存為預設角色，或前往預設設定頁面進行修改。

在 Data quality actions (資料品質動作) 下，選擇是否要 Publish metrics to Amazon CloudWatch (將指標發佈到 Amazon CloudWatch)。選取此選項時， AWS Glue Data Quality 會發佈指標，指出傳遞的規則數目和失敗的規則數目。若要對以這種方式存放的指標採取動作，您可以使用 CloudWatch 警示。金鑰指標也會發佈到 ， Amazon EventBridge 供您設定提醒。如需詳細資訊，請參閱設定提醒、部署和排程。

在執行頻率中，選擇視需求執行或排程規則集。排程規則集時，系統會提示您輸入任務名稱。將在 Amazon EventBridge中建立排程。您可以在 Amazon EventBridge中編輯排程。

若要將資料品質結果儲存在 Amazon S3 中，請選取資料品質結果位置。您先前為此任務選取的 IAM 角色必須具有此位置的寫入存取權。

在其他組態下，輸入您希望 AWS Glue 為您的資料品質任務配置的請求工作者數量。

您可以選擇在資料來源中設定篩選條件。如此可協助您減少讀取的資料量。您也可以選取分割區資訊並透過 API 呼叫將增量驗證作為參數傳遞，以使用篩選條件執行增量驗證。您可以提供分割區述詞來改善效能。

選擇執行。您應該會在 Data quality task runs (資料品質任務執行) 清單中看到新任務。當任務的執行狀態資料欄顯示為已完成時，您可以檢視品質分數結果。您可能需要重新整理主控台視窗，才能正確更新狀態。

若要檢視資料品質結果詳細資訊的資料欄，請選擇 "+" 圖示以展開規則集。結果會顯示在評估中通過和失敗的規則，以及觸發規則失敗的原因。

在 AWS Glue 主控台中，選擇導覽窗格中的資料表。然後選擇您要為其執行資料品質任務的資料表。

選擇資料品質索引標籤。

資料品質快照顯示一段時間內執行的整體趨勢。依預設，會顯示對所有規則集最後 10 次的執行。若要依規則集篩選，請從下拉式清單中選取所需規則集。如果執行少於 10 次，則會顯示所有可用的已完成執行。

在資料品質資料表中，會顯示每個具有最新執行 (如有) 的規則集及其分數。展開規則集會顯示該規則集中的規則，以及該執行的規則結果。

在 AWS Glue 主控台中，選擇導覽窗格中的資料表。然後選擇您要為其執行資料品質任務的資料表。

選擇資料品質索引標籤。

在資料品質資料表中，選擇特定規則集。

在規則集詳細資訊頁面上，選擇執行歷史記錄索引標籤。

此索引標籤內的資料表中會列出此特定規則集的所有評估執行。您可以查看分數的歷史記錄和執行狀態。

若要查看特定執行的詳細資訊，請選擇執行 ID，以前往評估執行詳細資訊頁面。您可以在此頁面上查看有關執行的詳細資訊，以及個別規則結果狀態的更多詳細資訊。