Data Catalog で AWS Glue Data Quality を使用する

AWS Glue コンソール (https://console.aws.amazon.com/glue/) を開きます。

ナビゲーションペインで、[Tables] (テーブル) を選択します。次に、品質評価ルールの推奨事項を生成する対象となるテーブルを選択します。

テーブルの詳細ページで、[Data quality] タブを選択し、そのテーブルの AWS Glue Data Quality ルールにアクセスします。

[Data quality] タブで、[Add rules and monitor data quality] を選択します。

[Ruleset builder] ページで、ページ上部のアラートに、「ルールの推奨事項が実行されていない場合は推奨事項タスクを開始する」との指示が表示されます。

[Recommend rules] を選択してモーダルを開き、推奨事項タスクのパラメータを入力します。

AWS Glue へのアクセス許可を持つ IAM ロールを選択します。このロールには、さまざまな AWS Glue Data Quality プロセスを、ユーザーに代わって実行するために必要なリソースに、アクセスするための許可が必要です。

希望する設定に従ってフィールドに入力したら、[Recommend rules] を選択し、推奨事項タスクの実行を開始します。推奨事項の実行が進行中の場合、または完了した場合は、こちらのアラートで実行を管理できます。ステータスの変化を確認する際にページの更新が必要になる場合があります。完了済みと進行中の推奨事項タスクの実行状況は [実行履歴] のページに表示されます。ここには過去 90 日分の推奨事項の実行がすべて表示されます。

AWS Glue コンソールで [データカタログ] を選択し、次にナビゲーションペインで [Databases tables] を選択します。テーブル tickets を選択します。

テーブルの詳細ページで、[Data quality] タブを選択し、そのテーブルの AWS Glue Data Quality のルールと設定にアクセスします。

[Rulesets] セクションで、ルールの推奨事項の生成 で生成したルールセットを選択します。

[アクション] を選択し、次にコンソールウィンドウで [編集] を選択します。ルールセットエディタがコンソールにロードされます。ここには、ルールの編集用ペインと DQDL のクイックリファレンスが含まれています。

スクリプトの 2 行目を削除します。これにより、データベースのサイズを特定の行数に制限する条件が緩和されます。編集後、ファイルの 1～3 行目に以下の内容が含まれているはずです。

Rules = [
    IsComplete "TAG_NUMBER_MASKED",
    ColumnLength "TAG_NUMBER_MASKED" between 6 and 9,

スクリプトの 25 行目を削除します。これにより、記録された州の 96% が ON であるという条件は緩和されます。編集後、ファイルの 24 行目からルールセットの最後までに以下の内容が含まれているはずです。

ColumnValues "PROVINCE" in ["ON", "QC", "AB", "NY", "AZ", "NS", "BC", "MI", "PQ", "MB", "PA", "FL", "SK", "NJ", "OH", "NB", "IL", "MA", "CA",
    "VA", "TX", "NF", "MD", "PE", "CT", "NC", "GA", "IN", "OR", "MN", "TN", "WI", "KY", "MO", "WA", "NH", "SC", "CO", "OK", "VT", "RI", "ME", "AL",
    "YT", "IA", "DE", "AR", "LA", "XX", "WV", "MT", "KS", "NT", "DC", "NV", "NE", "UT", "MS", "NM", "ID", "SD", "ND", "AK", "NU", "GO", "WY", "HI"],
ColumnLength "PROVINCE" = 2
]

14 行目を以下の内容に変更します。

IsComplete "TIME_OF_INFRACTION",

これにより、データベースを違反時間が記録されたチケットのみに制限して、列の条件を強化します。違反時間が記録されていないチケットは、このデータセットでは常に無効なデータとみなされます。これは、さらなるデータ使用や品質ルールを決定する際の調査など、パーティショニングや変換の方が適している場合とは異なります。

コンソールページの下部で [Update Ruleset] を選択します。

AWS Glue のコンソールで [データカタログ] を選択し、次に [データベース] を選択し、ナビゲーションペインで [テーブル] を選択します。テーブル tickets を選択します。

[Data quality] (データ品質) タブを開きます。

[Rulesets] セクションで、[Create ruleset] を選択します。DQDL エディタがコンソールで起動します。ここには、直接編集できるテキスト領域と、DQDL ルールおよびテーブルスキーマのクイックリファレンスがあります。

DQDL エディタのテキスト領域にルールを追加していきます。チュートリアルから直接ルールを記述することもできますし、データ品質ルールエディタの DQDL ルールビルダー機能を使用することもできます。

一例を挙げると、次のルールは tickets テーブルの ticket_number 列のデータ検証に関する制約です。次のルールを追加するには、DQDL ルールビルダーを使用するか、ルールセットを直接編集します。

IsComplete "ticket_number",
IsUnique "ticket_number",
ColumnValues "ticket_number" > 9000000000

[Run name] フィールドに新しいルールセットの名前を入力します。

[Save ruleset] を選択します。

AWS Glue のコンソールで [データカタログ] を選択し、次に [データベース] を選択し、ナビゲーションペインで [テーブル] を選択します。テーブル tickets を選択します。

[Data quality] タブを選択します。

[Rulesets] リストから、テーブルに照らして評価を行うルールセットを選択します。このステップでは、生成されたルールではなく、自分で既に作成または変更したルールセットを使用することが推奨されます。[Run] (実行) を選択します。

モーダルで、自分の IAM ロールを選択します。このロールには、さまざまな AWS Glue Data Quality プロセスを、ユーザーに代わって実行するために必要なリソースに、アクセスするための許可が必要です。この IAM ロールをデフォルトとして保存するか、[Default Setting] のページに進んでこれを変更します。

[Data quality actions] (データ品質アクション) で、必要に応じて [Publish metrics to Amazon CloudWatch] (Amazon CloudWatch にメトリクスを公開する) を選択します。これを選択した場合、AWS Glue Data Quality は、評価に合格したルールと不合格だったルール、それぞれの数についてのメトリクスをパブリッシュします。この方法で保存されたメトリクスに対してアクションを実行するときは、CloudWatch アラームを使用します。アラートの設定用に、主要なメトリクスも Amazon EventBridge に公開されます。詳細については、「Setting up alerts, deployments, and scheduling」を参照してください。

[Run Frequency] で、[オンデマンドで実行する] または [Schedule the ruleset] を選択します。ルールセットをスケジュールした場合、タスク名を入力するよう求められます。スケジュールは Amazon EventBridge で作成されます。スケジュールの編集は Amazon EventBridge で行えます。

データ品質評価の結果を Amazon S3 に保存するには、[Data quality results location] を選択します。このタスクのために先に選択した IAM ロールには、このロケーションに対する書き込みのアクセス権限が必要です。

[Additional Configurations] の [Requested number of workers] に、AWS Glue でデータ品質タスクに割り当てる数を入力します。

オプションで、データソースにフィルターを設定できます。これにより、読み取るデータを減らせます。また、フィルターを使用して、パーティション情報を選択し、これを API 呼び出しを介してパラメータとして渡すことにより、増分検証を実行することもできます。パフォーマンスを改善するには、パーティション述語を指定します。

[Run] (実行) を選択します。[Data quality task runs] (実行中のデータ品質タスク) リストに、新しいタスクが表示されます。タスクの [実行ステータス] 列に [完了] と表示されたら、品質スコアの結果を確認できます。最新のステータスを確認するため、コンソール画面の更新が必要になる場合があります。

品質評価結果の詳細の列を表示するには、[+] アイコンをクリックしてルールセットを展開します。結果には、評価に合格したルールと不合格だったルール、そして不合格の原因が表示されます。

AWS Glue コンソールのナビゲーションペインで、[Tables] (テーブル) を選択します。次に、品質評価タスクを実行する対象のテーブルを選択します。

[Data quality] タブを選択します。

[Data quality snapshot] には、時間の経過に伴う実行の一般的傾向が示されています。デフォルトでは、すべてのルールセットにおける最後の 10 回の実行が表示されます。ルールセットごとにフィルタリングするには、ドロップダウンリストから希望するルールセットを選択します。実行数が 10 回未満の場合は、完了した実行のうち表示可能なものがすべて表示されます。

[Data quality] テーブルには、各ルールセットが、最新の実行 (もしある場合) のスコアと共に表示されます。ルールセットを展開すると、そのルールセットに含まれるルールが、その実行のルール結果と併せて表示されます。

AWS Glue コンソールのナビゲーションペインで、[Tables] (テーブル) を選択します。次に、品質評価タスクを実行する対象のテーブルを選択します。

[Data quality] タブを選択します。

[Data quality] テーブルで、特定のルールセットを選択します。

[Ruleset details] ページで、[Run history] タブを選択します。

この特定のルールセットに対するすべての評価実行が、このタブ内のテーブルに一覧表示されます。スコアの履歴と実行のステータスを確認できます。

特定の実行に関する詳細情報を表示するには、[実行 ID] を選択して [Evaluation run details] のページに進みます。このページでは、実行の詳細と、個々のルール結果のステータスに関する詳細を確認できます。