データ品質定義言語 (DQDL) リファレンス

データ品質定義言語 (DQDL) は、AWS Glue Data Quality でのルール定義に使用するドメイン固有の言語です。

このガイドでは、DQDL の理解を助けるために、この言語の主要な概念について解説します。また、DQDL ルールタイプのリファレンスの中で、構文や例も提供しています。このガイドを開始する際には、あらかじめ AWS Glue Data Quality を理解しておくことをお勧めします。詳細については、「AWS Glue Data Quality」を参照してください。

DQDL 構文

DQDL のドキュメントでは大文字と小文字が区別されます。また、個々の 品質評価ルールをグループ化したルールセットが含まれます。ルールセットを作成するには、Rules という名前 (大文字) の、角括弧で区切られたリストを作成する必要があります。リストの中には、次の例のようにカンマで区切られた 1 つ以上の DQDL ルールを含めます。

Rules = [
   IsComplete "order-id",
   IsUnique "order-id"
]

ルールの構造

DQDL ルールの構造は、そのルールタイプによって異なります。ただし、DQDL の各ルールは、以下のような基本的な形式を取ります。

<RuleType> <Parameter> <Parameter> <Expression>

RuleType は設定するルールタイプの名前で、大文字と小文字が区別されます。例えば、IsComplete、IsUnique、または CustomSql などです。ルールタイプごとに、ルールのパラメータが異なります。DQDL のルールタイプと、そのパラメータの詳細なリファレンスについては、「DQDL ルールタイプリファレンス」を参照してください。

複合ルール

同じ演算子を使用して複数のルールを接続でき、次のようなルールの組み合わせが可能です。

(Mean "Star_Rating" > 3) and (Mean "Order_Total" > 500) and (IsComplete "Order_Id")

ただし、論理演算子を 1 つの表現内でまとめることはできません。例えば、以下のように組み合わせることはできません。

(Mean "Star_Rating" > 3) and (Mean "Order_Total" > 500) or (IsComplete "Order_Id")

複合ルールの仕組み

デフォルトでは、複合ルールはデータセットまたはテーブル全体の個別のルールとして評価されたら、結果が結合されます。つまり、最初に列全体を評価してから演算子を適用します。このデフォルト動作は以下の例で説明します。

# Dataset

+------+------+
|myCol1|myCol2|
+------+------+
|     2|     1|
|     0|     3|
+------+------+

# Overall outcome

+----------------------------------------------------------+-------+
|Rule                                                      |Outcome|
+----------------------------------------------------------+-------+
|(ColumnValues "myCol1" > 1) OR (ColumnValues "myCol2" > 2)|Failed |
+----------------------------------------------------------+-------+
      

上の例では、AWS Glue Data Quality は最初に失敗に終わる (ColumnValues "myCol1" > 1) を評価します。次に (ColumnValues "myCol2" > 2) を評価しますが、これも失敗します。両方の結果の組み合わせは FAILED として表示されます。

ただし、行全体を評価する必要がある SQL のような動作を好む場合、以下のコードスニペットの additionalOptions で示すように ruleEvaluation.scope パラメータを明示的に設定する必要があります。

object GlueApp {
  val datasource = glueContext.getCatalogSource(
    database="<db>",
    tableName="<table>",
    transformationContext="datasource"
  ).getDynamicFrame()

  val ruleset = """
    Rules = [
        (ColumnValues "age" >= 26) OR (ColumnLength "name" >= 4)        
    ]
  """

  val dq_results = EvaluateDataQuality.processRows(
    frame=datasource,
    ruleset=ruleset,
    additionalOptions=JsonOptions("""
        {
          "compositeRuleEvaluation.method":"ROW"
        }
      """
    )
  )
}     
      

AWS Glue Data Catalog では、次に示すように、ユーザーインターフェイスでこのオプションを簡単に設定できます。

いったん設定すると、複合ルールは行全体を評価する単一のルールとして動作します。次の例では、この動作を示します。

# Row Level outcome

+------+------+------------------------------------------------------------+---------------------------+
|myCol1|myCol2|DataQualityRulesPass                                        |DataQualityEvaluationResult|
+------+------+------------------------------------------------------------+---------------------------+
|2     |1     |[(ColumnValues "myCol1" > 1) OR (ColumnValues "myCol2" > 2)]|Passed                     |
|0     |3     |[(ColumnValues "myCol1" > 1) OR (ColumnValues "myCol2" > 2)]|Passed                     |
+------+------+------------------------------------------------------------+---------------------------+     
      

一部のルールは全体的な結果がしきい値または比率に依存するため、この機能ではサポートできません。以下に一覧表示します。

比率に依存するルール:

しきい値に依存するルール:

次のルールにしきい値が含まれる場合、ルールはサポートされません。ただし、with threshold に関連しないルールは引き続きサポートされます。

表現

ルールタイプがブール型で応答を生成しない場合、この応答を取得するには、パラメータで表現を指定する必要があります。例えば、次のルールでは、表現に対応させながら列内のすべての値の mean 値 (平均) をチェックし、真または偽の結果を返します。

Mean "colA" between 80 and 100

一部のルールタイプ (IsUnique や IsComplete など) は、既にブール型の応答を返しています。

次の表に、DQDL ルールで使用できる式を一覧で示します。

Completeness "colA" = "1.0",
ColumnValues "colA" = "2022-06-30"

ColumnValues "colA" != "a",
ColumnValues "colA" != "2022-06-30"

ColumnValues "colA" > 10

ColumnValues "colA" < 1000,
ColumnValues "colA" < "2022-06-30"

ColumnValues "colA" >= 10

ColumnValues "colA" <= 1000

Mean "colA" between 8 and 100,
ColumnValues "colA" between "2022-05-31" and "2022-06-30"

ColumnValues "colA" not between "2022-05-31" and "2022-06-30"

ColumnValues "colA" in [ 1, 2, 3 ],
ColumnValues "colA" in [ "a", "b", "c" ]

ColumnValues "colA" not in [ 1, 2, 3 ],
ColumnValues "colA" not in [ "a", "b", "c" ]

ColumnValues "colA" matches "[a-zA-Z]*"

ColumnValues "colA" not matches "[a-zA-Z]*"

ColumnValues "load_date" > (now() - 3 days)

ColumnValues "colA" in ["A", "B"] with threshold > 0.8,
ColumnValues "colA" matches "[a-zA-Z]*" with threshold between 0.2 and 0.9
ColumnDataType "colA" = "Timestamp" with threshold > 0.9

NULL、EMPTY、WHITESPACES_ONLY のキーワード

文字列の列に null、空、空白のみの文字列があるかどうかを検証する場合、次のキーワードを使用できます。

数値または日付ベースの式には、列に null があるかどうかを検証する場合、次のキーワードを使用できます。

Where 句によるフィルタリング

ルールの作成時にデータをフィルタリングできます。これは、条件付きルールを適用する場合に便利です。

<DQDL Rule> where "<valid SparkSQL where clause> "

フィルターは where キーワード、その後に引用符 ("") で囲まれた有効な Spark SQL ステートメントを指定する必要があります。

しきい値を持つルールに Where 句を追加するルールの場合、しきい値条件の前に Where 句を指定する必要があります。

<DQDL Rule> where "valid SparkSQL statement>" with threshold <threshold condition>
        

この構文では次のようなルールを記述できます。

Completeness "colA" > 0.5 where "colB = 10"
ColumnValues "colB" in ["A", "B"] where "colC is not null" with threshold > 0.9
ColumnLength "colC" > 10 where "colD != Concat(colE, colF)"

提供された Spark SQL ステートメントが有効であることを検証します。無効な場合、ルールの評価は失敗し、次の形式の IllegalArgumentException がスローされます。

Rule <DQDL Rule> where "<invalid SparkSQL>" has provided an invalid where clause :
<SparkSQL Error>

行レベルのエラーレコード識別が有効になっている場合の句の動作

AWS Glue Data Quality を使用すると、失敗した特定のレコードを識別できます。行レベルの結果をサポートするルールに Where 句を適用すると、Where 句で除外された行に Passed というラベルが付けられます。

フィルタリングされた行に個別にSKIPPEDというラベルを付ける場合は、ETL ジョブに以下additionalOptionsを設定できます。

object GlueApp {
  val datasource = glueContext.getCatalogSource(
    database="<db>",
    tableName="<table>",
    transformationContext="datasource"
  ).getDynamicFrame()

  val ruleset = """
    Rules = [
       IsComplete "att2" where "att1 = 'a'"        
    ]
  """

  val dq_results = EvaluateDataQuality.processRows(
    frame=datasource,
    ruleset=ruleset,
    additionalOptions=JsonOptions("""
        {
          "rowLevelConfiguration.filteredRowLabel":"SKIPPED"
        }
      """
    )
  )
}

例として、次のルールとデータフレームを参照してください:

IsComplete att2 where "att1 = 'a'"

動的ルール

動的ルールを作成して、ルールによって生成された現在のメトリクスと履歴値を比較できるようになりました。これらの履歴比較は、式に last() 演算子を使用することで可能になります。例えば、現在の実行で行数が同じデータセットの最新の行数よりも多い場合、RowCount > last() ルールは成功します。last() は、考慮すべき事前メトリクスの数を記述する自然数引数をオプションで取り、last(k) では k >= 1 が直近の k メトリクスを参照します。

有効な式を作成するには last(k) を使用します。k > 1 では、複数の履歴結果を 1 つの数値にまとめる集計関数が必要です。例えば RowCount > avg(last(5)) は、現在のデータセットの行数が、同じデータセットの直近の 5 つの行数の平均より真に大きいかどうかを確認します。現在のデータセットの行数をリストと有意に比較できないため、RowCount > last(5) はエラーを生成します。

サポートされている集計関数:

式の例

ColumnCorrelation

DistinctValuesCount

数値条件またはしきい値を使用するほとんどのルールタイプは動的ルールをサポートします。使用しているルールタイプで動的ルールがサポートされているかどうかを確認するには、提供されている「アナライザーとルール」の表を参照してください。

アナライザー

DQDL ルールは、アナライザーと呼ばれる関数を使用してデータに関する情報を収集します。この情報をルールのブール式に使用して、ルールが成功するか失敗するかを決定します。例えば、RowCount ルール RowCount > 5 は、行数アナライザーを使用してデータセット内の行数を検出し、その数を式 > 5 と比較して、現在のデータセットに 5 行以上存在するかどうかを確認します。

ルールを作成する代わりに、アナライザーを作成して、異常の検出に使用できる統計を生成させることを推奨する場合があります。このような場合は、アナライザーを作成できます。アナライザーは、次の点でルールとは異なります。

アナライザーはルールなしで独立して存在できるため、アナライザーをすばやく構成し、データ品質ルールを段階的に構築できます。

ルールセットの Analyzers ブロックに入力できるルールタイプもあります。これにより、アナライザーに必要なルールを実行し、条件のチェックを行わずに情報を収集できます。アナライザーの中には、ルールに関連付けられておらず、Analyzers ブロックにしか入力できないものもあります。次の表は、各項目がルールとしてサポートされているか、スタンドアロンアナライザーとしてサポートされているか、および各ルールタイプの詳細を示しています。

アナライザーを使用したルールセットの例

以下のルールセットでは以下のものが使用されます。

アナライザーメトリクスの結果は、ジョブ実行の [データ品質] タブで確認できます。

Rules = [
   RowCount > avg(last(3))
]
Analyzers = [
   DistinctValuesCount "Name",
   ColumnLength "Name"
]     
        

AWS Glue Data Quality は、次のアナライザーをサポートしています。

コメント

「#」文字を使用して DQDL ドキュメントにコメントを追加できます。「#」文字の後から行末までに含まれるすべての文字は DQDL に無視されます。

Rules = [
    # More items should generally mean a higher price, so correlation should be positive
    ColumnCorrelation "price" "num_items" > 0
]