DQDL ルールタイプリファレンス - AWS Glue

DQDL ルールタイプリファレンス

このセクションでは、AWS Glue Data Quality がサポートする各ルールタイプのリファレンスを提供します。

注記

  • 現在、DQDL はリストタイプまたはネストされた列データをサポートしていません。

  • 以下の表の括弧内の値は、ルール引数で指定された情報に置き換えられます。

  • ルールでは通常、式に追加の引数が必要です。

Ruletype 説明 引数 報告されたメトリクス ルールとしてサポートされていますか? アナライザーとしてサポートされていますか? 行レベルの結果を返しますか? 動的ルールをサポートしますか? 観察結果を生成 Where 句の構文をサポートしますか？
AggregateMatch 売上総額などのサマリーメトリクスを比較して、2 つのデータセットが一致しているかをチェックします。金融機関が、すべてのデータがソースシステムから取り込まれているかを比較する際などに便利です。 1 つ以上の集計

1 番目と 2 番目の集計列名が一致する場合:

Column.[Column].AggregateMatch

1 番目と 2 番目の集計列の名前が異なる場合:

Column.[Column1,Column2].AggregateMatch

 可能 いいえ いいえ いいえ いいえ なし
AllStatistics データセット内の指定した列の複数のメトリクスを収集するスタンドアロンアナライザー。 単一の列名

すべてのタイプの列の場合:

Dataset.*.RowCount

Column.[Column].Completeness

Column.[Column].Uniqueness

文字列値列のその他のメトリクス:

ColumnLength metrics

数値列のその他のメトリクス:

ColumnValues metrics

 不可 はい いいえ いいえ いいえ なし
ColumnCorrelation 2 つの列にどの程度の相関性があるかを確認します。 列名はちょうど 2 つです Multicolumn.[Column1,Column2].ColumnCorrelation あり はい いいえ はい いいえ 可能
ColumnCount 抜け落ちた列がないかを確認します。 なし Dataset.*.ColumnCount あり はい いいえ はい はい 不可
ColumnDataType 列がデータ型に準拠しているかをチェックします。 列名は 1 つだけです Column.[Column].ColumnDataType.Compliance 可能 いいえ なし はい (行レベルのしきい値式の場合) 不可 可能
ColumnExists データセットに列が存在するかをチェックします。これにより、セルフサービスのデータプラットフォームを構築しているユーザーは、特定の列が利用可能であることを確認できます。 列名は 1 つだけです 該当なし はい いいえ いいえ いいえ いいえ なし
ColumnLength データの長さが一貫しているかをチェックします。 列名は 1 つだけです

Column.[Column].MaximumLength

Column.[Column].MinimumLength

行レベルのしきい値が指定されている場合のその他のメトリクス:

Column.[Column].ColumnValues.Compliance

 あり 可能 はい (行レベルのしきい値が指定されている場合) 不可 はい。最小長と最大長を分析して観察結果のみを生成します。 可能
ColumnNamesMatchPattern 列名が定義済みのパターンと一致しているかをチェックします。ガバナンスチームが列名の一貫性を保つ際などに便利です。 列名の正規表現 Dataset.*.ColumnNamesPatternMatchRatio 可能 いいえ いいえ いいえ いいえ なし
ColumnValues データが定義済みの値と一致しているかをチェックします。このルールは正規表現に対応しています。 列名は 1 つだけです

Column.[Column].Maximum

Column.[Column].Minimum

行レベルのしきい値が指定されている場合のその他のメトリクス:

Column.[Column].ColumnValues.Compliance

 あり 可能 はい (行レベルのしきい値が指定されている場合) 不可 はい。最小値と最大値を分析して観察結果のみを生成します。 可能
Completeness データに空白または NULL がないかをチェックします。 列名は 1 つだけです

Column.[Column].Completeness

 あり はい はい はい はい 可能
CustomSql ユーザーは、ほぼすべてのタイプのデータ品質チェックを SQL に実装できます。

SQL ステートメント

(オプション) 行レベルのしきい値

Dataset.*.CustomSQL

行レベルのしきい値が指定されている場合のその他のメトリクス:

Dataset.*.CustomSQL.Compliance

 可能 不可 はい (行レベルのしきい値が指定されている場合) 可能 いいえ なし
DataFreshness データが最新であるかをチェックします。 列名は 1 つだけです Column.[Column].DataFreshness.Compliance 可能 いいえ はい いいえ いいえ 可能
DatasetMatch 2 つのデータセットを比較して、同期しているかを識別します。

参照データセットの名前

列のマッピング

(オプション) 一致を確認する列

 Dataset.[ReferenceDatasetAlias].DatasetMatch 可能 いいえ はい はい いいえ なし
DistinctValuesCount 重複する値がないかをチェックします。 列名は 1 つだけです Column.[Column].DistinctValuesCount あり はい はい はい はい 可能
DetectAnomalies 別のルールタイプで報告されたメトリクスに異常がないかチェックします。 ルールタイプ ルールタイプ引数で報告されたメトリクス (1 つまたは複数) 可能 いいえ いいえ いいえ いいえ なし
エントロピー データのエントロピーをチェックします。 列名は 1 つだけです Column.[Column].Entropy あり はい いいえ はい いいえ 可能
IsComplete すべてのデータが完全であるかをチェックします。 列名は 1 つだけです Column.[Column].Completeness 可能 いいえ はい いいえ いいえ 可能
IsPrimaryKey 列がプライマリキー (NULL および一意ではない) であるかをチェックします。 列名は 1 つだけです

1 列の場合:

Column.[Column].Uniqueness

複数列の場合:

Multicolumn.[CommaDelimitedColumns].Uniqueness

 可能 いいえ はい いいえ いいえ 可能
IsUnique データがすべて一意であるかをチェックします。 列名は 1 つだけです Column.[Column].Uniqueness 可能 いいえ はい いいえ いいえ 可能
平均値 平均値が、設定済みのしきい値と一致するかをチェックします。 列名は 1 つだけです Column.[Column].Mean あり はい はい はい いいえ 可能
ReferentialIntegrity 2 つのデータセットに参照整合性があるかをチェックします。

データセットの 1 つまたは複数の列名

参照データセットの 1 つまたは複数の列名

 Column.[ReferenceDatasetAlias].ReferentialIntegrity 可能 いいえ はい はい いいえ なし
RowCount レコード数がしきい値と一致するかをチェックします。 なし Dataset.*.RowCount あり はい いいえ はい はい 可能
RowCountMatch 2 つのデータセットのレコード数が一致するかをチェックします。 参照データセットのエイリアス Dataset.[ReferenceDatasetAlias].RowCountMatch 可能 いいえ いいえ はい いいえ なし
StandardDeviation 標準偏差がしきい値と一致するかをチェックします。 列名は 1 つだけです Column.[Column].StandardDeviation あり はい はい はい いいえ 可能
SchemaMatch 2 つのデータセットのスキーマが一致するかをチェックします。 参照データセットのエイリアス Dataset.[ReferenceDatasetAlias].SchemaMatch 可能 いいえ いいえ はい いいえ なし
合計 合計が、設定済みのしきい値と一致するかをチェックします。 列名は 1 つだけです Column.[Column].Sum あり はい いいえ はい いいえ 可能
Uniqueness データセットの一意性がしきい値と一致するかをチェックします。 列名は 1 つだけです Column.[Column].Uniqueness あり はい はい はい いいえ 可能
UniqueValueRatio 一意の値の比率がしきい値と一致するかをチェックします。 列名は 1 つだけです Column.[Column].UniqueValueRatio あり はい はい はい いいえ 可能
トピック