DetectAnomalies - AWS Glue

DetectAnomalies

特定のデータ品質ルールの異常を検出します。DetectAnomalies ルールを実行するたびに、そのルールの評価値が保存されます。十分なデータが収集されると、異常検出アルゴリズムはその特定のルールに関するすべての履歴データを取得し、異常検出を実行します。DetectAnomalies ルールは、異常が検出されると失敗します。どのような異常が検出されたかについての詳細は、「観察結果」で確認できます。

[Syntax] (構文)


       DetectAnomalies <RULE_NAME> <RULE_PARAMETERS>

RULE_NAME – 異常の評価、検出を希望するルールの名前。サポートされているルール:

  • "RowCount"

  • "Completeness"

  • "Uniqueness"

  • "Mean"

  • "Sum"

  • "StandardDeviation"

  • "Entropy"

  • "DistinctValuesCount"

  • "UniqueValueRatio"

  • "ColumnLength"

  • "ColumnValues"

  • "ColumnCorrelation"

  • "CustomSQL"

  • "ColumnCount"

RULE_PARAMETERS — 一部のルールでは、実行に追加のパラメータが必要です。必要なパラメータについては、該当するルールのドキュメントを参照してください。

例: RowCount の異常

例えば、RowCount の異常を検出したい場合は、RowCount をルール名として指定します。

DetectAnomalies "RowCount"

例: ColumnLength の異常

例えば、ColumnLength の異常を検出したい場合は、ルール名として ColumnLength を指定し、列名を指定します。

DetectAnomalies "ColumnLength" "id"