AWS Glue Data Quality での異常検出

エンジニアは数百ものデータパイプラインを同時に管理します。各パイプラインはさまざまなソースからデータを抽出し、データレイクまたはその他のデータリポジトリに読み込むことができます。意思決定に役立つ高品質のデータが配信されるように、データ品質ルールを確立します。これらのルールは、現在のビジネス状態を反映した一定の基準に基づいてデータを評価します。ただし、ビジネス環境が変わると、データプロパティがシフトするため、これらの基準が古くなり、データ品質が低下します。

例えば、ある小売会社のデータエンジニアが、日次売上が 100 万 USD のしきい値を超えなければならない、という日次売上の検証ルールを設定したとします。その数か月後、日次売上高は 200 万 USD を超えたため、元のしきい値は適切な数値ではなくなりました。データエンジニアは、通知がなく、ルールを手動で分析および更新するために必要な労力が不足していたため、最新のしきい値を反映するルールへ更新ができませんでした。同月後半、ビジネスユーザーたちは売上が 25% 減少していることに気付きました。数時間の調査の結果、データエンジニアは、一部のストアからデータを抽出する ETL パイプラインが、エラーを生成せずに故障していたことを発見しました。ところが古いしきい値で確立したルールは正常に動作し続け、この問題を検出しませんでした。

あるいは、これらの異常を検出できるプロアクティブアラートがあれば、ユーザーがこの問題を検出できた可能性があります。さらに、ビジネスの季節性を追跡すると、データ品質に関する重大な問題が浮き彫りになったでしょう。例えば、小売売上は週末や祝祭日が最も高く、平日だと比較的低いと考えられます。このパターンからの逸脱は、データ品質の問題やビジネス状況の変化を示している可能性があります。データ品質ルールは、季節性をキャプチャして偏差を検出するために過去のパターンから学習できる高度なアルゴリズムが必要なため、季節性パターンを検出することはできません。

最後に、ルール作成プロセスの技術的な性質とルール作成にかかる時間が要因となり、ユーザーがルールの作成と維持を行うのは困難です。そのため、ユーザーはルールを定義する前に、まずデータインサイトを調べることを好みます。顧客は異常を簡単に特定できる能力が必要であり、それがあればデータ品質の問題をプロアクティブに検出して、自信を持ってビジネス上の意思決定を行うことができます。

仕組み

AWS Glue Data Quality は、ルールベースのデータ品質と異常検出機能を組み合わせて、高品質のデータを提供します。開始するには、まずルールとアナライザーを設定し、異常検出を有効にする必要があります。

Rules

ルール - ルールは、データに対する期待値を、データ品質定義言語 (DQDL) と呼ばれるオープン言語で表します。次にルールの例を示します。このルールは、「passenger_count」列に空の値または NULL 値がない場合に成功します。

Rules = [
    IsComplete "passenger_count"
]

アナライザー

重要な列については理解しているが、特定のルールを書くためのデータについてよくわからない場合は、アナライザーを使用してそれらの列をモニタリングできます。アナライザーは、明示的なルールを定義せずにデータ統計を収集する方法です。アナライザーの設定例を以下に示します。

Analyzers = [
    AllStatistics "fare_amount",
    DistinctValuesCount "pulocationid",
    RowCount
]

この例では、3 つのアナライザーが設定されています:

アナライザーは、複雑なルールを指定せずに関連するデータ統計を収集するシンプルな方法として役立ちます。これらの統計をモニタリングすることで、データ品質に関するインサイトを得て、さらなる調査や特定のルールの作成が必要になる可能性のある潜在的な問題や異常を特定できます。

データ統計

AWS Glue Data Quality のアナライザーとルールはどちらも、データ統計 (データプロファイルとも呼ばれる) を収集します。これらの統計は、データの特性と品質に関するインサイトを提供します。収集された統計は AWS Glue サービス内に経時的に保存されるため、データプロファイルの変更を追跡および分析できます。

適切な API を呼び出すことで、これらの統計を簡単に取得してさらなる分析ができるほか、Amazon S3 に書き込むことで長期間保管できます。この機能を使用すると、データ処理ワークフローにデータプロファイリングを統合し、収集された統計をデータ品質モニタリング、異常検出など、さまざまな目的のために活用できます。

データプロファイルを Amazon S3 に保存することで、Amazon のオブジェクトストレージサービスのスケーラビリティ、耐久性およびコスト効率を活用できます。さらに、他の AWS サービスやサードパーティーのツールを使用してデータプロファイルを分析および視覚化できるため、データ品質に関するより深いインサイトを得て、データ管理とガバナンスについて情報に基づいた意思決定を行うことができます。

次は、経時的に保存されるデータ統計の例です。

異常検出

AWS Glue Data Quality では、異常を検出するために最低 3 つのデータポイントが必要です。機械学習アルゴリズムを使用して過去の傾向から学習し、将来の値を予測します。実際の値が予測範囲内にない場合、AWS Glue Data Quality は異常観測を作成します。実際の値と傾向が視覚的に表示されます。以下のグラフには 4 つの値が表示されます。

異常に関して注意すべき重要な点がいくつかあります:

異常検出モード

AWS Glue Data Quality は、機械学習モデルによる期待値の予測方法を制御する、2 つの異常検出モードをサポートしています。データ特性とモニタリングパターンに最も適したモードを選択できます。

モードの選択

次の表は、各モードを使用するタイミングの一覧です。

監視モードの設定

データ品質の評価を実行する際、監視モードを設定できます。

AWS Glue データカタログの場合、AdditionalRunOptions パラメータの ObservationMode フィールドを使用します。

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "ObservationScope": "ALL",
    "ObservationMode": "FIXED"
  }'

AWS Glue ETL ジョブの場合は、observations.mode オプションを使用します。

additional_options = {
    "observations.scope": "ALL",
    "observations.mode": "FIXED"
}

result = EvaluateDataQuality.process_rows(
    frame=dynamic_frame,
    ruleset=ruleset,
    publishing_options=publishing_options,
    additional_options=additional_options
)

モードを指定しない場合、異常検出はデフォルトで LINEAR モードを使用します。

再トレーニング

適切な異常を検出するには、異常検出モデルの再トレーニングが不可欠です。異常が検出されると、AWS Glue Data Quality はこの異常をモデルに通常の値として含めます。異常検出を正確に機能させるには、異常を承認または拒否してフィードバックを提供することが重要です。AWSGlue Data Quality では、モデルにフィードバックを提供するためのメカニズムが、AWS Glue Studio と API の両方で提供されています。詳細については、AWS Glue ETL パイプラインでの異常検出の設定に関するドキュメントを参照してください。また、ObservationScope を ALL に設定して評価実行を実行することで、AWS Glue データカタログ内のテーブルの異常検出を有効にすることもできます。

異常検出アルゴリズムの詳細

季節性の取得

AWS Glue Data Quality の異常検出アルゴリズムは、季節的なパターンをキャプチャできます。例えば、平日のパターンは週末のパターンとは異なることを理解できます。これは以下の例で確認できます。ここでは、AWS Glue Data Quality がデータ値の季節的な傾向を検出しています。この機能を有効にするために何か特定のことを行う必要はありません。時間の経過とともに、AWS Glue Data Quality は季節的な傾向を学習し、これらのパターンが破られたときに異常を検出します。

Cost

異常の検出にかかる時間に基づいて料金が課金されます。統計ごとに 1 DPU の料金が発生し、異常の検出にかかる時間に対して課金されます。詳細な例については、「AWS Glue の料金」を参照してください。

主な考慮事項

統計の保存に対して料金は発生しません。ただし、アカウントごとに保存できる統計は 100,000 に制限されています。これらの統計は最大 2 年間保存されます。