本番稼働モデルの特徴属性ドリフトのレポートを確認する

設定したスケジュールがデフォルトで開始されたら最初の実行が開始されるのを待ち、その後、料金が発生しないようにスケジュールを停止する必要があります。

レポートを確認するには、次のコードを使います。

schedule_desc = model_explainability_monitor.describe_schedule()
execution_summary = schedule_desc.get("LastMonitoringExecutionSummary")
if execution_summary and execution_summary["MonitoringExecutionStatus"] in ["Completed", "CompletedWithViolations"]:
    last_model_explainability_monitor_execution = model_explainability_monitor.list_executions()[-1]
    last_model_explainability_monitor_execution_report_uri = last_model_explainability_monitor_execution.output.destination
    print(f'Report URI: {last_model_explainability_monitor_execution_report_uri}')
    last_model_explainability_monitor_execution_report_files = sorted(S3Downloader.list(last_model_explainability_monitor_execution_report_uri))
    print("Found Report Files:")
    print("\n ".join(last_model_explainability_monitor_execution_report_files))
else:
    last_model_explainability_monitor_execution = None
    print("====STOP==== \n No completed executions to inspect further. Please wait till an execution completes or investigate previously reported failures.")

ベースラインと比較して何らかの違反がある場合は、こちらに一覧表示されます。

if last_model_explainability_monitor_execution:
    model_explainability_violations = last_model_explainability_monitor_execution.constraint_violations()
    if model_explainability_violations:
        print(model_explainability_violations.body_dict)

モデルがリアルタイムエンドポイントにデプロイされている場合、 SageMaker Studio で Endpoints タブを選択し、エンドポイントをダブルクリックすることで、分析結果と CloudWatch メトリクスの視覚化を確認できます。