Esamina i report sulla deviazione dell'attribuzione delle funzionalità nei modelli di produzione

In seguito all'avvio predefinito della pianificazione impostata, è necessario attendere l'avvio della prima esecuzione e quindi interrompere la pianificazione per evitare di incorrere in addebiti.

Per esaminare i report, utilizza questo codice:

schedule_desc = model_explainability_monitor.describe_schedule()
execution_summary = schedule_desc.get("LastMonitoringExecutionSummary")
if execution_summary and execution_summary["MonitoringExecutionStatus"] in ["Completed", "CompletedWithViolations"]:
    last_model_explainability_monitor_execution = model_explainability_monitor.list_executions()[-1]
    last_model_explainability_monitor_execution_report_uri = last_model_explainability_monitor_execution.output.destination
    print(f'Report URI: {last_model_explainability_monitor_execution_report_uri}')
    last_model_explainability_monitor_execution_report_files = sorted(S3Downloader.list(last_model_explainability_monitor_execution_report_uri))
    print("Found Report Files:")
    print("\n ".join(last_model_explainability_monitor_execution_report_files))
else:
    last_model_explainability_monitor_execution = None
    print("====STOP==== \n No completed executions to inspect further. Please wait till an execution completes or investigate previously reported failures.")

Se ci sono violazioni rispetto alla linea di base, sono elencate qui:

if last_model_explainability_monitor_execution:
    model_explainability_violations = last_model_explainability_monitor_execution.constraint_violations()
    if model_explainability_violations:
        print(model_explainability_violations.body_dict)

Se il modello viene distribuito su un endpoint in tempo reale, è possibile visualizzare in SageMaker Studio i risultati e le CloudWatch metriche dell'analisi scegliendo la scheda Endpoints e facendo doppio clic sull'endpoint.