Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Inserisci le etichette Ground Truth e le unisci alle previsioni
Il monitoraggio della qualità del modello confronta le previsioni fatte dal modello con le etichette Ground Truth per misurare la qualità del modello. Affinché tutto funzioni correttamente, etichetta periodicamente i dati acquisiti dall'endpoint o dal processo di trasformazione di batch e caricali su Amazon S3.
Per abbinare le etichette Ground Truth ai dati di previsione acquisiti, deve esserci un identificatore univoco per ogni record nel set di dati. La struttura di ogni record dei dati Ground Truth è la seguente:
{ "groundTruthData": { "data": "1", "encoding": "CSV" }, "eventMetadata": { "eventId": "aaaa-bbbb-cccc" }, "eventVersion": "0" }
Nella struttura di groundTruthData, eventId può essere:
-
eventId: questo ID viene generato automaticamente quando un utente richiama l'endpoint. -
inferenceId: il chiamante fornisce questo ID quando richiama l'endpoint.
Se inferenceId è presente nei record di dati acquisiti, Model Monitor lo utilizza per unire i dati acquisiti con i record Ground Truth. È tua responsabilità assicurarti che inferenceId nei record Ground Truth corrispondano a inferenceId nei record acquisiti. Se inferenceId non è presente nei dati acquisiti, il monitoraggio del modello utilizza eventId dai record dei dati acquisiti per abbinarli a un record Ground Truth.
È necessario caricare i dati di Ground Truth in un bucket Amazon S3 con lo stesso formato di percorso dei dati acquisiti.
Requisiti di formato dei dati
Quando salvi i tuoi dati su Amazon S3, questi devono utilizzare il formato jsonlines (.jsonl) ed essere salvati utilizzando la seguente struttura di denominazione. Per ulteriori informazioni sui requisiti di jsonline, consulta. Usa dati di input e output
s3://amzn-s3-demo-bucket1/prefix/yyyy/mm/dd/hh
La data in questo percorso è la data in cui viene raccolta l'etichetta Ground Truth e non deve necessariamente corrispondere alla data in cui è stata generata l'inferenza.
Dopo aver creato e caricato le etichette Ground Truth, includi la posizione delle etichette come parametro, quando crei il processo di monitoraggio. Se lo stai utilizzando AWS SDK for Python (Boto3), esegui questa operazione specificando la posizione delle etichette Ground Truth come S3Uri campo del GroundTruthS3Input parametro in una chiamata al create_model_quality_job_definition metodo. Se state usando SageMaker Python SDK, specificate la posizione delle etichette Ground Truth come ground_truth_input parametro nella chiamata all'oggettocreate_monitoring_schedule. ModelQualityMonitor
