Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Drift bei der Merkmalszuweisung bei Modellen in der Produktion
Eine Abweichung bei der Verteilung von Live-Daten für Modelle, die sich in der Produktion befinden, kann zu einer entsprechenden Abweichung bei den Werten für die Feature-Zuordnung führen, genauso wie sie bei der Überwachung von Messwerten zu Verzerrungen führen kann. Die Überwachung der Feature-Attribution von Amazon SageMaker Clarify hilft Datenwissenschaftlern und ML-Technikern dabei, Prognosen für Abweichungen bei der Feature-Attribution regelmäßig zu überwachen. Während das Modell überwacht wird, können Kunden exportierbare Berichte und Grafiken mit detaillierten Funktionszuweisungen in SageMaker Studio anzeigen und Benachrichtigungen in Amazon CloudWatch so konfigurieren, dass sie Benachrichtigungen erhalten, wenn festgestellt wird, dass die Zuordnungswerte einen bestimmten Schwellenwert überschreiten.
Um dies anhand einer bestimmten Situation zu veranschaulichen, stellen Sie sich ein hypothetisches Szenario für Hochschulzulassungen vor. Gehen Sie davon aus, dass wir die folgenden (aggregierten) Featureszuordnungswerte in den Trainingsdaten und in den Live-Daten beobachten:
Hypothetisches Szenario für die Zulassung zum College
| Funktion | Zuordnung in Trainingsdaten | Zuordnung in Live-Daten |
|---|---|---|
| SAT-Score | 0,70 | 0.10 |
| LÜCKE | 0.50 | 0.20 |
| Klassenrang | 0,05 | 0,70 |
Der Wechsel von Trainingsdaten zu Live-Daten scheint signifikant zu sein. Das Feature-Ranking hat sich komplett umgekehrt. Ähnlich wie bei der Verzerrungsdrift können die Abweichungen bei der Feature-Attribution durch eine Änderung der Live-Datenverteilung verursacht werden und eine genauere Untersuchung des Modellverhaltens in den Live-Daten rechtfertigen. Auch hier besteht der erste Schritt in diesen Szenarien darin, einen Alarm auszulösen, dass eine Abweichung aufgetreten ist.
Wir können die Abweichung erkennen, indem wir vergleichen, wie sich die Rangfolge der einzelnen Merkmale von Trainingsdaten zu Live-Daten verändert hat. Wir wollen nicht nur sensibel auf Änderungen in der Rangfolge reagieren, sondern auch auf den reinen Attributionswert der Features achten. Bei zwei Features, die in der Rangliste um die gleiche Anzahl von Positionen fallen, wenn es um die gleiche Anzahl von Positionen geht, die von den Trainingsdaten zu den Live-Daten gehen, wollen wir beispielsweise sensibler auf das Feature reagieren, das in den Trainingsdaten einen höheren Attributionswert hatte. Unter Berücksichtigung dieser Eigenschaften verwenden wir den NDCG-Wert (Normalized Discounted Cumulative Gain), um die Rangfolge der Featureszuordnungen von Trainings- und Live-Daten zu vergleichen.
Gehen Sie insbesondere davon aus, dass wir Folgendes haben:
-
F= [f1,..., fm] ist die Liste der Features, sortiert nach ihren Attributionswerten in den Trainingsdaten, wobei m die Gesamtzahl der Features ist. In unserem Fall ist zum Beispiel F = [SAT-Score, GPA, Klassenrang].
-
a(f) ist eine Funktion, die den Wert der Merkmalszuweisung für das Trainingsdaten bei einem bestimmten Feature f zurückgibt. Zum Beispiel: a (SAT-Score) = 0,70.
-
F′= [f′1,..., f′m] ist die Liste der Features, sortiert nach ihren Attributionswerten in den Live-Daten. Zum Beispiel F ′= [Klassenrang, Notendurchschnitt, SAT-Score].
Dann können wir den NDCG wie folgt berechnen:
NDCG=DCG/IDCG
mit
-
DCG = ∑1ma(f'i)/log2(i+1)
-
iDCG = ∑1ma(fi)/log2(i+1)
Die Menge DCG misst, ob Features mit hoher Zuordnung in den Trainingsdaten auch in der anhand der Live-Daten berechneten Featureszuweisung höher eingestuft werden. Die Größe iDCG misst den idealen Wert und ist lediglich ein Normalisierungsfaktor, um sicherzustellen, dass die endgültige Menge im Bereich [0, 1] liegt, wobei 1 der bestmögliche Wert ist. Ein NDCG-Wert von 1 bedeutet, dass die Rangfolge der Feature-Zuordnung in den Live-Daten mit der Rangfolge in den Trainingsdaten übereinstimmt. In diesem speziellen Beispiel beträgt der NDCG-Wert 0,69, da sich die Rangfolge erheblich geändert hat.
In SageMaker Clarify lösen wir automatisch eine Warnung aus, wenn der NDCG-Wert unter 0,90 liegt.
Model Monitor Beispiel-Notebooks
SageMaker Clarify stellt das folgende Beispiel-Notizbuch zur Verfügung, das zeigt, wie Inferenzdaten für einen Echtzeit-Endpunkt erfasst, eine Ausgangsbasis für die Überwachung sich entwickelnder Verzerrungen erstellt und die Ergebnisse überprüft werden:
-
Überwachung von Verzerrungen und Abweichungen bei der Merkmalszuweisung Amazon SageMaker Clarify
— Verwenden Sie Amazon SageMaker Model Monitor, um Verzerrungen und Abweichungen bei der Merkmalszuweisung im Laufe der Zeit zu überwachen.
Es wurde verifiziert, dass dieses Notizbuch nur in SageMaker Studio ausgeführt werden kann. Anweisungen zum Öffnen eines Notizbuchs in SageMaker Studio finden Sie unterErstellen oder öffnen Sie ein Amazon SageMaker Studio Classic-Notizbuch. Wenn Sie aufgefordert werden, einen Kernel auszuwählen, wählen Sie Python 3 (Data Science). Die folgenden Themen enthalten die Highlights der letzten beiden Schritte sowie Codebeispiele aus dem Beispiel-Notebook.
Themen
