Quantifizierung der Unsicherheit in Deep-Learning - AWS Präskriptive Leitlinien
Einführung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Quantifizierung der Unsicherheit in Deep-Learning

Josiah Davis, Jason Zhu und Jeremy Oldfather, Amazon Web Services (AWS)

Samuela MacDonald und Maciej Trzaskowski, Max Kelsen

August 2020(Dokumentverlauf)

Machine Learning- (ML) -Lösungen für Machine Learning- (ML) -Lösungen Es ist nicht einfach zu wissen, wo man anfangen soll, welche Tools und Techniken man benutzt und ob man es richtig macht. ML-Experten verwenden unterschiedliche Techniken, die auf ihren individuellen Erfahrungen basieren, oder sie verwenden vorgeschriebene Tools, die in ihrem Unternehmen entwickelt wurden. In beiden Fällen erfordern die Entscheidung, was zu tun ist, die Implementierung der Lösung und deren Wartung erhebliche Zeit- und Ressourceninvestitionen. Obwohl vorhandene ML-Techniken dazu beitragen, Teile des Prozesses zu beschleunigen, erfordert die Integration dieser Techniken zur Bereitstellung robuster Lösungen monatelange Arbeit. Dieser Leitfaden ist der erste Teil einer Inhaltsserie, die sich auf maschinelles Lernen konzentriert und Beispiele dafür enthält, wie Sie schnell loslegen können. Ziel der Serie ist es, Ihnen dabei zu helfen, Ihren ML-Ansatz zu standardisieren, Designentscheidungen zu treffen und Ihre ML-Lösungen effizient bereitzustellen. Wir werden in den kommenden Monaten weitere ML-Leitfäden veröffentlichen. Bitte lesen Sie dieAWSPräskriptive LeitlinienWebsite für Updates.

In diesem Leitfaden werden aktuelle Techniken zur Quantifizierung und zum Management von Unsicherheiten in Deep-Learning-Systemen untersucht, um die prädiktive Modellierung in ML-Lösungen zu verbessern. Dieser Inhalt richtet sich an Datenwissenschaftler, Dateningenieure, Softwareingenieure und Data Science-Führungskräfte, die qualitativ hochwertige, produktionsreife ML-Lösungen effizient und in großem Maßstab bereitstellen möchten. Die Informationen sind für Data Scientists relevant, unabhängig von ihrer Cloud-Umgebung oder den Amazon Web Services (AWS) Dienste, die sie nutzen oder in Anspruch nehmen wollen.

Dieser Leitfaden setzt voraus, dass Sie mit einführenden Konzepten in den Bereichen Wahrscheinlichkeit und Deep Learning vertraut Vorschläge zum Aufbau von Kompetenzen für maschinelles Lernen in Ihrem Unternehmen finden Sie unterDeep Learning Spezialisierungauf der Coursera-Website oder den Ressourcen auf derMachine Learning: Data ScientistSeite auf derAWSWebsite für Schulungen und Zertifizierungen.

Einführung

Wenn der Erfolg in der Datenwissenschaft durch die Vorhersageleistung unserer Modelle definiert wird, ist Deep Learning sicherlich eine starke Leistung. Dies gilt insbesondere für Lösungen, die nichtlineare, hochdimensionale Muster aus sehr großen Datensätzen verwenden. Wenn Erfolg jedoch auch durch die Fähigkeit definiert wird, mit Unsicherheit zu argumentieren und Produktionsausfälle zu erkennen, wird die Wirksamkeit von Deep Learning fraglich. Wie quantifizieren wir Unsicherheit am besten? Wie nutzen wir diese Unsicherheiten, um Risiken zu managen? Welche Unsicherheitspathologien stellen die Zuverlässigkeit und damit die Sicherheit unserer Produkte in Frage? Und wie können wir solche Herausforderungen bewältigen?

Diese Anleitung:

  • Einführung der Motivation zur Quantifizierung von Unsicherheiten in Deep-Learning-Systemen

  • Erklärt wichtige Wahrscheinlichkeitskonzepte, die sich auf Deep Learning beziehen

  • Demonstriert aktuelle state-of-the-art Techniken zur Quantifizierung der Unsicherheit in Deep-Learning-Systemen, wobei die damit verbundenen Vorteile und Einschränkungen hervorgehoben werden

  • Erforscht diese Techniken innerhalb der Transfer-Lernumgebung der Verarbeitung natürlicher Sprache (NLP)

  • Bietet eine Fallstudie, die von Projekten inspiriert ist, die in einem ähnlichen Umfeld durchgeführt

Wie in diesem Leitfaden erläutert, ist es bei der Quantifizierung von Unsicherheiten beim Deep Learning eine gute Faustregel, die Temperaturskalierung mit tiefen Ensembles zu verwenden.

  • Die Temperaturskalierung ist ein ideales Werkzeug für die Interpretation von Unsicherheitsschätzungen, wenn Daten in der Verteilung berücksichtigt werden können (Guo et al. 2017) enthalten.

  • Deep Ensembles bieten state-of-the-art Schätzungen der Unsicherheit darüber, wann Daten nicht verfügbar sind (Ovadia et al. 2019) enthalten.

Wenn der Speicherbedarf von Hosting-Modellen ein Problem darstellt, können Sie Monte Carlo (MC) -Dropout anstelle von tiefen Ensembles verwenden. Erwägen Sie im Fall von Transfer Learning, entweder MC Dropout oder Deep Ensembles mit MC Dropout zu verwenden.