Einführung in das maschinelle Lernen: Grundlagen – Datengestaltung, Verlustfunktionen und Generalisierung

Maschinelles Lernen ist die Technik, anhand von Daten eine Funktion zu optimieren, die eine Eingabe x in eine Vorhersage \hat y=f_\theta(x) umwandelt. Entscheidend ist nicht der Name eines hochpräzisen Modells, sondern die Definition dessen, was vorhergesagt werden soll, wie die Kosten von Fehlern gemessen werden und ob die gleichen Bedingungen im Einsatz aufrechterhalten werden können.

Grundlagen und Datenaufteilung

Minimieren Sie den empirischen Verlust im Trainingsdatensatz:

Die Kreuzentropie ist repräsentativ für die Klassifizierung, der quadratische Fehler für die Regression. Teilen Sie Trainings-, Validierungs- und Testdaten nach Entität, Video oder Zeit auf, um Duplikate und zukünftige Informationen zu vermeiden. Sobald Sie den Testdatensatz betrachten und Einstellungen anpassen, wird er zu einem Validierungsdatensatz und kann die Generalisierung nicht mehr messen.

Diagramm: Duskcoil, konzeptionelles, nicht messbares Leistungsergebnis.

Bewertung und Sicherheit

Genauigkeit allein reicht bei seltenen Gefahren nicht aus; Präzision, Trefferquote, Kalibrierung, Leistung von Untergruppen, Latenz, fehlende Eingaben und Verteilungsverschiebung prüfen. Hochriskante Ergebnisse sollten einer Person oder einem sicheren Ausweichmechanismus vorgelegt werden, anstatt die endgültige Entscheidungsgewalt zu übernehmen.

Referenzen

• scikit-learn Modellbewertung
• Google Regeln für maschinelles Lernen

Von der Problemdefinition zu den Merkmalen

„Nachfrage prognostizieren“ und „Anomalien erkennen“ sind keine Spezifikationen. Definieren Sie, wer welche Informationen zu welchem Zeitpunkt verfügbar sind, die Frist und welche Fehler akzeptabel sind. Ein Merkmal, das nach dem Zielzeitpunkt erfasst wird (t), stellt ein Datenleck dar. Vorverarbeitungsstatistiken, Imputation und Vokabular nur mit den Trainingsdaten trainieren. Standardisierung (x'=(x-\mu)/\sigma) ist nur gültig, wenn die Merkmale (\mu,\sigma) aus den Trainingsdaten gelernt wurden.

Eine Basislinie ist wichtig: Der Wert von gestern, eine Regel, lineare Regression oder ein kleiner Entscheidungsbaum, der von einem komplexen Modell nicht übertroffen werden kann, sind nicht ausreichend. Betriebskosten rechtfertigen. Funktionsverfügbarkeit, Latenz, Modellgröße, Wartungsaufwand und Ausfallsicherung in derselben Tabelle wie die Genauigkeit vergleichen.

Generalisierung, Verzerrung und Veränderung

Ein niedriger empirischer Verlust impliziert keinen niedrigen erwarteten Verlust unter der Verteilung \mathbb E_{(x,y)\sim p_{deploy}}[\ell]. Kovariatenverschiebungen verändern die Eingaben; Konzeptdrift verändert die Bedeutung von Bezeichnungen. Jahreszeiten, Hardware-Revisionen, Betriebsregeln, Benutzerverhalten und Sensorausfälle verursachen beides. Führen Sie eine stratifizierte Bewertung nach Zeit, Region, Attribut und Gerät anstelle eines festen Tests durch.

| Bewertung | Frage | Leicht zu übersehen |

--- | --- | --- |

Genauigkeit | Wie viele sind insgesamt korrekt? | Fehlende Ergebnisse seltener Klassen |

Präzision/Trefferquote | Sind Warnmeldungen zuverlässig und werden sie erfasst? | Schwellenwertkosten |

Kalibrierung | Stimmt die Wahrscheinlichkeit mit der Häufigkeit überein? | Fehler mit hoher Konfidenz |

Zeit-Holdout | Funktioniert es auch in Zukunft? | Saisonale und Richtlinienänderungen |

Attribut-Slices | Wer erhält Fehlermeldungen? | Unsicherheit bei kleinen Stichproben |

Bereitstellung und Fehlerbehandlung

Vor der Bereitstellung Eingabeschema, Einheiten, Bereiche, fehlende Werte und Merkmalsverteilungen validieren. Entscheiden, ob bei unbrauchbaren Ergebnissen auf eine alte Vorhersage, eine Regel oder eine menschliche Entscheidung zurückgegriffen wird. Feedbackschleifen überwachen: Empfehlungen verändern die Exposition, und Detektoren verändern die Inspektionsfrequenz, sodass neue Daten nicht automatisch erfasst werden.

Datenverträge, versioniertes und reproduzierbares Training, Schattenbetrieb, stufenweise Einführung, Leistungs-/Fairness-/Latenzüberwachung und sofortiges Rollback nutzen. Bei risikoreichen Entscheidungen Beweise, Vertrauen und fehlende Eingaben einer Person vorlegen, anstatt das Modell als endgültige Entscheidungsinstanz zu betrachten.

1. Vorhersage-Cutoff und verfügbare Merkmale prüfen.

2. Baseline und unabhängigen Test festlegen.

3. Metriken den Fehlerkosten und Sicherheitsanforderungen zuordnen.

4. Fehlende Daten, Verschiebungen und adversariellen Eingaben testen.

5. Überwachungsschwellenwerte, Stopp und Genehmigung für erneutes Training in den Betrieb integrieren.

6. Datenblätter für Datensätze

7. Modellkarten für die Modellberichterstattung

Unsicherheit von Entscheidungen trennen

Eine Modellwahrscheinlichkeit ist keine Handlungsanweisung. Ordnen Sie bei einer Wartungswarnung die Ausfallwahrscheinlichkeit Stop-Loss, Miss-Loss und Inspektionskosten zu, bevor Sie einen Schwellenwert festlegen. Ändert sich die Basisausfallrate, ändert sich auch der optimale Schwellenwert. Überprüfen Sie Zuverlässigkeitsdiagramme und den Brier-Score und führen Sie eine Platt- oder isotonische Kalibrierung nur mit Validierungsdaten durch; passen Sie den Kalibrator an das Modell an.

Vorhersageintervalle und die Ensemble-Streuung sind hilfreich, aber keine Garantien. Eingaben außerhalb der Verteilung, Sensorausfälle und Adversarial Examples können die Unsicherheitsschätzung selbst beeinträchtigen. Übergeben Sie Eingabevalidität, OOD-Flag, Konfidenz und Geschäftsregeln als separate Signale; wählen Sie eine manuelle Überprüfung oder einen sicheren Standardwert, wenn einer der Werte unsicher ist.

Auswahl eines Lernregimes

Unüberwacht | Üblicherweise keine Labels | Struktur- und Anomaliekandidaten | Keine Bedeutungszuweisung nach dem Clustering |

Selbstüberwacht | Proxy-Aufgabe aus Daten | Großer ungelabelter Korpus | Nachgelagerte Evaluierung und Überlappung |

Semi-überwacht | Wenige Labels plus ungelabelt | Aufwändige Annotation | Verstärkung von Pseudo-Labels |

Verstärkung | Belohnung und Interaktion | Sequenzielle Entscheidungen | Simulatorlücke und sichere Exploration |

Vergleichen Sie die Kosten für das Hinzufügen von Labels mit den Kosten für die Komplexität des Modells. Unüberwachte Cluster entsprechen nicht automatisch menschlichen Attributen, und schwache Pseudo-Labels können Verzerrungen verstärken. Protokollieren Sie, wer welches Label wann und mit welchem Verfahren gemessen hat.

Fehlerfall: Zufällige Aufteilung kennt die Zukunft

Die zufällige Aufteilung überlappender Vibrationsfenster einer Maschine führt zu nahezu identischen Daten im Trainings- und Testdatensatz. Ein nach einem Fehler zugewiesener Wartungscode oder ein über den gesamten Zeitraum berechneter Mittelwert gibt ebenfalls Informationen über die Zukunft preis. Teilen Sie die Daten nach Maschinen-ID und Zeit auf und berechnen Sie die Merkmale anhand der verfügbaren Datensätze neu. Vorhersagezeit. Ein niedrigerer, aber ehrlicher Wert ist näher an der Implementierung als ein durch Datenlecks aufgeblähter Wert.

Minimale Implementierungsprozedur

1. Benutzer, Ziel, Beobachtungsschwelle, Aktion und Fehlerkosten in einer Spezifikationstabelle zusammenfassen.

2. Herkunft, Einwilligung/Rechte, Gründe für fehlende Daten, Einheiten, Häufigkeit und Kennzeichnungsverfahren prüfen.

3. Gruppen-/Zeitaufteilung im Code korrigieren und doppelte Hashes sowie ID-Überschneidungen automatisch prüfen.

4. Regeln und einfache Modelle als Baselines verwenden und bedingte Konfidenzintervalle angeben.

5. Vorverarbeitung, Modell, Kalibrierung und Schwellenwert in einer Pipeline speichern; finale Daten einmalig auswerten.

6. Shadow-Test, eingeschränkte Freigabe und gestaffelte Einführung durchführen und dabei Eingabequalität, Latenz, Ablehnungen und Downstream-Ergebnisse überwachen.

7. Auslöser für das erneute Training, Genehmiger, Rollback-Version, Vorfallsmeldung und Deaktivierungsbedingung dokumentieren.

Erneutes Training führt nicht automatisch zu Verbesserungen. Alte und neue Modelle anhand desselben festen Datensatzes vergleichen und einen Herausforderungssatz für neue Zeiträume und Geräte hinzufügen. Leistung, statistische Unsicherheit, Rechenaufwand, Sicherheit und Betriebsbelastung gemeinsam überprüfen.

• [NIST AI Risk] Management-Framework](https://www.nist.gov/itl/ai-risk-management-framework)

• Versteckte technische Schulden in Systemen des maschinellen Lernens