Der LMS-Algorithmus (Least-Mean-Squares-Algorithmus - kleinstes mittleres Quadrat), vor allem bekannt als Delta-Regel oder Widrow-Hoff-Regel, ist ein Algorithmus zur Approximation der Lösung des Least-Mean-Squares Problems. Er beruht auf dem Gradientenabstiegverfahren (siehe » Backpropagation), der sogenannten Methode des steilsten Abstiegs, und schätzt den Gradienten auf einfache Art.
Der Algorithmus arbeitet zeitrekursiv, d.h. mit jedem neuen Datensatz wird der Algorithmus einmal durchlaufen und die Lösung aktualisiert. Die Regel wurde erstmals 1960 von Bernard Widrow und Marcian Edward Hoff für das Einlernen des Adaline-Modells verwendet.
Die Delta-Regel wird auf Grund seiner geringen Komplexität häufig eingesetzt. Einsatzgebiete sind u.a. adaptive Filter, adaptive Regelungen und Online-Identifikationsverfahren.
Ein bedeutender Nachteil der Delta-Regel ist die Abhängigkeit seiner Konvergenzgeschwindigkeit von den Eingangsdaten, d.h. der Algorithmus findet unter ungünstigen Umständen möglicherweise keine Lösung. Ungünstige Umstände sind die schnelle zeitliche Änderung der Eingangsdaten.
Weiter zu » Backpropagation