Lernen durch Rückmeldung

Was ist Reinforcement Learning?

Bestärkendes Lernen

Reinforcement Learning ist ein Verfahren des maschinellen Lernens, bei dem ein Agent durch Ausprobieren in einer Umgebung lernt. Jede Aktion führt zu einem neuen Zustand und zu einer Belohnung, und der Agent sucht die Strategie, die die Summe dieser Belohnungen über viele Schritte hinweg möglichst groß macht.

Wo Software nicht eine einzelne Antwort liefern, sondern über viele Schritte hinweg gut entscheiden soll, steckt oft dieses Verfahren dahinter, etwa in der Regelung technischer Anlagen.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Gehört zu: Maschinellem Lernen
Lernsignal: Belohnung statt vorgegebener Lösung
Typisch bei: Steuerung, Spielen, Modell-Feinschliff
Verwechselt mit: Überwachtem Lernen

Agent, Umgebung und Belohnung

Drei Bausteine reichen aus, um das Verfahren zu beschreiben. Der Agent trifft Entscheidungen, die Umgebung antwortet mit einem neuen Zustand, und ein Zahlenwert sagt, wie gut das war. Die Regel, nach der der Agent aus einem Zustand eine Aktion wählt, heißt Policy, und genau die wird über viele Durchläufe angepasst.

Der Unterschied zu anderen Lernverfahren steckt in der Verzögerung. Niemand sagt dem Agenten nach dem einzelnen Zug, ob er richtig lag. Die Rückmeldung kommt oft erst am Ende einer ganzen Folge von Schritten, und der Algorithmus muss den Erfolg rückwärts auf die Entscheidungen verteilen, die ihn verursacht haben.

Die Belohnungsfunktion ist die eigentliche Arbeit

Der Algorithmus optimiert exakt das, was du ihm hinschreibst, nicht das, was du meinst. Belohnst du in einer Lagersimulation nur zurückgelegte Wege, fährt der Agent Umwege, um Strecke zu sammeln. Dieses Ausnutzen von Lücken in der Zielfunktion ist der häufigste Grund, warum ein Projekt technisch läuft und trotzdem Unsinn produziert.

Dazu kommt die Abwägung zwischen Ausprobieren und Ausnutzen. Ein Agent, der immer die bisher beste Aktion wählt, findet nie eine bessere. Einer, der ständig Neues testet, wird nie gut. Diese Balance steuerst du über Parameter, und du stellst sie für jeden Anwendungsfall neu ein.

Wo das Verfahren im Betrieb auftaucht

Typisch sind Aufgaben mit einer Folge von Entscheidungen unter Rückmeldung: Steuerung von Anlagen, Routen- und Lagerplanung, dynamische Preisfindung, Robotik. Auch das Fine-Tuning von Sprachmodellen mit menschlichem Feedback arbeitet nach diesem Prinzip, dort ersetzt eine gelernte Bewertungsfunktion die Belohnung aus der Umgebung.

Die Hürde ist selten der Algorithmus, sondern die Umgebung. Der Agent braucht sehr viele Durchläufe, und die kannst du im laufenden Betrieb meist nicht zulassen. Deshalb beginnt fast jedes Projekt mit einer Simulation, die gut genug ist, dass gelerntes Verhalten später auch in der echten Anlage trägt.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Nicht verwechseln

Reinforcement Learning und was oft damit gleichgesetzt wird

Reinforcement Learning gegen Überwachtes Lernen

Beim überwachten Lernen liegt zu jedem Beispiel die richtige Antwort vor, das Modell lernt aus beschrifteten Daten. Beim bestärkenden Lernen gibt es keine richtige Antwort, sondern nur eine Bewertung des Ergebnisses, oft erst mit Verzögerung.

Reinforcement Learning gegen Unüberwachtes Lernen

Unüberwachte Verfahren suchen Struktur in Daten, etwa Gruppen ähnlicher Kunden. Dabei gibt es weder einen Zielwert noch eine Belohnung, und keine Entscheidung wirkt auf die Datenlage zurück.

Reinforcement Learning gegen RLHF

Reinforcement Learning from Human Feedback ist eine Anwendung des Verfahrens auf Sprachmodelle. Menschen bewerten Antworten, daraus entsteht ein Belohnungsmodell, an dem das Sprachmodell weitertrainiert wird.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

In der Praxis

Der Agent optimiert genau das, was du misst, nicht das, was du meinst

Die Belohnungsfunktion ist der eigentliche Entwurf. Belohnst du eine Steuerung dafür, Aufträge abzuschließen, lernt sie unter Umständen, schwierige Aufträge zu meiden, weil einfache schneller Punkte bringen. Solche Umwege sind kein Fehler im Verfahren, sondern eine wörtliche Auslegung deiner Vorgabe.

Weil ein Agent sehr viele Versuche braucht, trainiert kaum jemand im laufenden Betrieb. Stattdessen entsteht eine Simulation, und deren Vereinfachungen werden zu den blinden Flecken des Agenten. Reibung, Verzögerungen und Ausfälle, die im Simulationsmodell fehlen, treffen ihn in der Wirklichkeit unvorbereitet.

Im Betrieb begegnet dir das Verfahren häufiger indirekt als direkt, etwa beim Feinschliff von Sprachmodellen mit menschlicher Bewertung, in der Regelung technischer Anlagen und in der Tourenplanung. Vor einem eigenen Vorhaben lohnt die nüchterne Frage, ob eine klassische Optimierung dieselbe Entscheidung nicht billiger trifft.

Reinforcement Learning lernen

Welches Lernverfahren zu welcher Fragestellung passt, ordnen die Kurse zu Lernverfahren im maschinellen Lernen an durchgerechneten Beispielen ein.

Wie menschliches Feedback in das Training eines Sprachmodells zurückfließt, ist Thema in den Kurse rund um die Arbeit mit Sprachmodellen .

Kurse, die Reinforcement Learning behandeln

Häufige Fragen

Brauche ich für Reinforcement Learning viele beschriftete Daten?

Nein, beschriftete Beispiele sind gerade nicht nötig. Stattdessen brauchst du sehr viele Interaktionen mit einer Umgebung, und die stammen in aller Regel aus einer Simulation, weil echte Versuche zu teuer oder zu riskant wären.

Womit fange ich an, wenn ich das Verfahren verstehen will?

Sinnvoll ist der Weg über die Grundlagen des maschinellen Lernens mit Python. Wer Modelle, Training und Auswertung schon einmal selbst gebaut hat, versteht Policy, Zustand und Belohnung deutlich schneller als beim Einstieg direkt in ein Framework.

Woran erkenne ich, dass die Belohnungsfunktion falsch gesetzt ist?

Meistens daran, dass der Agent hohe Werte erzielt und sich trotzdem seltsam verhält. Wenn eine Kennzahl steigt, das eigentliche Ziel aber nicht erreicht wird, misst die Funktion einen Nebeneffekt statt des gewünschten Ergebnisses.

Persönlich für dich da