Was ist Reinforcement Learning?

Agent, Umgebung und Belohnung

„Reinforcement“ heißt Verstärkung oder Bestärkung, der Begriff stammt aus der Lernpsychologie: Verhalten, auf das eine Belohnung folgt, wird häufiger. Genau dieses Prinzip überträgt das Verfahren auf Software, deshalb sind im Deutschen „bestärkendes Lernen“ und seltener „verstärkendes Lernen“ üblich.

Drei Bausteine reichen aus, um es zu beschreiben. Der Agent trifft Entscheidungen, die Umgebung antwortet mit einem neuen Zustand, und ein Zahlenwert, der Reward, sagt, wie gut das war. Die Regel, nach der der Agent aus einem Zustand eine Aktion wählt, heißt Policy, und genau die wird über viele Durchläufe angepasst.

Der Lernkreislauf Schritt für Schritt

Reinforcement Learning läuft als Schleife, die tausend- bis millionenfach wiederholt wird. Ein Durchgang vom Start bis zu einem Ende, etwa eine Partie oder eine Fahrt, heißt Episode.

1. 1

   Zustand beobachten

   Der Agent erhält eine Beschreibung der aktuellen Lage, zum Beispiel Position, Füllstand oder Spielstand.

2. 2

   Aktion wählen

   Nach seiner aktuellen Policy entscheidet er sich für eine Aktion, mal die bisher beste, mal bewusst eine neue.

3. 3

   Rückmeldung erhalten

   Die Umgebung reagiert mit einem neuen Zustand und einem Reward, der positiv, negativ oder null sein kann.

4. 4

   Policy anpassen

   Der Algorithmus verschiebt die Policy so, dass Aktionen, die langfristig zu mehr Belohnung führten, wahrscheinlicher werden.

5. 5

   Wiederholen

   Der Kreislauf beginnt im neuen Zustand von vorn, bis die Episode endet und die nächste startet.

Der Unterschied zu anderen Lernverfahren steckt in der Verzögerung. Niemand sagt dem Agenten nach dem einzelnen Zug, ob er richtig lag. Die Rückmeldung kommt oft erst am Ende einer ganzen Folge von Schritten, und der Algorithmus muss den Erfolg rückwärts auf die Entscheidungen verteilen, die ihn verursacht haben.

Ein Beispiel: der Lagerroboter

Ein Roboter soll in einer Lagerhalle Waren zur Packstation bringen. Er bekommt keinen Plan und keine Beispielfahrten, sondern nur Regeln für den Reward: plus 10 für jede abgelieferte Ware, minus 1 für jeden Fahrschritt, minus 50 für eine Kollision. In den ersten Episoden fährt er ziellos herum und stößt an Regale.

Nach vielen tausend simulierten Fahrten hat er gelernt, dass kurze Wege mehr Punkte bringen als lange und dass Kollisionen sich nie lohnen. Diese Strategie hat ihm niemand vorgegeben, sie ergibt sich allein aus der Bewertung. Ändert sich der Grundriss, lernt er mit weiteren Episoden nach, statt dass jemand die Route neu programmieren muss.

Ausprobieren oder Ausnutzen

Jeder Agent steht vor derselben Abwägung, im Englischen Exploration und Exploitation genannt. Wählt er immer die bisher beste Aktion, findet er nie eine bessere. Testet er ständig Neues, wird er nie gut. Ein einfacher und verbreiteter Weg ist, mit einer kleinen Wahrscheinlichkeit zufällig zu handeln und diese Wahrscheinlichkeit im Lauf des Trainings zu senken.

Diese Balance steuerst du über Parameter, und du stellst sie für jeden Anwendungsfall neu ein. Ein Agent, der zu früh aufhört zu probieren, bleibt bei einer mittelmäßigen Lösung hängen, die für ihn wie die beste aussieht.

Die wichtigsten Verfahren

Hinter dem Oberbegriff stehen mehrere Familien von Algorithmen. Welche passt, hängt davon ab, wie groß der Zustandsraum ist und ob die Aktionen abzählbar oder stufenlos sind.

• Q-Learning

  Lernt für jedes Paar aus Zustand und Aktion einen Wert, wie viel Belohnung langfristig zu erwarten ist, und wählt dann die Aktion mit dem höchsten Wert.

• Deep Q-Network (DQN)

  Ersetzt die Wertetabelle durch ein neuronales Netz und kann so mit Bildern als Zustand umgehen. DeepMind hat damit 2015 Atari-Spiele direkt aus den Bildschirmpixeln gelernt.

• Policy-Gradient-Verfahren

  Verändern die Policy direkt, statt Werte zu schätzen. PPO (Proximal Policy Optimization) ist der verbreitetste Vertreter und wird auch beim Training von Sprachmodellen eingesetzt.

• Modellbasierte Verfahren

  Nutzen ein Modell der Umgebung, gelernt oder vorgegeben, und planen damit voraus. AlphaGo kombinierte gelernte Bewertungen mit einer Suche über mögliche Spielzüge nach den Go-Regeln.

Wo das Verfahren heute eingesetzt wird

Typisch sind Aufgaben mit einer Folge von Entscheidungen unter Rückmeldung: Steuerung von Anlagen, Routen- und Lagerplanung, dynamische Preisfindung, Robotik. Bekannt wurde das Verfahren durch Spiele, als AlphaGo 2016 den Go-Profi Lee Sedol schlug.

Im Arbeitsalltag begegnet es dir vor allem in Sprachmodellen. ChatGPT und vergleichbare Assistenten wurden mit Reinforcement Learning from Human Feedback nachtrainiert, damit sie Anweisungen folgen und hilfreicher antworten. Neuere Reasoning-Modelle lernen ihre längeren Denkschritte ebenfalls über Belohnung, etwa dafür, dass eine Rechenaufgabe am Ende richtig gelöst ist.