Warum der Kontext wichtiger ist als der Prompt
Anweisung, Werkzeuge, abgerufenes Wissen und Verlauf teilen sich ein Fenster. Diese Seite zeigt, wie es aufgebaut ist und woran Antworten darin scheitern.
KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Am Prompt zu schleifen hilft nicht, wenn der Aufbau nicht stimmt
Der typische Verlauf in Projekten: Die Antworten sind ungenau, also wird die Anweisung überarbeitet. Es wird höflicher formuliert, es werden Beispiele ergänzt, es wird in Großbuchstaben betont. Kurz wird es besser, dann kippt es zurück. Was niemand ansieht, ist die Frage, welches Material das Modell in diesem Moment überhaupt vor sich hatte.
Die Kosten sind doppelt. Zum einen die Zeit, die in Formulierungsrunden fließt. Zum anderen der Vertrauensverlust: Wenn eine Anwendung mal richtig und mal falsch antwortet, ohne dass jemand den Unterschied erklären kann, wird sie nicht mehr benutzt, unabhängig davon, wie gut sie im Mittel ist.
Dazu kommen Effekte, die erst im Betrieb auftreten: Anfragen werden langsamer und teurer, weil der Zwischenspeicher nicht mehr greift, und Abläufe brechen ab, weil der Verlauf zugewachsen ist. Beides sieht wie ein Modellproblem aus und ist keines.
KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Der Aufbau im Detail
Der Aufbau
Antwortqualität = Systemanweisung + Werkzeugbeschreibungen + abgerufenes Wissen + Verlauf + aktuelle Frage - 01 Rahmen
SystemanweisungRolle, Regeln, Format und Grenzen. Sie steht ganz vorn, ändert sich selten und sollte genau deshalb keine wechselnden Angaben wie Datum oder Sitzungsnummer enthalten.
- 02 Handlungsraum
WerkzeugbeschreibungenJede Beschreibung kostet Platz, auch wenn das Werkzeug nie aufgerufen wird. Sie entscheidet außerdem darüber, ob ein Werkzeug im richtigen Moment gewählt wird, also gehört hinein, wann man es benutzt, und nicht nur, was es tut.
- 03 Belegmaterial
abgerufenes WissenDer Teil, der bei jeder Anfrage neu zusammengestellt wird. Drei passende Ausschnitte schlagen zwanzig ungefähr passende, weil jeder zusätzliche Abschnitt die Aufmerksamkeit verteilt.
- 04 Gedächtnis
VerlaufFrühere Nachrichten und vor allem Werkzeugergebnisse. Dieser Teil wächst am schnellsten und ist der übliche Grund, warum eine Anwendung nach zwanzig Schritten schlechter arbeitet als nach dreien.
- 05 Auftrag
aktuelle FrageSteht am Ende und ist der kleinste Teil. Wer hier ansetzt, obwohl das Problem weiter vorn liegt, schleift an der falschen Stelle.
Wenn es nicht funktioniert
Das siehst du
Das Modell übersieht eine Angabe, die eindeutig im Kontext steht.
Warum
Sie liegt in der Mitte eines langen Fensters, also in dem Bereich, den Modelle am unzuverlässigsten auswerten.
Was hilft
Zieh die zwingenden Angaben an den Anfang oder unmittelbar vor die Frage und kürze das Material dazwischen.
Das siehst du
Mehr abgerufene Dokumente führen zu schlechteren Antworten.
Warum
Die Auswahl liefert Treffer, die zum Suchbegriff passen, aber nicht zur Frage, und verdünnt damit das brauchbare Material.
Was hilft
Begrenze die Zahl der Ausschnitte hart und sortiere sie nach einem zweiten Kriterium nach, statt die Trefferzahl zu erhöhen.
Das siehst du
Antwortzeit und Kosten steigen, obwohl sich am Prompt nichts geändert hat.
Warum
Der stabile Anfang der Anfrage ändert sich bei jedem Aufruf, etwa durch einen eingesetzten Zeitstempel, und der Zwischenspeicher greift nicht mehr.
Was hilft
Halte den Anfang unverändert und verschiebe alles Wechselnde ans Ende.
Das siehst du
Ein Werkzeug existiert, wird aber selten oder falsch aufgerufen.
Warum
Die Beschreibung sagt, was das Werkzeug tut, aber nicht, in welcher Lage es benutzt werden soll.
Was hilft
Ergänze die Beschreibung um die Auslösebedingung, also einen Satz der Form: benutze dies, wenn ...
Das siehst du
Ein Ablauf funktioniert bei kurzen Aufgaben und bricht bei langen ein.
Warum
Der Verlauf ist mit alten Werkzeugergebnissen zugewachsen, die längst nicht mehr gebraucht werden.
Was hilft
Alte Ergebnisse entfernen oder zusammenfassen und Zwischenstände in Dateien ablegen, statt sie im Verlauf zu halten.
Fünf Schichten in einem Anfragefenster
- 01 Die Systemanweisung steht ganz vorn und bleibt über alle Aufrufe gleich.
- 02 Die Werkzeugbeschreibungen kosten Platz, auch wenn kein Werkzeug aufgerufen wird.
- 03 Abgerufenes Material wird je Anfrage neu gewählt und sollte klein bleiben.
- 04 Der Verlauf wächst am schnellsten, vor allem durch Werkzeugergebnisse.
- 05 Die eigentliche Frage steht am Ende und ist der kleinste Teil.
Was du danach beurteilen kannst
Ziel ist, ein Fenster zu lesen wie einen Bauplan: Du siehst, welcher Teil zu groß ist, welcher an der falschen Stelle steht und welcher fehlt.
Bestandteile trennen
Du kannst für jeden Aufruf benennen, wie viel Platz Systemanweisung, Werkzeuge, abgerufenes Material und Verlauf jeweils belegen.
Reihenfolge nutzen
Du stellst Zwingendes an den Anfang oder unmittelbar vor die Frage, weil die Mitte eines langen Fensters am unzuverlässigsten ausgewertet wird.
Auswahl statt Menge
Du begrenzt die Zahl der Ausschnitte bewusst und verbesserst die Auswahl, statt die Trefferzahl zu erhöhen.
Zwischenspeicher erhalten
Du hältst den Anfang der Anfrage unverändert und erkennst Zeitstempel oder wechselnde Werkzeuglisten als Ursache steigender Kosten.
Verlauf bewirtschaften
Du entscheidest, wann zusammengefasst und wann aufgeräumt wird, und legst Zwischenstände außerhalb des Verlaufs ab.
Fehler zuordnen
Du unterscheidest mit einer Kontrollprobe, ob ein schlechtes Ergebnis am Aufbau des Kontexts oder am Modell liegt.
KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Woraus das Fenster besteht
Die Bestandteile lassen sich sauber trennen: eine Systemanweisung, die Rolle und Regeln festlegt; die Beschreibungen der Werkzeuge samt ihrer Parameter; abgerufene Inhalte aus einer Suche oder Datenbank; der bisherige Verlauf mit Nachrichten und Werkzeugergebnissen; und zuletzt die aktuelle Frage. Alles davon kostet Platz und Geld, und alles davon konkurriert um die Aufmerksamkeit des Modells.
Praktisch heißt das: Wer eine Anwendung mit dreißig Werkzeugen baut, verbraucht schon vor der ersten Nachricht erheblichen Platz allein für deren Beschreibungen. Wer bei jeder Anfrage zwanzig Dokumente mitschickt, statt drei passende auszuwählen, bekommt nicht die bessere, sondern die unschärfere Antwort.
Warum die Mitte des Fensters gefährlich ist
Modelle nutzen den Anfang und das Ende eines langen Fensters zuverlässiger als die Mitte. Den Namen hat dem Effekt eine Untersuchung von 2023 gegeben, „Lost in the Middle", gemessen an Modellen mit damals erheblich kleineren Fenstern. Heutige Modelle finden die Mitte spürbar besser, verschwunden ist der Effekt aber nicht: Je länger und je voller das Fenster, desto eher wird eine Angabe im mittleren Teil übersehen, die am Anfang zuverlässig gefunden wird.
Daraus folgt eine einfache Regel für den Aufbau: Was zwingend beachtet werden muss, gehört an den Anfang oder direkt vor die Frage. Und ein längeres Fenster ist keine Verbesserung, sondern zunächst ein Risiko. Weniger, dafür passendes Material schlägt mehr Material fast immer.
Was der Aufbau für die Kosten bedeutet
Anbieter halten stabile Anfänge einer Anfrage zwischengespeichert vor, damit derselbe Vorspann nicht bei jedem Aufruf neu berechnet werden muss. Das funktioniert nur, wenn dieser Anfang Zeichen für Zeichen gleich bleibt. Ein Zeitstempel, eine Sitzungsnummer oder eine wechselnde Werkzeugliste am Anfang setzt den Vorteil vollständig zurück.
Die Konsequenz für den Aufbau: Stabiles nach vorn, Veränderliches nach hinten. Systemanweisung und Werkzeugbeschreibungen bleiben unverändert, das Datum und die Nutzerfrage kommen ans Ende. Das ist kein Feinschliff, sondern häufig der größte Hebel für Antwortzeit und Kosten in einer laufenden Anwendung.
Wenn der Verlauf zu lang wird
In längeren Abläufen wächst das Fenster von allein, vor allem durch Werkzeugergebnisse. Zwei Verfahren sind üblich: zusammenfassen, also den älteren Teil des Verlaufs durch eine kompakte Fassung ersetzen, und aufräumen, also alte Werkzeugergebnisse ganz entfernen, weil ihr Inhalt längst in eine Datei oder eine Notiz geflossen ist.
Wichtig ist, dass etwas Beständiges übrig bleibt. Anwendungen, die über viele Schritte laufen, schreiben ihre Zwischenergebnisse deshalb in Dateien und lesen sie bei Bedarf zurück, statt alles im Verlauf mitzuschleppen. Der Verlauf ist Arbeitsspeicher, kein Archiv.
Dazu passende Kurse
Wie du Abruf, Auswahl und Aufräumen in einer eigenen Anwendung umsetzt, üben die Weiterbildungen zum Bau von Anwendungen mit Sprachmodellen .
Wer zunächst im Alltag bessere Ergebnisse will, ohne selbst zu entwickeln, findet den Einstieg in den Formate für den Umgang mit Chatmodellen im Alltag .
Wie sicher bist du beim Thema wirklich?
Lesen fühlt sich schnell nach Können an. Ein kurzer Test zeigt dir, was davon schon sitzt und wo sich ein Kurs lohnt. Kostenlos, ohne Anmeldung, mit einer Erklärung zu jeder Antwort.
Die Inhalte wurden sehr gut vermittelt und Fragen wurden perfekt beantwortet.
Marco ist ein extrem guter Trainer, der mit seinem Fachwissen zum Thema KI sehr viel Expertise mitbringt.
Seminarleiter war sehr gut vorbereitet, Den Lehrstoff hat er ausführlich und praxisorientiert vorgetragen.
Häufige Fragen
Ist Prompt Engineering damit überflüssig?
Lösen große Kontextfenster das Problem nicht von selbst?
Woran erkenne ich, dass der Kontext das Problem ist und nicht das Modell?
Was gehört in die Systemanweisung und was in die Nachricht?
Deine Ansprechpartner
Du bist dir nicht sicher, welcher Kurs oder welches Level zu dir passt? Wir beraten dich persönlich und kostenlos.
Yves Hoppe
Weiterbildung & Beratung
Hilft dir, aus dem KI-Programm den passenden Kurs für deinen Stand zu finden.
Norbert Jansen
Beratung & Inhouse
Plant mit dir Inhouse-Trainings, die auf eure Abläufe und euren Datenbestand zugeschnitten sind.
Vom Formulieren zum Konstruieren
Wer den Aufbau eines Anfragefensters einmal an einer eigenen Anwendung durchmisst, findet die teuren Stellen deutlich schneller als über Versuch und Irrtum.