Bedeutung als Vektor

Was ist ein Embedding?

Vektoreinbettung

Ein Embedding, deutsch Einbettung oder Vektoreinbettung, ist die Darstellung eines Textes, Bildes oder Codeabschnitts als Liste von Zahlen, also als Vektor. Ein KI-Modell erzeugt diese Vektoren so, dass Inhalte mit ähnlicher Bedeutung nah beieinanderliegen und sich Ähnlichkeit über den Abstand zweier Vektoren berechnen lässt.

Eine Volltextsuche findet den Urlaubsantrag nicht, wenn im Dokument von Freistellung die Rede ist, ein Vergleich über Vektoren dagegen schon.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Wandelt um: Text, Bild oder Code in Zahlenvektoren
Misst: Ähnlichkeit über den Abstand
Feste Regel: Ein Modell für Bestand und Anfrage
Verwechselt mit: Vektordatenbank

Wie aus Text Zahlen werden

Ein Embedding-Modell bildet jede Eingabe auf einen Vektor fester Länge ab, je nach Modell einige hundert bis einige tausend Zahlen. Diese Länge heißt Dimension. Die einzelne Zahl bedeutet nichts, die Lage im Raum bedeutet alles. Verglichen wird meist über die Kosinus-Ähnlichkeit, also den Winkel zwischen zwei Vektoren:

Kosinus-Ähnlichkeit(a, b) = (a · b) / (|a| · |b|)

 1   gleiche Richtung, sehr ähnliche Bedeutung
 0   kein erkennbarer Zusammenhang

Der Nutzen zeigt sich dort, wo Wortgleichheit versagt. Rechnung und Faktura haben keinen gemeinsamen Wortstamm, liegen als Vektoren aber dicht beieinander, ebenso Kündigungsfrist und Vertragsende. Eine Suche über Embeddings findet deshalb Dokumente, die kein Stichwort aus der Anfrage enthalten. Diese Art der Suche heißt semantische Suche.

Von Wortvektoren zu Embedding-Modellen

Bekannt wurde die Idee 2013 mit word2vec, einem Verfahren, das für jedes Wort einen Vektor lernte. Berühmt ist das Rechenbeispiel, bei dem König minus Mann plus Frau ungefähr bei Königin landet. Solche Wortvektoren kennen aber nur das Wort, nicht den Zusammenhang, in dem es steht.

Heutige Embedding-Modelle beruhen auf derselben Transformer-Architektur wie große Sprachmodelle und erzeugen einen Vektor für einen ganzen Satz oder Abschnitt. Sie sind auf Ähnlichkeit trainiert, nicht auf das Schreiben von Text, und deutlich kleiner als ein Chat-Modell. Anbieter wie OpenAI, Google oder Cohere stellen sie über eine API bereit, daneben gibt es offene Modelle, die du selbst betreiben kannst. Für deutschsprachige Bestände lohnt ein mehrsprachiges Modell, sonst sortiert die Suche nach Sprache statt nach Thema.

Wofür Embeddings im Betrieb taugen

Der häufigste Fall ist die semantische Suche, oft als Zulieferung für eine Antwort aus dem Sprachmodell, das ist der Kern von Retrieval-Augmented Generation (RAG). Daneben eignen sich Embeddings zum Erkennen von Dubletten, zum Gruppieren von Tickets nach Themen ohne vorgegebene Kategorien, für Empfehlungen und als Merkmale für eine Klassifikation.

Vor der Vektorbildung steht das Zerlegen der Texte in Abschnitte, englisch Chunking, und daran entscheidet sich die Qualität. Zu große Abschnitte mischen mehrere Themen in einem Vektor, der dann zu allem ein bisschen passt und zu nichts richtig. Zu kleine verlieren den Zusammenhang, etwa wenn eine Tabellenzeile ohne ihre Überschrift landet. Bewährt hat sich, an inhaltlichen Grenzen zu schneiden, also an Absätzen und Zwischenüberschriften, mit etwas Überlappung.

Ein Embedding ist dabei kein anonymisierter Hash. Forschungsarbeiten haben gezeigt, dass sich aus Vektoren Texte in Teilen rekonstruieren lassen. Für den Vektorbestand gelten deshalb dieselben Schutzanforderungen wie für die Quelltexte, samt Zugriffskontrolle und Löschkonzept.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Nicht verwechseln

Embedding und was oft damit gleichgesetzt wird

Embedding gegen Vektordatenbank

Das Embedding ist der Inhalt, die Vektordatenbank der Ort, an dem er liegt. Sie sorgt über Indizes für schnelle Nachbarschaftssuche in großen Beständen und verwaltet Filter und Metadaten dazu.

Embedding gegen Token

Tokens sind die Einheiten, in die ein Modell Text zum Verarbeiten zerlegt. Sie sind eine technische Zwischenstufe und tragen für sich genommen keine Bedeutung im Sinne einer Ähnlichkeitsmessung.

Embedding gegen RAG

Der Abruf aus einer Wissensbasis ist das gesamte Verfahren aus Suche, Auswahl und Antwortgenerierung. Embeddings sind darin der Schritt, mit dem passende Textstellen gefunden werden.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

In der Praxis

Der teuerste Fehler ist der Modellwechsel im laufenden Betrieb

Vektoren aus verschiedenen Modellen lassen sich nicht miteinander vergleichen, auch dann nicht, wenn die Zahlenreihen gleich lang sind. Wechselst du das Modell, musst du den kompletten Bestand neu berechnen, und bis das durch ist, liefert die Suche stillschweigend Unsinn statt einer Fehlermeldung. Schreib deshalb von Anfang an Modellname und Version zu jedem Eintrag, sonst kannst du später nicht unterscheiden, welche Vektoren noch aus dem alten Lauf stammen.

Ähnlich heißt nicht richtig. Zugriff erlaubt und Zugriff verboten stehen sprachlich dicht beieinander und landen deshalb nah beieinander, obwohl sie das Gegenteil bedeuten. Artikelnummern, Aktenzeichen und Versionsstände werden schlecht abgebildet, weil an ihnen nichts Bedeutungstragendes hängt. Für solche Kennungen bleibt die klassische Suche unschlagbar. Meist kombiniert man deshalb beide Verfahren und mischt die Trefferlisten.

Sprache und Länge werden unterschätzt. Liegen deutsche und englische Dokumente in einem Bestand und das Modell kann nur eine Sprache, gruppieren sich die Treffer nach Sprache statt nach Thema. Und je länger ein Abschnitt ist, desto mehr verwischt sein Vektor zu einem Mittelwert aus allem, was darin vorkommt, bis er zu jeder Frage ein bisschen passt und zu keiner richtig.

Embedding lernen

Wie du Texte sinnvoll zerlegst, ein Modell auswählst und Treffer bewertest, behandeln die Schulungen zur Arbeit mit Vektorrepräsentationen an eigenen Beständen.

Die Modelle dahinter kommen aus dem maschinellen Lernen, den Einstieg dazu geben die Kurse zum maschinellen Lernen mit Python.

Wissen prüfen

Sitzt Embedding schon?

Lesen fühlt sich schnell nach Können an. Ein kurzer Test zeigt dir, was davon schon sitzt und wo sich ein Kurs lohnt. Kostenlos, ohne Anmeldung, mit einer Erklärung zu jeder Antwort.

Wissenstest KI Grundlagen QuizTeste dein Verständnis für Sprachmodelle, Kontextfenster, Halluzinationen und den sicheren Umgang mit KI im Job. Quiz starten Wissenstest Prompt Engineering QuizTeste dein Wissen zu LLMs, Prompting-Techniken, Chain-of-Thought, Few-Shot und Halluzinationen. Quiz starten

Kurse, die Embedding behandeln

Weitere Kurse aus diesem Bereich

Häufige Fragen

Was heißt Embedding auf Deutsch?

Wörtlich Einbettung: Ein Inhalt wird in einen Vektorraum eingebettet. Im Fachgebrauch bleibt meist der englische Begriff stehen, Vektoreinbettung ist die genauere deutsche Variante. Außerhalb der KI meint Embedding auch das Einbinden fremder Inhalte in eine Webseite, etwa eines Videos, das hat mit Vektoren nichts zu tun.

Was ist ein Embedding-Modell?

Ein Modell, das nur eine Aufgabe hat: Eingaben in Vektoren umzurechnen. Es schreibt keinen Text und beantwortet keine Fragen. In einer RAG-Anwendung arbeiten deshalb zwei Modelle zusammen, das Embedding-Modell für die Suche und das Sprachmodell für die Antwort.

Was bedeutet die Dimension eines Embeddings?

Die Dimension ist die Anzahl der Zahlen im Vektor. Mehr Dimensionen können feinere Unterschiede abbilden, kosten aber Speicher und Rechenzeit in der Suche. Bei manchen Modellen lässt sich die Dimension verkürzen, ohne dass die Qualität stark leidet, was große Bestände deutlich günstiger macht.

Quellen

Passt thematisch dazu

Für kleinere Bestände brauchst du keine eigene Vektordatenbank, und es lohnt der Blick darauf, wie die Ähnlichkeitssuche direkt in PostgreSQL läuft.

Wer einen Vektorbestand betreibt, sollte wissen, warum ein gelöschtes Dokument im Vektorindex weiterleben kann.

Persönlich für dich da