Embeddings

Was ist ein Embedding?

Computer arbeiten mit Zahlen. Sprache, Bilder oder Produkte müssen deshalb in eine Form übersetzt werden, die mathematisch verarbeitet werden kann. Ein Embedding bildet ein Objekt auf einen Vektor aus vielen Zahlen ab. Bei Text-Embeddings soll dieser Vektor relevante semantische Eigenschaften des Textes repräsentieren.

Die praktische Idee: Wenn zwei Texte inhaltlich ähnlich sind, sollen ihre Vektoren im gewählten Vektorraum ebenfalls ähnlich sein. Dadurch kann eine Suchanfrage wie „Wie ändere ich meine Rechnungsadresse?“ zu einem Dokument über „Kundendaten aktualisieren“ passen, obwohl die exakten Begriffe nicht identisch sind.

Fachliche Grundlage: Von Sprachrepräsentationen zu Sentence-BERT

Moderne Embeddings bauen auf einer langen Entwicklung verteilter Repräsentationen auf. Besonders relevant für heutige semantische Suche sind kontextuelle Transformer-Modelle. BERT von Devlin et al. zeigte 2019, wie bidirektionales Transformer-Pretraining leistungsfähige Sprachrepräsentationen für viele NLP-Aufgaben bereitstellen kann.

Für effiziente Ähnlichkeitssuche war die direkte Nutzung von BERT jedoch unpraktisch. Reimers und Gurevych stellten 2019 Sentence-BERT (SBERT) vor. Mit einer Siamese-/Triplet-Struktur erzeugt SBERT semantisch sinnvolle Satz-Embeddings, die beispielsweise mit Kosinusähnlichkeit effizient verglichen werden können. Genau dieses Prinzip prägt zahlreiche heutige Systeme für semantische Suche und Retrieval.

Wie wird Ähnlichkeit zwischen Embeddings gemessen?

Nach der Einbettung liegen Anfrage und Dokument als Vektoren vor. Anschließend wird eine Distanz- oder Ähnlichkeitsfunktion verwendet. Häufig sind:

• Kosinusähnlichkeit: vergleicht die Richtung der Vektoren,
• Skalarprodukt: berücksichtigt die Komponentenprodukte,
• Euklidische Distanz: misst den geometrischen Abstand.

Welche Metrik sinnvoll ist, hängt vom Embedding-Modell und dessen Training ab. Deshalb sollte nicht beliebig eine Metrik gewählt werden, nur weil sie technisch verfügbar ist.

Wofür werden Embeddings eingesetzt?

• semantische Suche in Dokumenten,
• Retrieval in RAG-Systemen,
• Ähnlichkeitssuche für Produkte, Fälle oder Texte,
• Clustering und thematische Gruppierung,
• Duplikat- und Near-Duplicate-Erkennung,
• Empfehlungssysteme, sofern geeignete Repräsentationen vorhanden sind.

Embeddings sind kein „Bedeutungscode“ mit universeller Wahrheit

Ein Embedding ist immer das Ergebnis eines Modells, seiner Trainingsdaten und seines Trainingsziels. Zwei Embedding-Modelle können denselben Text unterschiedlich repräsentieren. Ein Modell, das für allgemeine englische Sätze optimiert wurde, muss für deutsche Fachsprache oder interne Produktcodes nicht automatisch gut funktionieren.

Auch die Ähnlichkeit im Vektorraum ist nur ein Signal. Ein semantisch ähnliches Dokument kann fachlich trotzdem ungeeignet sein – etwa weil es für ein anderes Produkt, eine andere Version oder eine andere Berechtigungsstufe gilt. Deshalb kombinieren produktive Systeme Vektorsuche häufig mit Metadatenfiltern, Re-Ranking oder klassischen Keyword-Signalen.

Embeddings und Vektordatenbanken

Embeddings können grundsätzlich in unterschiedlichen Datenbanksystemen gespeichert werden. Eine Vektordatenbank beziehungsweise ein Datenbanksystem mit Vektorunterstützung bietet zusätzliche Mechanismen, um große Mengen solcher Vektoren effizient nach Ähnlichkeit zu durchsuchen. Dabei kommen oft Approximate-Nearest-Neighbor-Verfahren zum Einsatz.

Die Datenbank erzeugt die semantische Qualität jedoch nicht selbst. Sie kann nur die Vektoren durchsuchen, die das Embedding-Modell bereitstellt. Ein schlechtes Embedding bleibt auch in einer sehr schnellen Datenbank schlecht.

Praxisbeispiel

Ein Unternehmen verfügt über 20.000 Supporttickets. Eine neue Anfrage lautet „Maschine stoppt nach dem Start mit roter Temperaturanzeige“. Eine reine Keyword-Suche könnte passende historische Fälle übersehen, wenn dort von „Überhitzung beim Hochfahren“ gesprochen wird. Embeddings können diese semantische Nähe erfassen und entsprechende Fälle als Kandidaten liefern.

Für eine belastbare Anwendung würde anschließend geprüft, wie hoch Precision und Recall für reale Unternehmensfragen sind. Erst eine Evaluation zeigt, ob das Embedding-Modell zum konkreten Datenbestand passt.

Wie wählt man ein Embedding-Modell aus?

Die Auswahl sollte aus der Zielaufgabe rückwärts erfolgen. Für deutsche Unternehmensdokumente sind Sprachabdeckung, maximale Eingabelänge, Dimension, Lizenz, Laufzeit und Datenschutz relevant. Vor allem sollte ein kleines Gold-Set aus realen Suchfragen und erwarteten Treffern aufgebaut werden. Zwei Modelle lassen sich dann nicht anhand allgemeiner Benchmarks, sondern anhand des eigenen Korpus vergleichen.

Bei einem Modellwechsel müssen bestehende Dokumente in der Regel neu eingebettet werden, weil Vektoren verschiedener Modelle nicht ohne Weiteres im selben semantischen Raum vergleichbar sind. Das macht Modellversionen und Re-Indexierungsstrategien zu einem Betriebsaspekt, nicht nur zu einer einmaligen Entwicklungsentscheidung.

Fazit

Embeddings machen semantische Ähnlichkeit rechnerisch nutzbar. Sie sind damit ein zentraler Baustein moderner Such-, RAG- und Empfehlungssysteme. Ihre Qualität hängt jedoch vom verwendeten Modell, der Domäne und der Evaluation ab. Die Vektorrepräsentation ist kein Selbstzweck, sondern muss eine konkrete Retrieval- oder Vergleichsaufgabe zuverlässig unterstützen.