Warum wir aktuell nicht Qwen3-Embeddings einsetzen, sondern auf BGE-M3 setzen

Ein Erfahrungsbericht aus unsere Evaluierungsphase

Ausgangssituation

Bei der Implementierung unseres Retrieval-Augmented Generation (RAG) Systems für einen Kunden-Chatbot, standen wir vor einer konkreten Frage: Welches Embedding-Modell soll die semantische Suche antreiben? Die zwei stärksten Kandidaten in unserem Vergleich waren BGE-M3 von BAAI und das neuere Qwen3-Embedding-8B (oder auch die 4B, 0.6B oder 4Bit quantisierte Variante) von Alibaba.

Wir haben beide Modelle nicht nur auf dem Papier verglichen — wir haben sie über einen längeren Zeitraum mit echten Kundendaten getestet, konkrete Suchanfragen evaluiert und die Ergebnisse mit den Scores sorgfältig ausgewertet.

Was sind Embedding-Modelle und warum sind sie wichtig?

Embedding-Modelle übersetzen Text in mathematische Vektoren — eine Art semantischer Fingerabdruck. Je ähnlicher zwei Texte inhaltlich sind, desto näher liegen ihre Vektoren im Vektorraum. Diese Technik ist das Herzstück moderner Suche, Chatbots und Dokumentenanalyse.

Die Wahl des richtigen Modells hat direkte Auswirkungen auf die Qualität der Suchergebnisse, die Antwortqualität des KI-Systems — und auf die Hardware-Anforderungen im Betrieb.

Detailvergleich

* Retrieval Arten:

• Dense: Versteht den semantischen Sinn einer Anfrage. "Auto kaputt" findet auch Dokumente über "Fahrzeugpanne" oder "Motorschaden" — obwohl diese Wörter gar nicht vorkommen.
• Sparse: Funktioniert wie klassische Volltextsuche (ähnlich Elasticsearch). Findet exakte Begriffe zuverlässig. Wichtig z.B. für Produktnummern, Eigennamen, Abkürzungen.
• ColBERT: Statt einem einzigen Vektor pro Dokument wird jedes Wort einzeln eingebettet und verglichen. Dadurch werden lange Dokumente viel besser verstanden, weil relevante Passagen auch dann gefunden werden, wenn der Rest des Dokuments nichts mit der Frage zu tun hat.

Unsere Evaluierung: Echte Daten, echte Fragen

Wir haben beide Modelle nicht nur auf Standard-Benchmarks evaluiert, sondern mit einem repräsentativen Ausschnitt realer Anfragen getestet. Das Ergebnis war aufschlussreich:

• Bei einem Teil der Anfragen lieferte Qwen3 leicht bessere Ergebnisse
• Bei anderen Anfragen schnitt BGE-M3 besser oder gleichwertig ab
• Insgesamt waren die Qualitätsunterschiede in der Praxis kaum spürbar

Unsere Gründe für BGE-M3

1. Hardware-Effizienz: Deutlich weniger VRAM benötigt
2. Hybrid-Search: Alleinstellungsmerkmal von BGE-M3. Native Unterstützung von Dense + Sparse + ColBERT in einem Modell
3. Ausgereiftes Ökosystem: Breite Community, da schon seit 2024 im produktiven Betrieb
4. Kein signifikanter Qualitätsverlust durch unsere Tests

Sie wollen dennoch Qwen3-Embeddings einsetzen?

Kein Problem, kontaktieren Sie uns gerne hier und wir überlegen gemeinsam wie wir das Modell für Sie betreiben können. Schreiben Sie gerne hier in die Kommetare, falls Sie andere Erkenntnisse sammeln konnen.

Sie wollen noch mehr zu BGE-M3 erfahren?

Schauen Sie gerne hier auf unsere Webseite.