Vor kurzem wirkte "Mit Ihrer PDF chatten" noch wie Magie. Heute ist es eher ein "Hello World"-Projekt. Die Erwartungen an Enterprise RAG (Retrieval-Augmented Generation) sind deutlich gestiegen.
Wenn RAG-Projekte enttäuschen, liegt es oft nicht am Sprachmodell, sondern an einer naiven Retrieval-Architektur. Text einfach in Chunks zu zerlegen und in eine Vektordatenbank zu legen, führt leicht zum "Lost in the Middle"-Phänomen und zu Antworten auf Basis von unpassendem Kontext.
Die 3 Reifegrade von RAG
Man kann RAG-Implementierungen grob in drei Reifegrade einteilen. Viele Prototypen bleiben auf Stufe 1 stehen.
Naive RAG
Standard-Chunking + Vektorsuche (Kosinusähnlichkeit).
Fortgeschrittene RAG
Hybride Suche (Keyword + Vektor) + Reranking + Metadaten-Filterung.
GraphRAG
Wissensgraphen + Vektoren. Beziehungen zwischen Entitäten verstehen.
Warum Vektoren nicht ausreichen (Das "Steve"-Problem)
Vektoren speichern semantische Ähnlichkeit, nicht faktische Beziehungen.
Wenn Sie fragen: "Wie ist Steve mit Projekt Apollo verbunden?"
Vektorsuche stößt an Grenzen
Sie findet Dokumente, die "Steve" und "Projekt Apollo" erwähnen. Sie könnte auch ein Mittagsmenü liefern, bei dem Steve mit dem Apollo-Team gegessen hat. Sie verlässt sich auf semantische Nähe.
GraphRAG folgt Beziehungen
Sie traversiert den Wissensgraphen:
(Steve)-[IST_MANAGER_VON]-> (Engineering_Abt)-[BESITZT]-> (Projekt_Apollo). Sie versteht den Pfad der Beziehung.
Die "Hybride Suche"-Architektur
In Produktionssystemen reicht reine Vektorsuche oft nicht aus. Bewährt hat sich hybride Suche, etwa mit Reciprocal Rank Fusion (RRF). Sie kombiniert das "unscharfe" Matching von Vektoren mit dem "exakten" Matching von BM25 (Keyword-Suche). Das folgende Beispiel ist vereinfacht und illustrativ.
def hybrid_search(query):
# 1. Semantische Ergebnisse holen (Absicht verstehen)
vector_results = pinecone.query(vector=embed(query), top_k=20)
# 2. Keyword-Ergebnisse holen (Exakte Treffer für SKUs/Namen)
keyword_results = elastic.search(query=query, top_k=20)
# 3. Reranking mit Cohere/Voyage (Der "Richter")
reranked = cohere.rerank(
query=query,
documents=vector_results + keyword_results,
model='rerank-english-v3.0'
)
return reranked[:5] # Nur die Top 5 an das LLM senden
Agentic RAG: Das System, das denkt
Ein weiteres Puzzlestück ist Agentic RAG. Anstatt für jede Anfrage blind Daten abzurufen, entscheidet ein Agent (zum Beispiel auf Basis von Gemini oder einem OpenAI-Modell):
- "Muss ich die Datenbank durchsuchen?"
- "Muss ich stattdessen Google prüfen?"
- "Fragt der Benutzer nach Finanzdaten? Lass mich das SQL-Werkzeug verwenden."
- "Fragt der Benutzer nach Richtlinien? Lass mich den Vektorspeicher verwenden."
Diese "Router"-Schicht verringert das Risiko, dass das Modell durch irrelevanten Kontext in die Irre geführt wird. Aus einer "Suchmaschine" wird so eher ein "Rechercheassistent."
Bereit, Ihre Wissenssuche auf die nächste Stufe zu bringen? Wir helfen dabei, RAG-Prototypen in belastbare Produktionssysteme zu überführen. Mehr dazu unter KI und Machine Learning; was ein solches Projekt kosten kann, zeigt unser Kostenrechner.
