Im Detail
Retrieval-Augmented Generation (RAG) adressiert die grundlegende Einschränkung von Large Language Models: Sie können nur basierend auf ihren Trainingsdaten antworten. RAG löst dies durch einen Retrieval-Schritt vor der Generierung. Das System durchsucht eine Vektordatenbank Ihrer proprietären Dokumente, ruft die relevantesten Abschnitte ab und injiziert sie als Kontext in den LLM-Prompt.
So funktioniert es
- 1
Dokumentenaufnahme
Ihre Dokumente werden in Chunks aufgeteilt, in Vektor-Embeddings konvertiert und in einer Vektordatenbank gespeichert.
- 2
Query-Embedding
Die Benutzerfrage wird mit demselben Embedding-Modell in einen Vektor konvertiert.
- 3
Semantischer Abruf
Die Vektordatenbank führt eine Ähnlichkeitssuche durch, um die relevantesten Dokumenten-Chunks zu finden.
- 4
Augmentierte Generierung
Die abgerufenen Chunks werden als Kontext in den LLM-Prompt injiziert, und das Modell generiert eine fundierte Antwort.
Wo es eingesetzt wird
- Unternehmens-Wissensbasis
- Mitarbeiter stellen Fragen in natürlicher Sprache und erhalten Antworten aus interner Dokumentation.
- Kundensupport-Chatbot
- Ein Chatbot, der Produktfragen anhand Ihrer tatsächlichen Produktdokumentation beantwortet.
- Juristische Recherche
- Anwälte durchsuchen Rechtsprechungsdatenbanken und erhalten zitierte, kontextuelle Antworten.