Eine Technik, die LLM-Antworten durch Abruf relevanten Kontexts aus externen Wissensbasen verbessert.
Retrieval-Augmented Generation (RAG) adressiert die grundlegende Einschränkung von Large Language Models: Sie können nur basierend auf ihren Trainingsdaten antworten. RAG löst dies durch einen Retrieval-Schritt vor der Generierung. Das System durchsucht eine Vektordatenbank Ihrer proprietären Dokumente, ruft die relevantesten Abschnitte ab und injiziert sie als Kontext in den LLM-Prompt.
Ihre Dokumente werden in Chunks aufgeteilt, in Vektor-Embeddings konvertiert und in einer Vektordatenbank gespeichert.
Die Benutzerfrage wird mit demselben Embedding-Modell in einen Vektor konvertiert.
Die Vektordatenbank führt eine Ähnlichkeitssuche durch, um die relevantesten Dokumenten-Chunks zu finden.
Die abgerufenen Chunks werden als Kontext in den LLM-Prompt injiziert, und das Modell generiert eine fundierte Antwort.
Mitarbeiter stellen Fragen in natürlicher Sprache und erhalten Antworten aus interner Dokumentation.
Ein Chatbot, der Produktfragen anhand Ihrer tatsächlichen Produktdokumentation beantwortet.
Anwälte durchsuchen Rechtsprechungsdatenbanken und erhalten zitierte, kontextuelle Antworten.
Die Definition zu kennen ist Schritt eins. Es in Ihr Produkt einzubauen ist Schritt zwei. Dabei kommen wir ins Spiel.