In detail
Retrieval-Augmented Generation (RAG) pakt de fundamentele beperking van grote taalmodellen aan: ze kunnen alleen antwoorden op basis van hun trainingsdata, en die raakt na verloop van tijd verouderd. RAG lost dit op met een zoekstap vóór het genereren. Stelt een gebruiker een vraag, dan doorzoekt het systeem eerst een vectordatabase met je eigen documenten, haalt de meest relevante fragmenten op en voegt die als context aan de prompt van het LLM toe. Zo ontstaan antwoorden die gebaseerd zijn op je echte data, met veel minder hallucinaties.
Hoe het werkt
- 1
Documenten inlezen
Je documenten worden in fragmenten opgesplitst, met een model als OpenAI Ada omgezet in vector-embeddings en opgeslagen in een vectordatabase.
- 2
Query-embedding
De vraag van de gebruiker wordt met hetzelfde embeddingmodel omgezet in een vector.
- 3
Semantisch zoeken
De vectordatabase voert een similarity search uit om de meest relevante documentfragmenten te vinden.
- 4
Verrijkt genereren
De opgehaalde fragmenten worden als context aan de prompt van het LLM toegevoegd en het model genereert een onderbouwd antwoord.
Waar het wordt gebruikt
- Kennisbank voor bedrijven
- Medewerkers stellen vragen in gewone taal en krijgen antwoorden uit interne documentatie, Confluence en Slack.
- Chatbot voor klantenservice
- Een chatbot die productvragen beantwoordt met je echte productdocumentatie, met minder risico op hallucinaties.
- Juridisch onderzoek
- Advocaten doorzoeken jurisprudentiedatabases en krijgen antwoorden in context, met bronvermelding uit relevante uitspraken.