Eine typische Anfrage zu Beginn eines KI-Projekts lautet: "Wir wollen Llama 3 auf unsere Unternehmens-PDFs feinabstimmen, damit es unser Geschäft kennt."
Das klingt logisch, ist für dieses Ziel aber selten die beste technische Entscheidung. Fine-Tuning ist aufwendig, braucht gut aufbereitete Trainingsdaten und löst das Problem des "Wissens" nur bedingt. Für Unternehmenswissen ist RAG (Retrieval-Augmented Generation) meist der bessere Startpunkt.
Die Medizinstudenten-Analogie
Fine-Tuning ist wie einen Studenten auf die Medizinschule zu schicken. Er lernt die Lehrbücher auswendig. Wenn sich die Protokolle nächste Woche ändern, weiß er es erst, wenn er zurück in die Schule geht (Neutraining).
RAG ist wie eine Open-Book-Prüfung für einen klugen Studenten. Er lernt die Antworten nicht auswendig, sondern weiß, wie er sie im Lehrbuch (Ihrer Datenbank) nachschlägt. Wenn Sie das Lehrbuch aktualisieren, ändern sich seine Antworten entsprechend.
Warum Fine-Tuning bei "Wissen" oft enttäuscht
Fine-Tuning ändert vor allem das Verhalten eines Modells, weniger zuverlässig seine Fakten. Es eignet sich gut, um einem Modell einen bestimmten Ton oder ein Format beizubringen (z. B. "Antworte wie ein Pirat" oder "Gib valides JSON aus"), ist aber für den verlässlichen Abruf von Fakten wenig geeignet.
Das Halluzinationsproblem
Ein feinabgestimmtes Modell nennt von sich aus keine Quellen. Es erzeugt die Antwort auf Basis von Wahrscheinlichkeiten, und man kann kaum nachprüfen, woher eine Information stammt.
Das Aktualitätsproblem
Ihre Verkaufsdaten ändern sich laufend. Ein Modell lässt sich nicht ständig neu feinabstimmen. RAG fragt dagegen bei jeder Anfrage den aktuellen Datenbestand ab.
Der bewährte Stack: RAG + Vector DB
Für die meisten wissensbasierten Unternehmensanwendungen (Kundensupport, juristische Prüfung, interne Suche) sieht eine solide Architektur etwa so aus:
Wann SOLLTEN Sie Fine-Tuning einsetzen?
Fine-Tuning ist nicht grundsätzlich falsch. Es hat klare Anwendungsfälle:
- Domänenspezifische Sprachen
Einem Modell eine proprietäre Programmiersprache oder ein obskures medizinisches Terminologie-Schema beibringen.
- Markenstimme
Sicherstellen, dass das Modell genau wie Ihre Markenrichtlinien spricht (z.B. "Hilfreich, witzig, prägnant").
Fazit: Beginnen Sie mit RAG. Es ist in der Regel günstiger, schneller umgesetzt und besser nachvollziehbar. Fine-Tuning lohnt sich, wenn RAG Ton, Format oder Fachsprache nicht ausreichend trifft. Bei der Entscheidung helfen wir im Rahmen unserer KI- und Machine-Learning-Projekte; einen Überblick über Aufwände finden Sie in unserem Leitfaden zu Softwareentwicklungskosten.
