Firmenwissen mit KI durchsuchen: So funktioniert RAG im Betrieb
Eine KI, die die eigene Ablage kennt, antwortet in Sekunden. Was RAG ist, was es kostet, wo es scheitert – und warum die Datenbasis mehr zählt als das Modell.
Das teuerste Wissen in Ihrem Betrieb ist das, das niemand findet. Es liegt in alten Angeboten, Wartungsprotokollen, E-Mail-Verläufen und in den Köpfen von zwei Leuten, die in fünf Jahren in Rente gehen.
Ein Sprachmodell weiß davon nichts. ChatGPT kennt Ihre Preisliste nicht, Ihre Sonderregelungen nicht, Ihre Kunden nicht. Fragen Sie es trotzdem, bekommen Sie eine überzeugend formulierte Antwort – erfunden.
RAG löst genau das. Die Abkürzung steht für Retrieval-Augmented Generation und bedeutet: Bevor das Modell antwortet, sucht es in Ihren Dokumenten und nutzt nur, was es dort findet.
Wie das funktioniert – in drei Sätzen
Ihre Dokumente – PDFs, Word-Dateien, Wiki-Seiten, Tickets, E-Mails – werden in Abschnitte zerlegt und so gespeichert, dass sich inhaltlich ähnliche Stellen schnell finden lassen. Stellt jemand eine Frage, sucht das System die passendsten Abschnitte heraus. Das Sprachmodell bekommt Frage plus Fundstellen und formuliert daraus die Antwort – mit Quellenangabe.
Was nicht in den Dokumenten steht, wird nicht erfunden. Das ist der ganze Trick.
Was das im Alltag bringt
Support und Innendienst. „Welche Garantiebedingungen gelten für Baureihe X, Baujahr 2021?” – Antwort aus dem Handbuch, in Sekunden, mit Seitenangabe. Betriebe berichten, dass 70 Prozent der Standardanfragen so beantwortet werden; bei einem 100-Personen-Unternehmen sind das rund 35 Stunden im Monat, die die IT oder der Innendienst zurückbekommt.
Onboarding. Neue Mitarbeiter fragen das System statt den Kollegen. Der Kollege wird trotzdem gefragt – aber bei den Dingen, die nirgends stehen.
Angebote. „Was haben wir dem Kunden Müller 2023 für die Halle angeboten, und was war der Sonderrabatt?” Bisher: zehn Minuten Suchen, oft ergebnislos. Jetzt: die Antwort mit Link zum PDF.
Mitarbeiter sparen nach übereinstimmenden Erhebungen vier bis sieben Stunden Suchzeit pro Monat. Das klingt wenig. Bei 30 Leuten sind es 150 bis 200 Stunden.
Was 2026 einfacher geworden ist
Zwei Entwicklungen haben RAG vom Projekt zum Werkzeug gemacht:
Erstens die Kontextfenster. Aktuelle Modelle lesen eine Million Token am Stück – ein komplettes Handbuch passt in eine Anfrage. Für kleine Wissensbestände braucht es gar keine Suchinfrastruktur mehr, das Modell bekommt einfach alles.
Zweitens die Kosten. Die Umwandlung von Dokumenten in durchsuchbare Form kostet heute 13 Cent pro Million Token. Ein Archiv mit 10.000 Seiten ist für unter zehn Euro erschlossen.
Und drittens: Es geht lokal. Mit Gemma 4 oder Qwen 3.6 im eigenen Haus verlässt kein Dokument den Betrieb – für Kanzleien, Praxen und Konstruktionsbüros oft die einzige akzeptable Variante.
Wo es scheitert
An der Datenbasis, nicht am Modell. Das System ist so gut wie die Dokumente. Veraltete Preislisten, drei Versionen desselben Vertrags, Handbücher als eingescannte Bilder ohne Text – das findet das System entweder nicht oder es findet das Falsche. Der größte Teil der Arbeit ist Aufräumen, nicht Programmieren. Das habe ich schon bei Trassi beschrieben, wo die Übungsdatenbank mehr Aufwand war als die KI.
An Berechtigungen. Wenn das System jedem alles zeigt, sieht die Aushilfe die Gehaltsliste. Zugriffsrechte müssen aus den Quellsystemen übernommen werden. Das ist lösbar, muss aber von Anfang an mitgedacht werden.
An der Erwartung. RAG beantwortet Fragen zu dem, was dokumentiert ist. Es weiß nicht, was der Chef letzte Woche mündlich entschieden hat. Es ersetzt keine Prozesse – es macht Wissen auffindbar.
Der pragmatische Einstieg
Ein Bereich, ein Dokumententyp, zehn Testfragen. Zum Beispiel: die 50 wichtigsten Handbücher, und die Fragen, die der Support jede Woche bekommt. Zwei Wochen Aufbau, dann prüfen, ob die Antworten stimmen. Erst dann erweitern.
Wie das mit Ihren Systemen aussehen könnte – Microsoft, Google, lokal oder gemischt – klären wir in einem Erstgespräch. Wenn Sie erst einmal wissen wollen, wo Ihr Betrieb bei KI insgesamt steht: KI-Readiness-Check.