Was bedeutet RAG bei KI?

RAG steht für Retrieval Augmented Generation. Das System sucht vor dem Antworten passende Textstellen in einer definierten Dokumentensammlung und formuliert die Antwort ausschließlich auf Basis dieser Fundstellen. Dadurch kann es Quellen angeben und antwortet nicht aus dem antrainierten Gedächtnis.

Ist RAG dasselbe wie ChatGPT?

Nein. ChatGPT antwortet standardmäßig aus seinem Trainingswissen, das allgemein und nicht kanzleispezifisch ist. Ein RAG-System schlägt zuerst in den eigenen Dokumenten nach und stützt die Antwort auf konkrete, zitierbare Textstellen aus diesen Quellen.

Kann ein RAG-System trotzdem halluzinieren?

Ja, wenn auch deutlich seltener. Das Sprachmodell kann Fundstellen falsch zusammenfassen oder Lücken plausibel füllen. Deshalb gehören Quellenangaben zu jeder Antwort, damit Menschen die Aussage in Sekunden am Originaldokument prüfen können.

Braucht RAG eine Internetverbindung zu US-Anbietern?

Nicht zwingend. RAG lässt sich vollständig auf selbst gehosteten EU-Servern betreiben, inklusive Vektordatenbank und Sprachmodell. Für Kanzleien ist das der empfohlene Weg, weil Mandantendaten so die eigene Infrastruktur nicht verlassen.

Welche Dokumente eignen sich für ein RAG-System in der Kanzlei?

Gut geeignet sind Kanzleihandbuch, Prozessbeschreibungen, Vorlagen-Erläuterungen, Checklisten und interne FAQ – also alles, was beschreibt, wie die Kanzlei arbeitet. Nicht geeignet ist RAG als Ersatz für juristische Recherche in Rechtsdatenbanken.

Was ist RAG? Retrieval Augmented Generation einfach erklärt

RAG (Retrieval Augmented Generation) ist ein Verfahren, bei dem eine KI vor dem Antworten zuerst in einer definierten Wissensquelle nachschlägt – etwa im Kanzleihandbuch – und ihre Antwort ausschließlich auf die gefundenen Textstellen stützt. Statt aus dem antrainierten „Gedächtnis” zu antworten, zitiert das System belegbare Quellen aus den eigenen Dokumenten. Für Kanzleien bedeutet das: nachvollziehbare Antworten auf Basis des eigenen Wissens statt plausibel klingender Vermutungen.

In Kürze

RAG steht für Retrieval Augmented Generation, zu Deutsch etwa „abrufgestützte Texterzeugung”: Erst suchen, dann formulieren.
Eine RAG-Antwort entsteht in zwei Phasen: Das System findet passende Textstellen in den eigenen Dokumenten, dann fasst das Sprachmodell genau diese Fundstellen zu einer Antwort zusammen.
Der entscheidende Unterschied zu ChatGPT: Die Antwort kommt nicht aus dem Trainingswissen des Modells, sondern aus konkreten, zitierbaren Quellen der Kanzlei.
RAG reduziert sogenannte Halluzinationen deutlich, macht sie aber nicht unmöglich – Quellenangaben und menschliche Prüfung bleiben Pflicht.
Selbst gehostet auf EU-Servern lässt sich RAG mit der anwaltlichen Verschwiegenheitspflicht (§ 9 RAO) vereinbaren, weil keine Daten an externe Anbieter fließen.

Was bedeutet Retrieval Augmented Generation?

Der Begriff klingt sperrig, beschreibt aber eine einfache Idee. „Retrieval” heißt Abruf: Das System durchsucht eine festgelegte Dokumentensammlung nach Textstellen, die zur gestellten Frage passen. „Augmented Generation” heißt erweiterte Texterzeugung: Das Sprachmodell bekommt diese Fundstellen mitgeliefert und formuliert daraus die Antwort.

Man kann sich RAG wie eine sehr schnelle Konzipientin vorstellen, die vor jeder Auskunft in den Kanzleiordner schaut. Sie antwortet nicht aus der Erinnerung, sondern schlägt nach, markiert die relevanten Passagen und fasst sie zusammen. Genau das unterscheidet ein RAG-System von einem Chatbot, der frei formuliert.

Wichtig für die Einordnung: Eine RAG-gestützte Wissensdatenbank beantwortet, wie die Kanzlei arbeitet – Zuständigkeiten, Abläufe, Vorlagen, interne Standards. Sie ist kein Werkzeug für die Rechtsrecherche und ersetzt keine juristische Bewertung. Die bleibt bei den Juristinnen und Juristen der Kanzlei.

Wie entsteht eine RAG-Antwort? Schritt für Schritt

Der Weg von der Frage zur belegten Antwort läuft in sechs Schritten ab. Die ersten beiden passieren einmalig bei der Einrichtung, die übrigen bei jeder einzelnen Frage.

Dokumente aufbereiten: Handbuch, Checklisten und Prozessbeschreibungen werden in kleine Sinnabschnitte zerlegt, sogenannte Chunks. Ein Chunk umfasst typischerweise wenige Absätze, damit Fundstellen präzise bleiben.
Abschnitte indexieren: Jeder Abschnitt wird in einen Zahlenvektor übersetzt, der seine Bedeutung repräsentiert (Embedding), und in einer Vektordatenbank gespeichert. Das ist der durchsuchbare Index des Kanzleiwissens.
Frage verstehen: Stellt jemand eine Frage („Wie legen wir einen neuen Akt an?”), wird auch diese Frage in einen solchen Bedeutungsvektor übersetzt.
Passende Stellen finden: Die Vektordatenbank vergleicht die Frage mit allen gespeicherten Abschnitten und liefert die inhaltlich ähnlichsten Fundstellen zurück – auch wenn dort andere Wörter stehen als in der Frage.
Antwort formulieren: Das Sprachmodell erhält die Frage plus die gefundenen Abschnitte und die Anweisung, ausschließlich auf dieser Grundlage zu antworten. Es fasst zusammen, statt zu erfinden.
Quellen ausweisen: Die fertige Antwort nennt die verwendeten Dokumente und Abschnitte. Wer zweifelt, klickt auf die Quelle und prüft das Original.

Dieser Ablauf dauert in der Praxis wenige Sekunden. Für die Nutzerinnen und Nutzer fühlt es sich an wie ein Chat – im Hintergrund läuft aber jedes Mal eine echte Suche über die Kanzleidokumente.

Worin unterscheidet sich RAG von ChatGPT „aus dem Gedächtnis”?

Ein Sprachmodell wie das hinter ChatGPT hat sein Wissen im Training aufgenommen – aus öffentlichen Texten, mit einem Stichtag, ohne jede Kenntnis der eigenen Kanzlei. Fragt man es nach internen Abläufen, erfindet es im Zweifel eine plausible Antwort. Genau dieses selbstbewusste Raten macht öffentliche Chatbots für verlässliche Auskünfte so heikel.

Merkmal	ChatGPT aus dem Gedächtnis	RAG-System der Kanzlei
Wissensquelle	Öffentliche Trainingsdaten bis zum Stichtag	Eigene, aktuelle Kanzleidokumente
Kanzleiinterna	Unbekannt, wird notfalls erfunden	Kernkompetenz des Systems
Quellenangabe	Keine überprüfbaren Belege	Jede Antwort mit Fundstelle
Aktualisierung	Nur durch neues Modelltraining	Dokument ändern, Index aktualisieren
Datenfluss	Eingaben gehen an den Anbieter, oft in die USA	Selbst gehostet: Daten bleiben auf dem eigenen EU-Server
Eignung für Mandantendaten	Ungeeignet	Mit Berechtigungen und EU-Hosting vertretbar

Der Tabellenvergleich zeigt den Kern: RAG verlagert die Wissensquelle vom Modell in die Kanzlei. Das Sprachmodell wird vom vermeintlich Allwissenden zum Zusammenfasser, der nur noch mit dem arbeitet, was die Kanzlei ihm vorlegt. Dadurch werden Antworten überprüfbar – und Aktualisierungen brauchen kein neues Modell, sondern nur ein geändertes Dokument.

Was ist eine Vektordatenbank – und warum reicht die normale Suche nicht?

Die klassische Volltextsuche findet nur, was wortwörtlich im Dokument steht. Wer nach „Krankmeldung” sucht, findet den Abschnitt „Vorgehen bei Krankenstand” unter Umständen nicht. Eine Vektordatenbank vergleicht dagegen Bedeutungen: Sie erkennt, dass beide Formulierungen dasselbe meinen, weil ihre Bedeutungsvektoren nahe beieinander liegen.

Für den Kanzleialltag ist das der eigentliche Komfortgewinn. Mitarbeitende müssen nicht wissen, wie ein Dokument heißt oder welche Begriffe die Autorin verwendet hat. Sie stellen ihre Frage in normaler Sprache, so wie sie eine Kollegin fragen würden – und das System findet die Passage trotzdem.

Technisch ist die Vektordatenbank ein eigener Baustein neben dem Sprachmodell. Beide lassen sich auf demselben Server in der EU betreiben. Es gibt also keinen technischen Zwang, für RAG Daten an einen US-Anbieter zu übertragen.

Warum ist RAG für Kanzleien interessant?

Kanzleien haben ein strukturelles Wissensproblem: Das meiste Praxiswissen steckt in den Köpfen weniger Personen und in verstreuten Dokumenten. Neue Konzipientinnen und Mitarbeitende stellen dieselben Fragen, erfahrene Kräfte werden ständig unterbrochen, und beim Ausscheiden einer Schlüsselperson geht Wissen verloren.

Eine RAG-gestützte Wissensdatenbank setzt genau dort an. Sie macht dokumentiertes Wissen per Frage abrufbar, rund um die Uhr, mit Quellenangabe. Wie Sie eine solche Lösung von der Dokumentauswahl bis zum laufenden Betrieb aufbauen, beschreibt der Leitfaden zur Kanzlei-Wissensdatenbank ausführlich.

Entscheidend ist dabei die Architekturfrage. Läuft das System auf einem selbst gehosteten EU-Server, bleiben alle Inhalte – auch sensible interne Anweisungen – unter Kontrolle der Kanzlei. Eine so aufgebaute Kanzlei-Wissensdatenbank unterscheidet sich grundlegend von öffentlichen Chatbots, in die Mitarbeitende sonst womöglich ungeprüft Interna eintippen.

Wo liegen die Grenzen von RAG?

Ehrlichkeit gehört zur Einführung dazu: RAG ist kein Wahrheitsautomat. Das System kann nur finden, was dokumentiert ist. Fehlt ein Prozess im Handbuch, kann die beste Suche ihn nicht liefern – im schlechteren Fall fasst das Modell entfernt verwandte Stellen zusammen, die die Frage nicht wirklich beantworten.

Auch beim Zusammenfassen können Fehler passieren. Das Sprachmodell kann Nuancen verkürzen, zwei Fundstellen falsch verknüpfen oder eine veraltete Passage zitieren, wenn das Quelldokument nicht gepflegt wurde. Quellenangaben mildern das Risiko, beseitigen es aber nicht: Wer eine Antwort für eine wichtige Entscheidung nutzt, prüft die Fundstelle.

Und schließlich: RAG beantwortet organisatorische Fragen, keine Rechtsfragen. Ob eine Vorgehensweise im konkreten Fall berufsrechtlich oder haftungsrechtlich richtig ist, bewertet die Kanzlei selbst – dieser Artikel ist keine Rechtsberatung, und ein RAG-System ist es erst recht nicht.

Wie starten Kanzleien am besten?

Der pragmatische Einstieg ist klein: eine Handvoll gepflegter Dokumente – Handbuch, Checklisten, die zehn häufigsten internen Fragen – als erste Wissensbasis, ein Pilotbetrieb mit wenigen Nutzerinnen und Nutzern, dann schrittweiser Ausbau. So zeigt sich schnell, welche Fragen das System gut beantwortet und wo die Dokumentation Lücken hat.

Wenn Sie prüfen möchten, ob RAG zu Ihrer Kanzlei passt, vereinbaren Sie ein unverbindliches Erstgespräch über unsere Kontaktseite – wir sehen uns gemeinsam an, welche Dokumente sich als Startpunkt eignen.