Was sind KI-Halluzinationen?

KI-Halluzinationen sind Aussagen eines Sprachmodells, die plausibel klingen, aber falsch oder frei erfunden sind — etwa nicht existierende Gerichtsentscheidungen, erfundene Paragrafen oder falsche Zahlen. Sie entstehen, weil Sprachmodelle wahrscheinliche Formulierungen berechnen, statt Fakten nachzuschlagen.

Warum sind Halluzinationen für Kanzleien besonders gefährlich?

Weil juristische Texte von präzisen Fundstellen leben und erfundene Zitate professionell aussehen. Ein Schriftsatz mit halluzinierten Entscheidungszitaten gefährdet den Fall, das Ansehen der Kanzlei und im Ernstfall das Mandatsverhältnis. International sind solche Fälle bereits mit Sanktionen für die Einreicher bekannt geworden.

Kann man KI-Halluzinationen technisch verhindern?

Vollständig verhindern nicht, aber deutlich eindämmen. Am wirksamsten sind Systeme, die nur aus hinterlegten, geprüften Dokumenten antworten und ihre Quellen zitieren (Retrieval-Augmented Generation). Die verbleibende Fehlerquote fängt die menschliche Prüfung ab — sie bleibt in jedem Fall Pflicht.

Halluziniert KI auch bei Zusammenfassungen eigener Dokumente?

Ja, auch dort können Fehler auftreten, allerdings seltener und leichter erkennbar: Bei einer Zusammenfassung lässt sich jede Aussage am Originaldokument prüfen. Riskanter sind freie Fragen ohne hinterlegte Quellen, weil das Modell dann ausschließlich aus seinen Trainingsdaten formuliert.

Wie prüft man einen KI-Text effizient auf Halluzinationen?

Zuerst alle Fundstellen, Zitate, Zahlen, Namen und Daten kontrollieren — dort sitzen die gefährlichsten Fehler. Danach die inhaltlichen Kernaussagen gegen die Quelle oder das eigene Fachwissen halten. Ein System mit Quellenangaben beschleunigt diese Prüfung erheblich, ersetzt sie aber nicht.

KI-Halluzinationen: Das unterschätzte Risiko für Kanzleien

KI-Halluzinationen sind Aussagen eines Sprachmodells, die überzeugend klingen, aber falsch oder komplett erfunden sind — von der nicht existierenden Gerichtsentscheidung bis zur falschen Frist. Für Kanzleien ist das kein Randthema, sondern das zentrale Risiko beim KI-Einsatz: Juristische Arbeit lebt von präzisen Fundstellen, und genau dort erfinden Sprachmodelle am überzeugendsten. Das Risiko lässt sich technisch stark eindämmen und organisatorisch beherrschen — aber nur, wenn man es ernst nimmt, statt es wegzuhoffen.

In Kürze

Halluzinationen sind kein Programmierfehler, sondern eine Eigenschaft von Sprachmodellen: Sie berechnen wahrscheinliche Formulierungen, keine geprüften Fakten.
Besonders riskant für Kanzleien: erfundene Entscheidungszitate, Paragrafen, Fristen und Zahlen — sie sehen genauso professionell aus wie echte.
International wurden bereits Schriftsätze mit von Chatbots erfundenen Zitaten eingereicht, mit spürbaren Folgen für die Einreicher.
Wirksamste technische Gegenmaßnahme: Systeme, die nur aus hinterlegten Kanzlei-Dokumenten antworten und jede Aussage mit Quellenangabe belegen.
Wirksamste organisatorische Gegenmaßnahme: Jedes KI-Ergebnis ist ein Entwurf, den ein Mensch vor Verwendung prüft — besonders alle Fundstellen.
Wer Halluzinationen einplant, kann KI sicher nutzen; wer sie ignoriert, riskiert Fall, Ruf und Mandat.

Warum erfinden Sprachmodelle überhaupt Inhalte?

Eine Halluzination ist keine Fehlfunktion, sondern die Kehrseite dessen, was Sprachmodelle können. Ein Sprachmodell (Large Language Model) hat aus riesigen Textmengen gelernt, welche Wörter und Aussagen in welchem Zusammenhang wahrscheinlich sind. Auf eine Frage antwortet es mit der plausibelsten Formulierung — nicht mit einem nachgeschlagenen Fakt. Meistens deckt sich das Plausible mit dem Richtigen. Wenn nicht, entsteht eine Halluzination: eine Aussage, die genauso flüssig und selbstsicher formuliert ist wie eine korrekte.

Das erklärt die tückischste Eigenschaft von Halluzinationen: Sie sehen nicht falsch aus. Ein erfundenes Entscheidungszitat hat Aktenzeichen, Datum und einen glaubwürdigen Leitsatz. Eine erfundene Statistik hat Prozentzahlen und eine plausibel klingende Quelle. Wer nur auf Stil und Sicherheit des Textes achtet, hat keine Chance, den Fehler zu erkennen — prüfen lässt er sich nur am Original.

Verstärkt wird das Problem durch die Antwortbereitschaft der Modelle: Auf fast jede Frage kommt eine Antwort, auch wenn das Modell zur konkreten Frage nichts Belastbares gelernt hat. Gerade bei österreichischen Spezialthemen — Details zu Verfahrensabläufen, Kammervorgaben, ERV-Praxis — ist die Trainingsgrundlage oft dünn, die Antwort aber trotzdem wortreich.

Welche Halluzinationen sind für Kanzleien am gefährlichsten?

Halluzinationstyp	Beispielhafte Form	Warum gefährlich
Erfundene Judikatur	Entscheidung mit plausiblem Aktenzeichen, die nicht existiert	Landet sie in einem Schriftsatz, gefährdet sie Fall und Ansehen
Erfundene Normen	Paragraf oder Absatz, den es so nicht gibt, oder veralteter Rechtsstand	Falsche Rechtsgrundlage für Beratung oder Schreiben
Falsche Fristen und Daten	Plausibel klingende, aber falsche Frist- oder Terminangabe	Fristenthemen dulden null Fehler; Verantwortung liegt bei der Kanzlei
Erfundene Fakten zum Fall	Details, die in den Unterlagen nicht stehen, aber gut klingen	Verfälscht Sachverhaltsdarstellungen unbemerkt
Falsche Zahlen und Namen	Vertauschte Beträge, falsch zugeordnete Parteien	Peinlich bis haftungsrelevant, je nach Dokument

Dass dieses Risiko real ist, zeigen international bekannt gewordene Fälle, in denen Anwälte Schriftsätze mit von Chatbots erfundenen Entscheidungszitaten bei Gericht eingereicht haben — die Gerichte reagierten mit Sanktionen und deutlichen Worten. Der Fehler lag dabei nie allein an der Technik, sondern am Umgang: Die Ergebnisse wurden ungeprüft übernommen.

Wie lässt sich das Risiko technisch eindämmen?

Die wirksamste technische Antwort heißt Retrieval-Augmented Generation (RAG) — übersetzt etwa: abrufgestützte Texterzeugung. Dabei antwortet das Sprachmodell nicht frei aus seinen Trainingsdaten, sondern bekommt zu jeder Frage zuerst die relevanten Passagen aus einem hinterlegten, von der Kanzlei geprüften Dokumentenbestand — und formuliert seine Antwort nur auf dieser Grundlage, mit Quellenangabe zu jeder Aussage.

Das verändert die Prüfbarkeit grundlegend. Statt einer Behauptung ins Blaue erhält die Nutzerin eine Antwort mit Beleg: „laut Merkblatt X, Abschnitt Y“. Ein Klick zeigt die Originalstelle, und ob die Antwort trägt, ist in Sekunden festgestellt. Findet das System keine passende Quelle, ist die richtige Reaktion ein ehrliches „dazu liegt nichts vor“ statt einer erfundenen Antwort — genau so sollte ein Kanzleisystem eingestellt sein.

Nach diesem Prinzip arbeitet eine gut gebaute Kanzlei-Wissensdatenbank: Sie beantwortet Fragen zur Arbeitsweise der Kanzlei ausschließlich aus den hinterlegten internen Unterlagen und zitiert die Fundstelle. Zur Einordnung gehört dazu: Sie beantwortet, wie die Kanzlei arbeitet — nicht, wie ein Fall rechtlich zu entscheiden ist. Rechtsrecherche bleibt ein eigenes Feld mit eigenen Werkzeugen und voller menschlicher Prüfung.

Zwei weitere technische Bausteine helfen: erstens enge Aufgabenzuschnitte — ein System, das nur Erstanfragen kategorisiert und Entwürfe aus festen Textbausteinen zusammenstellt, hat wenig Raum zum Erfinden; zweitens die Trennung von Daten und freiem Wissen — je mehr eine Antwort aus hinterlegten Dokumenten stammt und je weniger aus dem Modellgedächtnis, desto geringer das Halluzinationsrisiko.

Welche organisatorischen Regeln schützen die Kanzlei?

Technik senkt die Fehlerquote, aber auf null bringt sie nur der Mensch. Vier Regeln haben sich bewährt:

Entwurfsprinzip ohne Ausnahme: Jedes KI-Ergebnis ist ein Entwurf. Nichts verlässt die Kanzlei — keine E-Mail, kein Dokument, kein Schriftsatz — ohne menschliche Prüfung und Freigabe.
Fundstellen-Erstprüfung: Bei jedem KI-Text werden zuerst Zitate, Aktenzeichen, Paragrafen, Zahlen, Namen und Daten kontrolliert — dort sitzen die gefährlichsten Fehler. Was sich nicht am Original verifizieren lässt, fliegt raus.
Quellenpflicht bei Systemauswahl: Für den Kanzleieinsatz kommen bevorzugt Systeme infrage, die ihre Quellen offenlegen. Ein Werkzeug, das Behauptungen ohne Beleg liefert, taugt höchstens für Unverbindliches — nicht für Mandatsarbeit.
Fehlerkultur statt Vertuschung: Wer eine Halluzination entdeckt, meldet sie — damit das Team lernt, wo das System schwächelt. Sanktionsangst führt nur dazu, dass Fehler still korrigiert werden und die Kanzlei nichts lernt.

Diese Regeln gehören schriftlich in die interne KI-Richtlinie und in die Einschulung jedes neuen Teammitglieds — auch der Konzipientinnen und Konzipienten, die mit KI-Werkzeugen oft am selbstverständlichsten umgehen und die Prüfdisziplin am dringendsten brauchen.

Heißt das, KI ist für Kanzleien zu riskant?

Nein — es heißt, dass der Einsatz gestaltet werden muss. Die Rechnung ist nüchtern: Halluzinationen sind ein bekanntes, gut erforschtes Risiko mit wirksamen Gegenmaßnahmen. Eine Kanzlei, die quellengebundene Systeme einsetzt, enge Anwendungsfälle wählt und das Entwurfsprinzip lebt, hat das Risiko im Griff — und profitiert trotzdem von der Zeitersparnis. Eine Kanzlei, die ihrem Team stillschweigend die Nutzung öffentlicher Chatbots überlässt, hat dagegen beides nicht: weder Kontrolle noch Datenschutz.

Wie Sie den KI-Einsatz von Anfang an so aufsetzen — von der Auswahl des ersten Anwendungsfalls über die Datenfrage bis zu den Freigaberegeln —, beschreibt Schritt für Schritt der Praxis-Leitfaden KI in der Rechtsanwaltskanzlei.

Fazit: Ernst nehmen, einplanen, beherrschen

KI-Halluzinationen sind das am meisten unterschätzte Risiko beim KI-Einsatz in Kanzleien — nicht, weil sie unbeherrschbar wären, sondern weil sie so überzeugend aussehen. Die Antwort ist kein Verzicht, sondern Architektur und Disziplin: quellengebundene Systeme, enge Anwendungsfälle, menschliche Prüfung jedes Entwurfs.

Wenn Sie wissen möchten, wie ein quellengebundenes System für Ihre Kanzlei aussieht, vereinbaren Sie ein unverbindliches Erstgespräch über unsere Kontaktseite — wir zeigen Ihnen an echten Beispielen, wie Antworten mit Quellenangabe funktionieren.