KI-Halluzinationen: warum Sprachmodelle Dinge erfinden und wer haftet
Kurz gesagt
Eine KI-Halluzination ist eine überzeugend formulierte, aber falsche Antwort: eine erfundene Tatsache, Quelle oder Entscheidung. Sie entsteht, weil ein Sprachmodell wahrscheinlichen Text vorhersagt, nicht wahren Text. Wer KI-Ergebnisse nutzt, bleibt dafür verantwortlich, wie zwei US-Anwälte 2023 erfuhren, die für von ChatGPT erfundene Rechtsprechung sanktioniert wurden. Sie begrenzen das Risiko mit Quellen aus eigenen Dokumenten und menschlicher Prüfung.
Warum erfinden Sprachmodelle Dinge?
Ein Sprachmodell ist darauf trainiert, das wahrscheinlichste nächste Wort vorherzusagen. Es hat keine Faktendatenbank, die es befragt, und es weiß nicht, wann es etwas nicht weiß. Bitten Sie um eine Quelle, erzeugt es etwas, das wie eine Quelle aussieht.
Halluzinationen treten häufiger auf bei:
- konkreten Fakten: Namen, Daten, Beträge, Paragrafen, Urteile;
- Themen, die in den Trainingsdaten selten vorkamen, etwa regionales Recht;
- Fragen nach Quellen oder Zitaten;
- langen Antworten, in denen Fehler weniger auffallen.
Was es in der Praxis kostete
Das bekannteste Beispiel ist Mata v. Avianca (2023). Anwälte in New York reichten einen Schriftsatz mit Rechtsprechung ein, die ChatGPT erfunden hatte. Das Gericht verhängte im Juni 2023 Sanktionen und verpflichtete sie, jeden Richter zu informieren, der fälschlich als Verfasser einer nicht existierenden Entscheidung genannt worden war.
Auch in Europa hat es die Justiz erreicht. In den Niederlanden nutzte 2024 ein Amtsrichter in Gelderland ChatGPT als Quelle für eine Schätzung in einem Nachbarschaftsstreit um Solarmodule. Das Gericht betonte, es habe für das Ergebnis keine Rolle gespielt, doch es löste eine breite Debatte aus.
Für Organisationen ist das Risiko weniger sichtbar, aber vergleichbar: ein falscher Betrag im Angebot, eine nicht existierende Klausel im Gutachten, eine falsche Dosierung im Arztbrief.
Wer haftet?
Wer das Ergebnis nutzt. Eine Anwältin bleibt verantwortlich für ihren Schriftsatz, ein Arzt für seinen Brief, eine Organisation für das, was sie an Kunden sendet. Die Bedingungen von KI-Anbietern schließen eine Haftung für die Richtigkeit der Ergebnisse in der Regel aus.
Berufsorganisationen sehen das ebenso. Die BRAK verlangt eine eigenverantwortliche Endkontrolle der KI-Ergebnisse. Siehe KI in der Kanzlei. Und die Europäische Kommission nennt das Risiko von Halluzinationen ausdrücklich als Thema der KI-Kompetenz. Siehe KI-Kompetenz.
Wie Sie das Risiko beherrschen
- Lassen Sie das Modell aus eigenen Quellen arbeiten. Mit RAG antwortet es auf Basis Ihrer Dokumente und nennt die Quelle, sodass sie nachgeprüft werden kann. Siehe KI auf eigenen Dokumenten.
- Fragen Sie keine Fakten aus dem Gedächtnis des Modells ab. Nutzen Sie KI zum Zusammenfassen, Umformulieren und Strukturieren von Text, den Sie selbst liefern.
- Menschliche Prüfung für alles, was hinausgeht oder worauf eine Entscheidung beruht, mit besonderem Augenmerk auf Namen, Zahlen und Zitate.
- Wählen Sie das Modell je Aufgabe. Für Präzisionsarbeit ein größeres Modell; zum Klassifizieren reicht ein kleineres.
- Schulen Sie Beschäftigte, Halluzinationen zu erkennen und zu melden.
Mit werqly laufen die Modelle und die Anbindung an Ihre eigenen Dokumente auf einem eigenen Node. Antworten verweisen auf die Quelle in Ihrer Organisation, und das Audit-Log hält fest, welche Quelle zu welcher Antwort gehörte. Siehe Was ist private KI?
Häufige Fragen
Fragen zu diesem Thema
Was ist eine KI-Halluzination?
Eine Antwort eines Sprachmodells, die überzeugend klingt, aber nicht stimmt: eine erfundene Tatsache, Quelle, ein Zitat oder eine Entscheidung. Sie entsteht, weil das Modell wahrscheinlichen Text vorhersagt, nicht wahren Text.
Lassen sich Halluzinationen vollständig verhindern?
Nein, aber stark verringern. Lassen Sie das Modell auf Basis eigener Dokumente mit Quellenangabe antworten, nutzen Sie es vor allem zur Bearbeitung gelieferter Texte und prüfen Sie Ergebnisse, auf denen Entscheidungen beruhen.
Haftet der KI-Anbieter für Fehler?
Meist nicht: Die Bedingungen von KI-Anbietern schließen eine Haftung für die Richtigkeit der Ergebnisse in der Regel aus. Wer das Ergebnis nutzt, etwa eine Anwältin, ein Arzt oder eine Organisation, bleibt verantwortlich.
Welche Aufgaben sind besonders anfällig für Halluzinationen?
Fragen nach konkreten Fakten, Quellen, Zitaten, Rechtsprechung und Zahlen, vor allem zu Themen, die in den Trainingsdaten selten vorkommen. Zusammenfassen und Umformulieren gelieferter Texte ist deutlich verlässlicher.
Quellen
- Mata v. Avianca, Inc., 678 F.Supp.3d 443 (S.D.N.Y. 2023)
- BRAK — Hinweise zum Einsatz von künstlicher Intelligenz (Stand 12/2024)
- Europäische Kommission — AI Literacy: Questions & Answers (Englisch)
Dieser Beitrag ist eine allgemeine Information, keine Rechtsberatung. Regeln und Leitlinien ändern sich; prüfen Sie im Zweifel die genannten Quellen oder fragen Sie Ihre Rechtsabteilung oder Ihren Datenschutzbeauftragten.