L'utilisation de l'intelligence artificielle (IA) révolutionne également le domaine juridique. Mais ces opportunités s'accompagnent de risques considérables – l'un des plus graves étant le phénomène dit des « hallucinations de l'IA ». Qu'est-ce que cela signifie, comment de telles erreurs surviennent-elles et quelles en sont les conséquences pour la détermination du droit ?

Was sind KI-Halluzinationen und wie entstehen sie?

KI-Halluzinationen sind fehlerhafte oder frei erfundene Inhalte, die von generativen KI-Systemen wie ChatGPT oder Claude erstellt werden, obwohl sie auf den ersten Blick glaubwürdig erscheinen. Ursachen sind vielfältig:

• Trainingsdaten: Fehlerhafte, veraltete oder unvollständige Daten können zu falschen Schlussfolgerungen führen.
• Trainingsmethoden: Technische Schwächen wie „Attention Glitches“ oder „Exposure Bias“ führen dazu, dass Modelle inkorrekte Muster lernen oder sich zu stark an vermutete Nutzererwartungen anpassen.
• Inferenz: Bei der Antwortgenerierung setzen KI-Modelle oft auf statistische Wahrscheinlichkeiten, was zu realistisch klingenden, aber falschen Aussagen führt.

Diese Mechanismen sind dem System inhärent und lassen sich nicht vollständig vermeiden, wie aktuelle Forschung und Praxis zeigen.

Konsequenzen für die Rechtsfindung

In der Praxis können KI-Halluzinationen dramatische Folgen haben. Beispiele aus den USA und Israel verdeutlichen das:

• In einem US-Fall (T3N, 2025) zitierte eine Elitekanzlei mithilfe von Google Gemini nicht existierende Urteile, was zu einer Geldstrafe von 31.000 Dollar führte.
• In Israel wurde ein Beweisantrag mit fiktiven Gesetzen gestellt, die ein KI-System generiert hatte.
• Bei einem Fall in New York (Golem, 2023) reichte ein Anwalt Schriftsätze ein, die von ChatGPT erfundene Präzedenzfälle enthielten.

Gerichte sind auf präzise und überprüfbare Informationen angewiesen. Wenn KI-generierte Fehler unbemerkt bleiben, können sie zu Fehlurteilen führen. Selbst wenn Fehler auffallen, untergraben sie das Vertrauen in den Rechtsprozess.

Verantwortung und Haftung

Die rechtliche Verantwortung für durch KI verursachte Fehler ist klar:

• Laut einem Urteil des Landgerichts Kiel (2024) haften Unternehmen für die Inhalte, die ihre Systeme generieren, selbst wenn diese automatisiert entstanden sind.
• Ein Haftungsausschluss oder Hinweis auf die Automatisierung entbindet nicht von der Pflicht zur sorgfältigen Überprüfung.
• Rechtsgrundlagen wie § 1004 BGB und das Unternehmenspersönlichkeitsrecht greifen hier ebenso wie Datenschutz- und Persönlichkeitsrechte.

Das bedeutet: Wer KI einsetzt, bleibt verantwortlich und haftbar für die Ergebnisse.

Bedeutung für die Rechtsfindung (allgemein)

Die Justiz und Rechtsanwender stehen vor der Herausforderung, KI-generierte Inhalte kritisch zu prüfen. Während KI-Systeme die Recherche beschleunigen und Arbeitslast reduzieren können, erfordert ihre Nutzung ein hohes Maß an Skepsis und Kontrollmechanismen. Ohne diese besteht die Gefahr, dass fehlerhafte Inhalte unreflektiert in den Rechtsprozess einfließen.

Was bedeutet das konkret für Anwälte?

Für Anwälte bedeutet der Einsatz von KI:

• Kontrolle ist Pflicht: Alle mit KI erstellten Dokumente müssen sorgfältig geprüft werden, bevor sie eingereicht werden.
• Risikomanagement: Es müssen klare Richtlinien zur Verwendung von KI entwickelt und Haftungsrisiken minimiert werden.
• Schulungen und Sensibilisierung: Anwälte müssen lernen, KI-generierte Inhalte zu hinterfragen und sich nicht von der „Autorität“ der KI blenden zu lassen.
• Technologische Unterstützung: Der Einsatz von Tools zur Überprüfung von Halluzinationen, wie Retrieval-Augmented Generation (RAG), und Strategien wie Chain-of-Thought-Prompting können helfen, Fehler zu minimieren.