KI im Sozialbereich: wo sie Hochrisiko wird und was trotzdem geht
Kurz gesagt
KI, die eine Behörde nutzt, um über Ansprüche auf Sozialleistungen oder wesentliche Dienste zu entscheiden, steht in Anhang III der KI-Verordnung und gilt als Hochrisiko-KI. Daraus folgen Anforderungen an menschliche Aufsicht, Protokollierung, Information der Betroffenen und eine Grundrechte-Folgenabschätzung. Unterstützende Arbeit wie das Zusammenfassen von Akten fällt meist nicht darunter, sofern ein Mensch entscheidet.
Warum die Latte hier hoch liegt
Der Sozialbereich hat eine Vorgeschichte mit automatisierter Risikobewertung. 2020 entschied das Gericht in Den Haag, dass die Gesetzgebung zu SyRI, dem niederländischen System zur Berechnung von Betrugsrisiken bei Sozialleistungen, gegen Artikel 8 der Europäischen Menschenrechtskonvention verstieß: zu wenig transparent und für die Betroffenen nicht überprüfbar.
Die Lehre ist nicht, dass Technik verboten wäre, sondern dass Menschen verstehen und anfechten können müssen, was über sie festgestellt wird. Genau das übersetzt die KI-Verordnung nun in Regeln.
Was Hochrisiko ist und was nicht
| Anwendung | Einschätzung |
|---|---|
| Prüfen, ob jemand Anspruch auf eine Leistung hat | Hochrisiko (Anhang III) |
| Anträge nach Betrugsrisiko sortieren | Hochrisiko und rechtlich heikel |
| Akten für die Fachkraft zusammenfassen | Meist kein Hochrisiko, sofern die Fachkraft entscheidet |
| Regelungen und Richtlinien durchsuchen | Kein Hochrisiko |
| Bescheide verständlicher formulieren | Kein Hochrisiko |
Nach dem Digital Omnibus gelten die Hochrisiko-Anforderungen aus Anhang III ab dem 2. Dezember 2027. Siehe Die KI-Verordnung 2026.
Was Sie bei Hochrisiko regeln müssen
- Grundrechte-Folgenabschätzung. Öffentliche Stellen beurteilen die Auswirkungen vorab und registrieren die Nutzung in der EU-Datenbank.
- Menschliche Aufsicht. Übertragen an Personen, die geschult und befugt sind einzugreifen, nicht an jene, die nur bestätigen.
- Protokollierung. Automatisch erzeugte Protokolle mindestens sechs Monate aufbewahren.
- Erläuterung für Betroffene. Menschen haben ein Recht auf Erläuterung von Entscheidungen, die auch auf Hochrisiko-KI beruhen.
- DSFA. Fast immer nötig: Es geht um schutzbedürftige Menschen und sensible Daten. Siehe DSFA für generative KI.
Was geht und sofort hilft
- Akten und Meldungen zusammenfassen, mit Quellenangabe, damit die Fachkraft schneller das Bild hat.
- Regelungen, Satzungen und Arbeitsanweisungen für die Fachkräfte durchsuchbar machen.
- Schreiben an Betroffene in verständliche Sprache bringen, mit der Fachkraft als Endredaktion.
- Gesprächsvermerke erstellen, die die Fachkraft prüft und freigibt.
Diese Daten gehören nicht zu einem externen KI-Dienst. Mit werqly läuft das Modell auf einem eigenen Node Ihrer Verwaltung, mit Rollen je Team und Safeguards auf Ausweis- und Aktenzeichen. Siehe KI für Kommunen und Verwaltung und Generative KI in Kommunen.
Häufige Fragen
Fragen zu diesem Thema
Darf KI über einen Leistungsanspruch entscheiden?
Ein solches System ist Hochrisiko-KI nach der KI-Verordnung, mit strengen Anforderungen an Aufsicht, Protokollierung und Transparenz. Zudem verbietet die DSGVO eine Entscheidung, die ausschließlich auf automatisierter Verarbeitung beruht und die Person erheblich beeinträchtigt.
Was lehrt uns SyRI noch heute?
Dass ein System, das Menschen bewertet, nachvollziehbar und anfechtbar sein muss. Das Gericht in Den Haag entschied 2020, die SyRI-Gesetzgebung verstoße gegen Artikel 8 EMRK, unter anderem weil unklar blieb, wie sie wirkte und wen sie traf.
Darf KI bei der Betrugserkennung helfen?
Risikoprofilierung durch eine Behörde berührt Grundrechte und ist rechtlich heikel. Wenn Sie es tun, ist es Hochrisiko-KI, mit Folgenabschätzung, Registrierung, Protokollierung und menschlicher Prüfung jedes Hinweises. Beginnen Sie lieber mit unterstützenden Anwendungen.
Welche Anwendungen sind vertretbar?
Solche, bei denen KI nicht über Menschen urteilt: Akten zusammenfassen, Regelungen durchsuchen, Bescheide verständlicher machen und Vermerke erstellen, die die Fachkraft prüft. Halten Sie die Daten dabei in Ihrer eigenen Umgebung.
Quellen
- Rechtbank Den Haag, 5. Februar 2020 (SyRI), ECLI:NL:RBDHA:2020:865
- KI-Verordnung — Verordnung (EU) 2024/1689, Anhang III sowie Artikel 26 und 27
Dieser Beitrag ist eine allgemeine Information, keine Rechtsberatung. Regeln und Leitlinien ändern sich; prüfen Sie im Zweifel die genannten Quellen oder fragen Sie Ihre Rechtsabteilung oder Ihren Datenschutzbeauftragten.