Algorithmen auf Diskriminierung prüfen: Lehren für die Verwaltung
Kurz gesagt
Algorithmen diskriminieren selten absichtlich. Es geschieht über Daten, die mit Herkunft, Alter oder Wohnviertel zusammenhängen, und über Entscheidungen, die niemand festgehalten hat. Prüfen Sie daher vorab: welcher Zweck, welche Daten, welche Gruppen können betroffen sein und wie kontrollieren Sie die Ergebnisse. Die KI-Verordnung verlangt dafür bei Hochrisiko-KI eine Grundrechte-Folgenabschätzung.
Was schiefging
- Rotterdam (2021). Der Rechnungshof Rotterdam untersuchte das Risikomodell, das bestimmte, welche Sozialhilfebeziehenden erneut geprüft wurden. Ergebnis: Verantwortung schlecht geregelt, ethische Entscheidungen nicht nachvollziehbar und ein reales Risiko verzerrter Ergebnisse.
- SyRI (2020). Das Gericht in Den Haag entschied, dass die Gesetzgebung zum Risikosystem SyRI gegen Artikel 8 EMRK verstieß, auch weil unklar blieb, wie es funktionierte. Siehe KI im Sozialbereich.
Das gemeinsame Muster: Niemand hatte vorab festgelegt, welche Daten einfließen durften und wie Ergebnisse je Gruppe kontrolliert werden.
Wie Diskriminierung hineinkommt
| Mechanismus | Beispiel |
|---|---|
| Stellvertretermerkmale | Postleitzahl, Sprache oder Bildung hängen mit Herkunft zusammen |
| Verzerrte Historie | Das Modell lernt aus früheren Kontrollen, die bereits selektiv waren |
| Rückkopplung | Wer öfter kontrolliert wird, wird öfter gefunden und damit noch öfter kontrolliert |
| Sprache von Sprachmodellen | Eine Zusammenfassung oder Bewertung, die Schreibstil belohnt, benachteiligt weniger Sprachgewandte |
Eine praktische Prüfung
- Zweck und Erforderlichkeit. Was soll der Algorithmus leisten, und gibt es eine weniger eingreifende Alternative?
- Daten. Welche Merkmale fließen ein, und welche könnten als Stellvertreter für geschützte Merkmale wirken?
- Gruppen. Wer kann betroffen sein, und wie erkennen Sie, ob eine Gruppe häufiger ein nachteiliges Ergebnis erhält?
- Menschliche Prüfung. Wer prüft das Ergebnis, mit welcher Befugnis abzuweichen?
- Kontrolle im Nachhinein. Wie oft messen Sie Ergebnisse je Gruppe, und was geschieht bei Schieflagen?
- Transparenz. Veröffentlichen Sie wirkungsvolle Algorithmen in einem Register. Siehe Algorithmenregister.
Das niederländische Impact Assessment Mensenrechten en Algoritmes (IAMA) arbeitet diese Fragen aus und ist inzwischen an die Grundrechte-Folgenabschätzung der KI-Verordnung angepasst. Siehe Die KI-Verordnung 2026.
Was werqly dazu beiträgt
werqly macht einen Algorithmus nicht fair. Es liefert aber die Fakten, die Sie für die Prüfung und die spätere Kontrolle brauchen: welches Modell, welche Quellen, welche Rollen und je Nutzung, was verarbeitet wurde. Weil alles auf einem eigenen Node läuft, können Sie Ergebnisse auswerten, ohne Bürgerdaten mit Dritten zu teilen. Siehe KI für Kommunen und Verwaltung.
Häufige Fragen
Fragen zu diesem Thema
Wie prüft eine Behörde einen Algorithmus auf Diskriminierung?
Indem sie vorab Zweck, Daten und möglicherweise betroffene Gruppen festhält, prüft, welche Merkmale als Stellvertreter wirken können, eine menschliche Prüfung einrichtet und die Ergebnisse je Gruppe regelmäßig misst.
Was verlangt die KI-Verordnung?
Öffentliche Stellen, die Hochrisiko-KI einsetzen, müssen vorab eine Grundrechte-Folgenabschätzung durchführen (Artikel 27). Für Hochrisiko-Systeme gelten zudem Anforderungen an Datenqualität und die Vermeidung von Verzerrungen.
Was lehrte das Rotterdamer Sozialhilfe-Modell?
Der Rechnungshof Rotterdam stellte 2021 fest, dass die Verantwortung für das Risikomodell schlecht geregelt war, ethische Entscheidungen nicht nachvollziehbar waren und das Modell zu verzerrten Ergebnissen führen konnte.
Können auch Sprachmodelle diskriminieren?
Ja, etwa indem sie Schreibstil statt Inhalt belohnen oder Vorurteile aus ihren Trainingsdaten wiederholen. Lassen Sie Sprachmodelle daher nicht über Menschen urteilen und prüfen Sie auch Zusammenfassungen stichprobenartig auf verzerrte Darstellung.
Quellen
- Grundgesetz, Artikel 3 (Gleichheit vor dem Gesetz)
- Vereniging van Rekenkamers — Gekleurde technologie (Rechnungshof Rotterdam, 2021, niederländisch)
Dieser Beitrag ist eine allgemeine Information, keine Rechtsberatung. Regeln und Leitlinien ändern sich; prüfen Sie im Zweifel die genannten Quellen oder fragen Sie Ihre Rechtsabteilung oder Ihren Datenschutzbeauftragten.