KI im Betrieb überwachen: was eine Kommune misst, aufbewahrt und jährlich neu bewertet
Kurz gesagt
Eine KI-Anwendung verändert sich nach der Einführung: Die Nutzung verschiebt sich, Quellen veralten, ein neues Modell wird verfügbar. Die KI-Verordnung verlangt von Betreibern von Hochrisiko-Systemen, den Betrieb zu überwachen, Vorfälle zu melden und Protokolle mindestens sechs Monate aufzubewahren. Für jede Anwendung, auch ohne Hochrisiko, ist derselbe Ansatz sinnvoll: eine Handvoll Kennzahlen pro Monat, eine Meldestelle für Fehler, Stichproben der Ausgaben und eine jährliche Neubewertung.
Was die KI-Verordnung verlangt
Artikel 26 legt Betreibern von Hochrisiko-KI Pflichten auf: Nutzung nach den Anweisungen des Anbieters, menschliche Aufsicht durch kompetente Personen, Überwachung des Betriebs, Information von Anbieter und Aufsicht bei Risiken und Vorfällen, und Aufbewahrung der automatisch erzeugten Protokolle für mindestens sechs Monate. Für Anwendungen außerhalb des Hochrisikos ist das nicht Pflicht, aber es ist das, was Aufsicht, Rechnungsprüfung und Rat erwarten, wenn etwas schiefgeht. Siehe DSFA und Grundrechte-Folgenabschätzung für die Prüfung vorab; dieser Artikel behandelt das Danach.
Was Sie messen
| Kennzahl | Was sie sagt | Quelle |
|---|---|---|
| Nutzung pro Rolle | Wer nutzt es wofür; Verschiebungen deuten auf neue, nicht geprüfte Nutzung | Audit-Log |
| Korrekturquote | Wie oft Mitarbeitende die Ausgabe vor der Nutzung ändern | Stichprobe oder Bestätigungsschritt |
| Quellenangabe | Anteil der Antworten mit gültiger Quelle; ein Rückgang bedeutet veraltete Quellen | Automatische Prüfung |
| Meldungen | Zahl und Art gemeldeter Fehler, Zeit bis zur Erledigung | Meldestelle |
| Ergebnisse pro Gruppe | Bei Anwendungen, die Bürger betreffen: Unterschiede zwischen Gruppen | Periodische Analyse |
| Verfügbarkeit | Ausfälle und Antwortzeit | Betrieb |
Siehe Algorithmen auf Diskriminierung prüfen für die Ergebnisse pro Gruppe.
Die Routine
- Monatlich eine Übersicht der Kennzahlen an die Eigentümerin der Anwendung und die Datenschutzbeauftragte.
- Quartalsweise eine Stichprobe der Ausgaben, von Fachleuten gegen die Quelle geprüft.
- Bei jeder Änderung von Modell, Quelle oder Nutzung: eine kurze Nachprüfung und ein Vermerk im Register.
- Jährlich eine Neubewertung: Stimmt die Risikoeinstufung noch, reichen die Maßnahmen, wird die Anwendung noch gebraucht.
- Bei einem Vorfall ein fester Weg: melden, Ausgabe einfrieren, Ursache, Meldung an Anbieter und Aufsicht bei Hochrisiko, Rückmeldung an die Betroffenen.
Siehe Einen KI-Assistenten in der Kommune ausrollen für die Einführung, die dieser Routine vorausgeht.
Wie werqly dazu passt
werqly AI Control liefert das Audit-Log pro Rolle, Modell und Quelle, mit einer Aufbewahrungsfrist, die Sie selbst festlegen. Modellwechsel sind eine ausdrückliche Entscheidung der Kommune, kein stilles Update eines Anbieters, sodass jede Änderung ein Anlass zur Nachprüfung ist. Siehe KI für Kommunen.
Häufige Fragen
Fragen zu diesem Thema
Wie lange müssen KI-Protokolle aufbewahrt werden?
Für Hochrisiko-KI mindestens sechs Monate nach Artikel 26 der KI-Verordnung, sofern kein anderes Gesetz länger vorschreibt. Für andere Anwendungen legen Sie es selbst fest, im Einklang mit Archivrecht und DSGVO; in der Praxis ist ein Jahr ein brauchbarer Ausgangspunkt.
Was ist ein meldepflichtiger Vorfall?
Bei Hochrisiko-KI: eine Fehlfunktion oder ein Ereignis, das zu Schäden an Gesundheit, Sicherheit oder Grundrechten führt. Für jede Anwendung ist intern eine niedrigere Schwelle sinnvoll: Jeder Fehler, der eine Bürgerin oder einen Bürger betroffen hat, wird erfasst und zurückgemeldet.
Wer ist Eigentümer der Überwachung?
Die Eigentümerin der Anwendung im Fachamt, mit Datenschutzbeauftragter und Informationssicherheitsbeauftragtem als Gegenleser. Nicht der Anbieter und nicht die IT allein: Das Fachamt weiß, was eine gute Ausgabe ist.
Was, wenn ein neues Modell verfügbar wird?
Als Änderung behandeln: an derselben Stichprobe wie das aktuelle Modell testen, Unterschiede festhalten, nachprüfen, und erst dann umstellen. Ein Anbieter, der Modelle still austauscht, macht das unmöglich.
Quellen
- Artificialintelligenceact.eu — Artikel 26: Pflichten der Betreiber
- Datenschutzkonferenz — Orientierungshilfe KI und Datenschutz (Mai 2024)
Dieser Beitrag ist eine allgemeine Information, keine Rechtsberatung. Regeln und Leitlinien ändern sich; prüfen Sie im Zweifel die genannten Quellen oder fragen Sie Ihre Rechtsabteilung oder Ihren Datenschutzbeauftragten.