Was ist private KI? Bedeutung, Formen und wann Sie sie brauchen

Private KI in einem Satz

Bei einem KI-Dienst wie ChatGPT, Gemini oder Claude geht Ihre Frage an die Server des Anbieters. Dort läuft das Modell, dort wird Ihr Text verarbeitet, und dort gelten die Bedingungen des Anbieters. Bei privater KI läuft das Modell auf Hardware, die Ihnen gehört oder ausschließlich für Sie reserviert ist. Die Verarbeitung findet innerhalb Ihrer eigenen Sicherheitsgrenzen statt.

Das klingt technisch, verändert aber drei Dinge, die für CISO und Datenschutzbeauftragte entscheidend sind:

• Wo die Daten sind. Nicht bei einem Dritten, sondern auf Ihrem eigenen Node.
• Wer Zugriff bekommen kann. Nur, wem Sie Zugriff geben. Es gibt keinen Anbieter, der zur Herausgabe gezwungen werden kann, weil der Anbieter die Daten nie hatte.
• Wer die Regeln bestimmt. Ihre IT-Abteilung entscheidet, welche Modelle verfügbar sind, welche Daten blockiert werden und wie lange Protokolle aufbewahrt werden. Nicht die Produktbedingungen eines anderen.

Welche Formen privater KI gibt es?

Der Begriff wird breit verwendet, auch von Anbietern, die etwas anderes damit meinen. Es hilft, vier Formen zu unterscheiden, von am meisten zu am wenigsten eigen:

Nur die ersten beiden sind private KI im strengen Sinn: Modell und Daten liegen auf Hardware, die niemand sonst nutzt. Ein Private-Cloud-Tenant oder ein Business-Abonnement bietet bessere Bedingungen als ein kostenloser Chatbot, aber die Verarbeitung findet weiterhin bei einem Dritten statt. Für Organisationen, die sich mit dem CLOUD Act, Berufsgeheimnissen oder Branchenregeln wie § 393 SGB V und DORA beschäftigen, ist genau das der entscheidende Unterschied. Mehr dazu in Microsoft 365 Copilot oder eigene KI-Umgebung?

Welche Modelle laufen auf privater KI?

Private KI arbeitet mit Open-Weight-Modellen: Sprachmodellen, deren Gewichte die Hersteller veröffentlichen, sodass Sie sie auf eigener Hardware betreiben können. Bekannte Familien sind Llama (Meta), Mistral (vom französischen Unternehmen Mistral AI) und Qwen (Alibaba). Die geschlossenen Modelle hinter ChatGPT, Gemini und Claude lassen sich nicht selbst hosten; es gibt sie nur beim Anbieter.

Für die meisten geschäftlichen Aufgaben sind die größeren Open-Weight-Modelle gut genug: zusammenfassen, umformulieren, Fragen zu eigenen Dokumenten beantworten, E-Mails entwerfen, Daten aus Texten extrahieren. Wo der Abstand zu den besten geschlossenen Modellen am größten ist, bei komplexem Schlussfolgern und langen Programmieraufgaben, tauschen Sie etwas Leistung gegen Kontrolle. Das ist eine bewusste Abwägung, kein versteckter Nachteil.

Was technisch nötig ist, um ein solches Modell zu betreiben, vom GPU-Speicher bis zum Betrieb, steht in Ein eigener LLM-Server on-premise: was brauchen Sie?

Wann ist private KI die richtige Wahl?

Private KI kostet mehr als ein KI-Abonnement pro Nutzer. Sie bezahlen für eigene Hardware und für Kontrolle. Sie ist deshalb nicht für jeden die richtige Wahl. Am besten passt sie, wenn einer oder mehrere dieser Punkte zutreffen:

• Sie verarbeiten besondere oder vertrauliche Daten. Patientenakten, Mandatsunterlagen unter Berufsgeheimnis, Finanzdaten von Kunden, personenbezogene Daten von Bürgerinnen und Bürgern.
• Ihre Branche stellt Anforderungen an Auslagerung. Etwa § 393 SGB V im Gesundheitswesen, die Verschwiegenheitspflicht von Anwältinnen und Anwälten oder DORA für Finanzunternehmen.
• Mitarbeitende nutzen KI bereits, außerhalb Ihres Blickfelds. Dann ist die Frage nicht, ob KI genutzt wird, sondern wo. Siehe Schatten-KI.
• Sie wollen nicht von einem einzigen Anbieter abhängig sein. Preise, Bedingungen und Verfügbarkeit eines KI-Dienstes können sich ändern. Eine eigene Umgebung mit Open-Weight-Modellen bleibt Ihre.
• Sie müssen nachweisen können, was mit Daten geschieht. Prüfer, Aufsicht oder Kunden fragen nicht, ob Sie eine Richtlinie haben, sondern was nachweislich passiert ist. Mit eigener Protokollierung können Sie es zeigen.

Trifft keiner dieser Punkte zu, reicht oft ein Business-Abonnement mit guten Vereinbarungen, und es ist günstiger.

Was muss neben dem Modell geregelt sein?

Ein Modell auf einen Server zu bringen ist der einfache Teil. Was private KI nutzbar und vertretbar macht, ist das Drumherum:

• Zugriff nach Rolle, verbunden mit Ihrem Identity Provider, sodass die Finanzabteilung ein anderes Modell und andere Rechte bekommt als der Service Desk.
• Safeguards, die Muster wie Steuer-IDs, IBANs oder Quellcode aufhalten, bevor sie ein Modell erreichen.
• Protokollierung und Audit-Trail: wer, welches Modell, wann, mit einer Aufbewahrungsfrist, die Sie selbst festlegen, und Export in Ihr SIEM.
• Eine Richtlinie zur Einsicht: Wie viel sieht die Organisation von dem, was Mitarbeitende fragen? Anonym, pro Abteilung oder pro Person? Das ist eine Entscheidung für Geschäftsleitung, Datenschutzbeauftragte und Betriebsrat, keine Standardeinstellung eines Anbieters.
• Updates und Modellverwaltung: neue Modellversionen testen und ausrollen, ohne dass etwas nach außen geht.

werqly liefert das als Ganzes: einen dedizierten KI-Node in Ihrem Serverraum (oder, wenn Sie keinen haben, in einem abgeschlossenen Rack in unserem europäischen Rechenzentrum) mit werqly AI Control als Verwaltungskonsole. Ihre IT-Abteilung betreibt ihn selbst oder überlässt das werqly. Wie das in der Praxis funktioniert, steht auf der Seite zu AI Control.