Eine eigene KI-Umgebung aufbauen: vom ersten Prozess bis zum Betrieb
Kurz gesagt
Eine eigene KI-Umgebung hat vier Bausteine: einen Node, auf dem die Modelle laufen, Open-Weight-Modelle, die Sie besitzen, die eigenen Dokumente als Quelle und eine Schicht für Rollen, Quellen und Protokollierung. Der Aufbau läuft in acht Schritten, von einem konkreten Prozess und einer Dateninventur bis zum Pilot mit echten Nutzern und der Ausweitung danach. Die größten Entscheidungen: wo der Node steht und wer ihn betreibt. Fehlschläge kommen selten von der Technik, meist vom Start ohne Prozess und Eigentümerin.
Die vier Bausteine
| Baustein | Was es ist | Worauf es ankommt |
|---|---|---|
| Node | Ein Server mit GPUs, auf dem die Modelle laufen, im Serverraum oder als dedizierter Node im Rechenzentrum | Nur Ihrer, nie geteilt |
| Modelle | Open-Weight-Sprachmodelle als Dateien, die Sie besitzen und tauschen | Kein Anbieter in der Kette, kein Training mit Ihren Daten |
| Quellen | Ihre Dokumente, Verfahren und Systeme, so angebunden, dass das Modell daraus zitiert | Antworten mit Quellenangabe statt aus dem Gedächtnis des Modells |
| Kontrolle | Rollen pro Team, Quellen pro Rolle, Audit-Log, Modellverwaltung | Nachweisbarkeit für DSGVO, KI-Verordnung und Ihre Aufsicht |
Siehe Was ist private KI? für die Begriffe und KI auf den eigenen Dokumenten dazu, wie Quellen funktionieren.
Acht Schritte
- Einen Prozess wählen. Nicht „KI für alle“, sondern etwa Posteingang, Akten zusammenfassen oder die Wissensbasis für den Kundenkontakt. Mit Eigentümerin und messbarem Ziel.
- Daten inventarisieren. Welche Dokumente und Systeme gehören zu dem Prozess, wer darf sie sehen, und was ist daran sensibel.
- Standort des Nodes wählen. Eigener Serverraum, wenn Sie einen haben und betreiben; sonst ein dedizierter Node in einem europäischen Rechenzentrum. Siehe KI-Server-Hardware dazu, was ein Node ist.
- Betrieb wählen. Eigene IT, die den Node betreibt, oder ausgelagerter Betrieb mit einem Vertrag, der Meldefristen, Updates und Exit regelt.
- Modelle wählen. Ein großes Modell für Schreiben und Schlussfolgern, ein kleineres für Klassifizieren und Zusammenfassen. Vor der Wahl an eigenen Fragen testen.
- Quellen anbinden. Mit den Dokumenten des gewählten Prozesses beginnen. Zugriff pro Rolle von Tag eins; Rechte nachträglich einzuschränken ist schmerzhaft.
- Pilot fahren. Ein Team, echte Dokumente, vier bis sechs Wochen. Korrekturquote, Zeitgewinn und gemeldete Fehler messen.
- Auswerten und ausweiten. Risikobewertung überarbeiten, Ergebnisse festhalten und den nächsten Prozess angehen.
Die Entscheidungen, die den Unterschied machen
- Serverraum oder Rechenzentrum. Im eigenen Haus haben Sie alles in der Hand, auch bei Ausfall der Verbindung. Im Rechenzentrum sind Strom, Kühlung und physische Sicherheit geregelt, aber Sie verlangen ein abgeschlossenes Rack, das allein Ihnen gehört.
- Selbst betreiben oder betreiben lassen. Selbst betreiben braucht Leute, die GPUs, Modelle und Updates kennen. Betreiben lassen braucht einen Vertrag, der sagt, was der Betreiber sieht und wann er meldet.
- Eine Umgebung oder eine pro Abteilung. Eine Umgebung mit Rollen ist fast immer besser: ein Audit-Log, ein Betrieb, und die Quellen bleiben trotzdem getrennt.
- Wann das Modell wechseln. Wenn Sie es bestimmen, nicht der Anbieter. Jeder Wechsel ist eine Nachprüfung am eigenen Testset.
Häufige Fehler
- Mit der Hardware anfangen. Ein Server ohne Prozess wird ein Server ohne Nutzer.
- Alles auf einmal anbinden. Dann sieht der Assistent mehr, als die Mitarbeitenden sehen dürfen, und der Pilot ist vom ersten Tag an eine Datenpanne.
- Keine Alternative zu öffentlichen Werkzeugen. Solange die eigene Umgebung langsamer oder dümmer ist als ChatGPT, bleibt die Schattennutzung.
- Keine Messung. Ohne Korrekturquote und Zeitgewinn ist die Ausweitung ein Ratespiel.
Wie werqly dazu passt
werqly liefert die vier Bausteine als Ganzes: einen werqly Node in Ihrem Serverraum oder als dedizierten Node in der werqly Cloud, Open-Weight-Modelle, die Anbindung Ihrer Quellen und werqly AI Control für Rollen, Quellen und Audit-Log. Den Betrieb übernehmen Sie selbst oder überlassen ihn werqly. Die Einführung für einen ersten Prozess dauert Wochen, nicht Quartale. Berechnen Sie unten, wie die Konfiguration für Ihre Organisation aussieht.
Häufige Fragen
Fragen zu diesem Thema
Wie lange dauert der Aufbau einer eigenen KI-Umgebung?
Ein erster Prozess läuft meist wenige Wochen nach der Entscheidung für einen Node: Hardware aufstellen oder einen Node im Rechenzentrum aktivieren, Modelle laden, die Quellen des Prozesses anbinden und die Rollen einrichten. Der Pilot selbst dauert vier bis sechs Wochen.
Brauchen wir einen eigenen Serverraum?
Nein. Ohne Serverraum steht der Node in einem abgeschlossenen Rack in einem Rechenzentrum, nur für Ihre Organisation. Das ist etwas anderes als ein geteilter Cloud-Dienst: Hardware und Modelle gehören weiterhin Ihnen.
Welche Modelle laufen in einer eigenen Umgebung?
Open-Weight-Modelle wie Llama, Mistral und Qwen, in der Größe, die zu Ihrem Node und Ihren Aufgaben passt. Oft ein großes Modell fürs Schreiben und ein kleineres fürs Klassifizieren. Wählen Sie anhand eines Testsets mit eigenen Fragen.
Was kostet eine eigene KI-Umgebung?
Das hängt von der Zahl der Mitarbeitenden, der Wahl zwischen eigenem Serverraum und Rechenzentrum und davon ab, wer den Betrieb übernimmt. Der Rechner auf dieser Seite zeigt vier Konfigurationen für Ihre Organisation; verbindlich ist danach das Angebot.
Quellen
Dieser Beitrag ist eine allgemeine Information, keine Rechtsberatung. Regeln und Leitlinien ändern sich; prüfen Sie im Zweifel die genannten Quellen oder fragen Sie Ihre Rechtsabteilung oder Ihren Datenschutzbeauftragten.