Ein eigener LLM-Server on-premise: was brauchen Sie?
Kurz gesagt
Für einen eigenen LLM-Server brauchen Sie vor allem GPU-Speicher. Ein Modell mit 70 Milliarden Parametern passt mit 4-Bit-Quantisierung in etwa 40 bis 45 GB, also auf eine Rechenzentrums-GPU mit 48 GB, doch für Dutzende gleichzeitige Nutzer und lange Dokumente brauchen Sie mehrere GPUs. Dazu kommen Inferenz-Software, Strom und Kühlung für einige Kilowatt und der Betrieb: Zugriff, Protokollierung, Updates und Monitoring.
Die wichtigste Größe: GPU-Speicher
Ein Sprachmodell muss vollständig in den Speicher der GPU passen, um schnell zu sein. Die Faustregel: Anzahl der Parameter mal Bytes pro Parameter. Mit Quantisierung speichern Sie die Gewichte in weniger Bits, bei großen Modellen mit wenig Qualitätsverlust.
| Modell (Größe) | 16 Bit | 8 Bit | 4 Bit |
|---|---|---|---|
| 8 Milliarden Parameter | ca. 16 GB | ca. 8 GB | ca. 5 GB |
| 32 Milliarden Parameter | ca. 64 GB | ca. 32 GB | ca. 18 bis 20 GB |
| 70 Milliarden Parameter | ca. 140 GB | ca. 70 GB | ca. 40 bis 45 GB |
Das ist nur das Modell selbst. Hinzu kommt der KV-Cache: der Arbeitsspeicher pro Gespräch, der mit der Textlänge und der Zahl gleichzeitiger Nutzer wächst. Ein 70B-Modell in 4 Bit läuft auf einer GPU mit 48 GB, aber mit wenig Spielraum für lange Dokumente oder viele gleichzeitige Anfragen.
Wie viele Nutzer schafft ein Server?
Nicht alle Mitarbeitenden stellen gleichzeitig eine Frage. Entscheidend ist die Zahl gleichzeitiger Anfragen und die Länge der Texte. Wer einen Vertrag von vierzig Seiten zusammenfassen lässt, braucht viel mehr Speicher als jemand, der eine kurze E-Mail umformulieren lässt.
Moderne Inferenz-Software verarbeitet Anfragen in Batches, sodass eine GPU mehrere Nutzer gleichzeitig bedient. In der Praxis:
- Ein Pilot mit einem kleinen Team kann auf einer Rechenzentrums-GPU mit 48 GB laufen.
- Eine Organisation mit einigen hundert Mitarbeitenden, mit Spitzen von Dutzenden gleichzeitigen Fragen und langen Dokumenten, braucht mehrere GPUs in einem Server.
- Größere Organisationen skalieren mit mehr GPUs pro Server oder mit mehreren Servern.
Testen Sie immer mit Ihrer eigenen Arbeit: Die Länge Ihrer Dokumente und das Nutzungsmuster Ihrer Teams bestimmen die Größe, nicht allein die Zahl der Mitarbeitenden.
Welche Modelle können Sie betreiben?
On-premise arbeiten Sie mit Open-Weight-Modellen, deren Gewichte veröffentlicht sind: unter anderem Llama (Meta), Mistral und Qwen (Alibaba). Achten Sie bei der Auswahl auf drei Dinge:
- Die Lizenz. Nicht jedes Open-Weight-Modell darf unbegrenzt kommerziell genutzt werden. Lesen Sie die Bedingungen, gerade als große Organisation.
- Die Sprache. Testen Sie die Qualität auf Deutsch und in den Sprachen Ihrer Kunden, mit Ihren eigenen Textarten.
- Die Aufgabe. Ein kleineres Modell ist schneller und günstiger zum Klassifizieren und Zusammenfassen; ein größeres ist besser im Schlussfolgern und Schreiben. Viele Organisationen betreiben mehrere, pro Rolle oder Aufgabe.
Software, Strom und Kühlung
Inferenz-Software. Für einen Nutzer an einer Workstation reichen Werkzeuge wie Ollama oder llama.cpp. Für eine Organisation brauchen Sie einen Server, der viele Anfragen gleichzeitig effizient abarbeitet, etwa vLLM, mit einer API, die Ihre Anwendungen aufrufen können.
Strom und Kühlung. Eine Rechenzentrums-GPU zieht unter Last schnell 300 bis 400 Watt; ein Server mit vier GPUs kommt mit der übrigen Hardware auf einige Kilowatt. Prüfen Sie, ob Serverraum oder Rack Strom, Kühlung und Gewicht verkraften. Viele Büro-Serverräume sind nicht für GPU-Server ausgelegt.
Netzwerk. Der Server gehört in ein abgeschottetes Segment, erreichbar für Ihre Nutzer und Anwendungen, ohne ausgehende Verbindungen, die Sie nicht selbst freigegeben haben.
Der oft vergessene Teil: der Betrieb
Ein Modell zum Laufen zu bringen ist ein Wochenendprojekt für eine geschickte Engineerin. Eine vertretbare KI-Umgebung für eine ganze Organisation ist etwas anderes. Sie braucht:
- Anbindung an Ihren Identity Provider und Rechte pro Rolle;
- Safeguards, die sensible Muster aufhalten, bevor sie ein Modell erreichen;
- Protokollierung und Audit-Trail, mit Export in Ihr SIEM;
- Modellverwaltung: neue Versionen testen, ausrollen und zurückrollen;
- Monitoring von Nutzung, Wartezeiten und Hardware;
- eine Richtlinie, wie viel Einblick die Organisation in die Nutzung bekommt.
Genau das liefert werqly: einen dedizierten KI-Node in Ihrem Serverraum mit werqly AI Control als Verwaltungskonsole. Ihre IT-Abteilung betreibt ihn selbst, oder werqly übernimmt das mit werqly Pro-Betrieb. Haben Sie keinen geeigneten Serverraum, steht der Node in einem abgeschlossenen Rack in unserem europäischen Rechenzentrum, nur für Sie. Warum Organisationen diese Wahl treffen, steht in Was ist private KI?
Häufige Fragen
Fragen zu diesem Thema
Läuft ein 70B-Modell auf einer GPU?
Ja, mit 4-Bit-Quantisierung passt ein 70B-Modell in etwa 40 bis 45 GB, also auf eine Rechenzentrums-GPU mit 48 GB. Dann bleibt wenig Speicher für lange Dokumente und viele gleichzeitige Nutzer; für eine ganze Organisation sind mehrere GPUs üblich.
Ist Ollama für den Unternehmenseinsatz geeignet?
Für Experimente und Einzelnutzung ja. Für eine Organisation mit vielen gleichzeitigen Nutzern ist Inferenz-Software besser geeignet, die Anfragen effizient bündelt, etwa vLLM. Außerdem brauchen Sie Betrieb: Zugriff pro Rolle, Protokollierung und Updates.
Kann ich einen normalen Server mit einer Gaming-GPU nutzen?
Für einen Test ja. Für den Produktivbetrieb sind Rechenzentrums-GPUs üblich: mehr Speicher, gebaut für Dauerbetrieb im Rack und von Serverherstellern unterstützt. Prüfen Sie auch die Lizenzbedingungen für Consumer-Karten im Rechenzentrum.
Wie viel Strom verbraucht ein KI-Server?
Eine Rechenzentrums-GPU verbraucht unter Last etwa 300 bis 400 Watt. Ein Server mit vier GPUs kommt einschließlich Prozessoren, Speicher und Kühlung auf einige Kilowatt. Prüfen Sie vorab, ob Ihr Serverraum diesen Strom und diese Kühlung liefern kann.
Quellen
- Hugging Face — Llama 3.3 70B Instruct (Modellkarte)
- vLLM — Dokumentation
- NVIDIA — L40S Datenblatt
- InsiderLLM — Running 70B models locally: VRAM by quantization
Dieser Beitrag ist eine allgemeine Information, keine Rechtsberatung. Regeln und Leitlinien ändern sich; prüfen Sie im Zweifel die genannten Quellen oder fragen Sie Ihre Rechtsabteilung oder Ihren Datenschutzbeauftragten.