Hardware für einen eigenen KI-Server: GPUs, Speicher und Modellgröße
Kurz gesagt
Der GPU-Speicher bestimmt, welches Sprachmodell Sie betreiben können. Als Faustregel braucht jede Milliarde Parameter etwa 2 GB bei 16 Bit, 1 GB bei 8 Bit und ein halbes GB bei 4 Bit, plus Platz für laufende Unterhaltungen. Ein Modell mit 70 Milliarden Parametern passt damit auf zwei Rechenzentrums-GPUs mit je 48 GB. Planen Sie außerdem Rack, USV, Kühlung und mehrere Kilowatt Strom ein.
GPU-Speicher ist der begrenzende Faktor
Ein Sprachmodell wird im Betrieb vollständig in den Speicher der GPU geladen. Wie viel Platz das braucht, hängt von der Zahl der Parameter und der Genauigkeit ab, mit der sie gespeichert sind:
| Modell | 16 Bit | 8 Bit | 4 Bit |
|---|---|---|---|
| 8 Milliarden Parameter | ca. 16 GB | ca. 8 GB | ca. 5 GB |
| 32 Milliarden Parameter | ca. 64 GB | ca. 32 GB | ca. 18 GB |
| 70 Milliarden Parameter | ca. 140 GB | ca. 70 GB | ca. 40 GB |
Weniger Bits (Quantisierung) sparen viel Speicher, bei einem begrenzten Qualitätsverlust, der je nach Modell und Aufgabe variiert. Welches Modell zu welcher Aufgabe passt, lesen Sie in Open-Weight-Modelle vergleichen.
Wie viele Nutzer schafft ein Server?
Neben dem Modell selbst braucht es Speicher für die gerade laufenden Unterhaltungen: den Kontext jeder Frage, einschließlich angehängter Dokumente. Je länger die Dokumente und je mehr Menschen gleichzeitig arbeiten, desto mehr Speicher.
Moderne Inferenz-Software wie vLLM verarbeitet Anfragen vieler Nutzer gleichzeitig in Batches. So kann ein Server Hunderte Mitarbeitende bedienen, denn nicht alle fragen im selben Moment. Entscheidend ist die Spitze, etwa der Morgen, an dem eine ganze Abteilung Akten zusammenfassen lässt.
Was er vom Serverraum verlangt
- Rackplatz: ein GPU-Server ist meist ein 19-Zoll-Server mit zwei bis vier Höheneinheiten.
- Strom: rechnen Sie unter Last mit mehreren Kilowatt, auf einem eigenen Stromkreis und hinter einer USV.
- Kühlung: dieser Strom wird zu Wärme. Ein Serverschrank in einem Büro ohne Klimatisierung ist dafür nicht ausgelegt.
- Lärm: GPU-Server sind laut; sie gehören nicht neben einen Arbeitsplatz.
- Netzwerk: ein abgeschottetes Segment und nur die ausgehenden Verbindungen, die für Verwaltung und Updates nötig sind.
Fehlt dieser Raum, kann der Node in einem abgeschlossenen Rack in einem Rechenzentrum stehen, weiterhin nur für Sie. Siehe Einen eigenen LLM-Server on-premises betreiben.
Wie werqly die Hardware wählt
werqly liefert den Node als Ganzes: GPU-Server, Modelle, Software und werqly AI Control, dimensioniert nach Zahl der Mitarbeitenden und Art der Arbeit. Sie müssen weder GPUs auswählen noch Modelle installieren. Was die Hardwarewahl für die Kosten bedeutet, lesen Sie in Was kostet Private AI? Siehe auch Was ist Private AI?
Häufige Fragen
Fragen zu diesem Thema
Wie viel GPU-Speicher braucht ein 70B-Modell?
Etwa 140 GB bei 16 Bit, 70 GB bei 8 Bit und rund 40 GB bei 4 Bit, plus zusätzlichen Speicher für die gleichzeitig laufenden Unterhaltungen. In der Praxis läuft ein quantisiertes 70B-Modell auf zwei Rechenzentrums-GPUs mit je 48 GB.
Kann ein eigener KI-Server auf einem normalen Büro-PC laufen?
Kleine Modelle ja, für einen einzelnen Nutzer. Für eine Organisation mit Dutzenden oder Hunderten Nutzern, größeren Modellen und langen Dokumenten braucht es einen Rechenzentrums-GPU-Server mit passender Stromversorgung, Kühlung und Sicherheit.
Wie viel Strom verbraucht ein KI-Server?
Ein Server mit mehreren Rechenzentrums-GPUs braucht unter Last mehrere Kilowatt. Diese Energie wird als Wärme frei, daher gehören Kühlung und ein eigener Stromkreis mit USV in die Planung.
Was, wenn wir keinen geeigneten Serverraum haben?
Dann kann der Node in einem abgeschlossenen Rack in einem Rechenzentrum stehen. Er bleibt Ihrer Organisation vorbehalten: keine geteilte Umgebung und kein externer KI-Anbieter, der den Text erhält.
Quellen
Dieser Beitrag ist eine allgemeine Information, keine Rechtsberatung. Regeln und Leitlinien ändern sich; prüfen Sie im Zweifel die genannten Quellen oder fragen Sie Ihre Rechtsabteilung oder Ihren Datenschutzbeauftragten.