Hardware voor een eigen AI-server: GPU’s, geheugen en modelgrootte
Kort antwoord
Het GPU-geheugen bepaalt welk taalmodel u kunt draaien. Als vuistregel kost elk miljard parameters ongeveer 2 GB bij 16-bit, 1 GB bij 8-bit en een halve GB bij 4-bit, plus ruimte voor lopende gesprekken. Een model van 70 miljard parameters past daardoor op twee datacenter-GPU’s met elk 48 GB. Reken daarnaast op een rack, een UPS, koeling en enkele kilowatts stroom.
GPU-geheugen is de beperkende factor
Een taalmodel wordt tijdens gebruik volledig in het geheugen van de GPU geladen. Hoeveel ruimte dat kost, hangt af van het aantal parameters en de precisie waarmee ze zijn opgeslagen:
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 8 miljard parameters | ca. 16 GB | ca. 8 GB | ca. 5 GB |
| 32 miljard parameters | ca. 64 GB | ca. 32 GB | ca. 18 GB |
| 70 miljard parameters | ca. 140 GB | ca. 70 GB | ca. 40 GB |
Minder bits (kwantisatie) scheelt veel geheugen, met een beperkt kwaliteitsverlies dat per model en taak verschilt. Welk model past bij welke taak, leest u in Open-weight modellen vergelijken.
Hoeveel gebruikers kan één server aan?
Naast het model zelf is geheugen nodig voor de gesprekken die op dat moment lopen: de context van elke vraag, inclusief meegestuurde documenten. Hoe langer de documenten en hoe meer mensen tegelijk werken, hoe meer geheugen dat vraagt.
Moderne inference-software zoals vLLM verwerkt verzoeken van veel gebruikers tegelijk in batches. Daardoor kan één server honderden medewerkers bedienen: niet iedereen stelt op hetzelfde moment een vraag. Bepalend is de piek, bijvoorbeeld de ochtend waarop een hele afdeling dossiers laat samenvatten.
Wat het van uw serverruimte vraagt
- Rackruimte: een GPU-server is meestal een 19-inch server van twee tot vier hoogte-eenheden.
- Stroom: reken op enkele kilowatts onder belasting, op een eigen groep en achter een UPS.
- Koeling: die stroom wordt warmte. Een serverkast in een kantoorruimte zonder klimaatbeheersing is daar niet op berekend.
- Geluid: GPU-servers zijn luid; ze horen niet naast een werkplek.
- Netwerk: een afgeschermd segment, en alleen de uitgaande verbindingen die nodig zijn voor beheer en updates.
Is die ruimte er niet, dan kan de node in een afgesloten rack in een datacenter staan, nog steeds alleen van u. Zie Een eigen LLM-server on-premise.
Hoe werqly de hardware kiest
werqly levert de node als geheel: GPU-server, modellen, software en werqly AI Control, gedimensioneerd op het aantal medewerkers en het soort werk. U hoeft zelf geen GPU’s te kiezen of modellen te installeren. Wat de keuze voor hardware betekent voor de kosten, leest u in Wat kost private AI? Zie ook Wat is private AI?
Veelgestelde vragen
Vragen over dit onderwerp
Hoeveel GPU-geheugen heeft een 70B-model nodig?
Ongeveer 140 GB bij 16-bit precisie, 70 GB bij 8-bit en rond de 40 GB bij 4-bit, plus extra geheugen voor de gesprekken die tegelijk lopen. In de praktijk draait een 70B-model gekwantiseerd op twee datacenter-GPU’s met elk 48 GB.
Kan een eigen AI-server op een gewone kantoor-pc draaien?
Kleine modellen wel, voor één gebruiker. Voor een organisatie met tientallen of honderden gebruikers, grotere modellen en lange documenten is een datacenter-GPU-server nodig, met passende stroom, koeling en beveiliging.
Hoeveel stroom verbruikt een AI-server?
Een server met meerdere datacenter-GPU’s verbruikt onder belasting enkele kilowatts. Die energie komt vrij als warmte, dus koeling en een eigen stroomgroep met UPS horen bij de planning.
Wat als we geen geschikte serverruimte hebben?
Dan kan de node in een afgesloten rack in een datacenter staan. Hij blijft dedicated voor uw organisatie: geen gedeelde omgeving en geen externe AI-leverancier die de tekst ontvangt.
Bronnen
Dit artikel is algemene informatie, geen juridisch advies. Regels en richtsnoeren veranderen; controleer bij twijfel de genoemde bronnen of vraag uw jurist of FG.