Een eigen LLM-server on-premise: wat heeft u nodig?

De belangrijkste maat: GPU-geheugen

Een taalmodel moet in zijn geheel in het geheugen van de GPU passen om snel te zijn. De vuistregel: het aantal parameters maal het aantal bytes per parameter. Met kwantisatie slaat u de gewichten in minder bits op, met weinig kwaliteitsverlies bij grote modellen.

Dit is alleen het model zelf. Daarbovenop komt de KV-cache: het werkgeheugen per gesprek, dat groeit met de lengte van de tekst en het aantal gebruikers dat tegelijk bezig is. Een 70B-model in 4-bit draait op één GPU van 48 GB, maar dan met weinig ruimte voor lange documenten of veel gelijktijdige vragen.

Hoeveel gebruikers kan één server aan?

Niet elke medewerker stelt tegelijk een vraag. Wat telt, is het aantal gelijktijdige verzoeken en hoe lang de teksten zijn. Een medewerker die een contract van veertig pagina’s laat samenvatten, gebruikt veel meer geheugen dan iemand die een korte e-mail laat herschrijven.

Moderne inference-software verwerkt verzoeken in batches, zodat één GPU meerdere gebruikers tegelijk bedient. In de praktijk:

• Een pilot met een klein team kan op één datacenter-GPU met 48 GB draaien.
• Een organisatie van een paar honderd medewerkers, met pieken van tientallen gelijktijdige vragen en lange documenten, heeft meerdere GPU’s nodig in één server.
• Grotere organisaties schalen met meer GPU’s per server of met meerdere servers.

Test altijd met uw eigen werk: de lengte van uw documenten en het gebruikspatroon van uw teams bepalen de maat, niet het aantal medewerkers alleen.

Welke modellen kunt u draaien?

On-premise werkt met open-weight modellen, waarvan de gewichten gepubliceerd zijn: onder meer Llama (Meta), Mistral en Qwen (Alibaba). Let bij de keuze op drie dingen:

• De licentie. Niet elk open-weight model mag onbeperkt commercieel worden gebruikt. Lees de voorwaarden, zeker bij grote organisaties.
• De taal. Test de kwaliteit in het Nederlands, en in de talen van uw klanten, met uw eigen soort teksten.
• De taak. Een kleiner model is sneller en goedkoper voor classificeren en samenvatten; een groter model is beter in redeneren en schrijven. Veel organisaties draaien er meer dan één, per rol of taak.

Software, stroom en koeling

Inference-software. Voor één gebruiker op een werkstation volstaan tools als Ollama of llama.cpp. Voor een organisatie hebt u een server nodig die veel verzoeken tegelijk efficiënt afhandelt, zoals vLLM, met een API die uw applicaties kunnen aanroepen.

Stroom en koeling. Een datacenter-GPU verbruikt al snel 300 tot 400 watt onder belasting; een server met vier GPU’s komt samen met de rest van de hardware op enkele kilowatts. Controleer of uw serverruimte of rack de stroom, de koeling en het gewicht aankan. Veel kantoorserverruimtes zijn niet op GPU-servers ingericht.

Netwerk. De server hoort in een afgeschermd segment, bereikbaar voor uw gebruikers en applicaties, zonder uitgaande verbindingen die u niet zelf hebt toegestaan.

Het deel dat vaak wordt vergeten: beheer

Een model draaien is een weekend werk voor een handige engineer. Een verdedigbare AI-omgeving voor een hele organisatie is iets anders. Die vraagt:

• koppeling met uw identity provider en rechten per rol;
• safeguards die gevoelige patronen tegenhouden voordat ze een model bereiken;
• logging en een audit trail, met export naar uw SIEM;
• modelbeheer: nieuwe versies testen, uitrollen en terugdraaien;
• monitoring van gebruik, wachttijden en hardware;
• beleid over hoeveel inzicht de organisatie krijgt in het gebruik.

Dat is precies wat werqly levert: een dedicated AI-node in uw serverruimte met werqly AI Control als beheerconsole. Uw IT-afdeling beheert het zelf, of werqly doet het met werqly Pro beheer. Hebt u geen geschikte serverruimte, dan staat de node in een afgesloten rack in ons Europese datacenter, alleen voor u. Waarom organisaties die keuze maken, staat in Wat is private AI?