Le matériel d’un serveur d’IA interne : GPU, mémoire et taille de modèle
En bref
La mémoire GPU détermine quel modèle de langage vous pouvez faire tourner. En règle générale, chaque milliard de paramètres occupe environ 2 Go en 16 bits, 1 Go en 8 bits et un demi-Go en 4 bits, plus de la place pour les conversations en cours. Un modèle de 70 milliards de paramètres tient donc sur deux GPU de centre de données de 48 Go chacun. Prévoyez aussi une baie, un onduleur, du refroidissement et plusieurs kilowatts.
La mémoire GPU est le facteur limitant
Pendant son utilisation, un modèle de langage est entièrement chargé dans la mémoire du GPU. L’espace nécessaire dépend du nombre de paramètres et de la précision avec laquelle ils sont stockés :
| Modèle | 16 bits | 8 bits | 4 bits |
|---|---|---|---|
| 8 milliards de paramètres | env. 16 Go | env. 8 Go | env. 5 Go |
| 32 milliards de paramètres | env. 64 Go | env. 32 Go | env. 18 Go |
| 70 milliards de paramètres | env. 140 Go | env. 70 Go | env. 40 Go |
Moins de bits (quantification) économisent beaucoup de mémoire, avec une perte de qualité limitée qui varie selon le modèle et la tâche. Quel modèle pour quelle tâche : voir Comparer les modèles open-weight.
Combien d’utilisateurs par serveur ?
Outre le modèle lui-même, il faut de la mémoire pour les conversations en cours : le contexte de chaque question, documents joints compris. Plus les documents sont longs et plus les personnes travaillent en même temps, plus il en faut.
Les logiciels d’inférence modernes comme vLLM traitent en lots les requêtes de nombreux utilisateurs à la fois. Un serveur peut ainsi servir des centaines de salariés : tout le monde ne pose pas sa question au même moment. Ce qui compte, c’est le pic, par exemple le matin où tout un service fait résumer ses dossiers.
Ce qu’il exige de votre salle serveur
- Espace en baie : un serveur GPU est généralement un serveur 19 pouces de deux à quatre unités.
- Électricité : comptez plusieurs kilowatts en charge, sur un circuit dédié et derrière un onduleur.
- Refroidissement : cette puissance devient de la chaleur. Une armoire serveur dans un bureau non climatisé n’est pas prévue pour cela.
- Bruit : les serveurs GPU sont bruyants ; ils n’ont pas leur place à côté d’un poste de travail.
- Réseau : un segment cloisonné, et uniquement les connexions sortantes nécessaires à l’administration et aux mises à jour.
Sans cet espace, le nœud peut être installé dans une baie fermée en centre de données, toujours pour vous seul. Voir Un serveur LLM sur site.
Comment werqly choisit le matériel
werqly livre le nœud complet : serveur GPU, modèles, logiciels et werqly AI Control, dimensionnés selon le nombre de salariés et le type de travail. Vous n’avez ni GPU à choisir ni modèle à installer. Ce que le choix du matériel implique pour les coûts : voir Combien coûte l’IA privée ? Voir aussi Qu’est-ce que l’IA privée ?
Questions fréquentes
Questions sur ce sujet
Combien de mémoire GPU faut-il pour un modèle 70B ?
Environ 140 Go en 16 bits, 70 Go en 8 bits et autour de 40 Go en 4 bits, plus de la mémoire pour les conversations simultanées. En pratique, un modèle 70B quantifié tourne sur deux GPU de centre de données de 48 Go chacun.
Un serveur d’IA interne peut-il tourner sur un PC de bureau ?
Les petits modèles oui, pour un seul utilisateur. Pour une organisation de dizaines ou de centaines d’utilisateurs, avec des modèles plus grands et de longs documents, il faut un serveur GPU de centre de données, avec l’alimentation, le refroidissement et la sécurité adaptés.
Combien consomme un serveur d’IA ?
Un serveur équipé de plusieurs GPU de centre de données consomme plusieurs kilowatts en charge. Cette énergie est libérée sous forme de chaleur ; refroidissement et circuit dédié avec onduleur font donc partie du projet.
Et si nous n’avons pas de salle serveur adaptée ?
Le nœud peut alors être installé dans une baie fermée en centre de données. Il reste dédié à votre organisation : pas d’environnement partagé et aucun fournisseur d’IA externe qui reçoit le texte.
Sources
Cet article est une information générale, pas un conseil juridique. Les règles et les recommandations évoluent ; en cas de doute, consultez les sources citées ou votre juriste ou DPO.