Comment exécuter une IA en local : configurations, modèles et combinaisons qui fonctionnent
Benjamin Spinola, Fondateur
Publié le Mis à jour le 34 minutes de lecture
L'intelligence artificielle (IA) ne fonctionne pas nécessairement sur les serveurs d'un prestataire : des modèles ouverts peuvent être téléchargés et exécutés sur un ordinateur qui vous appartient. Ce guide explique comment exécuter une IA en local, en l'état d'octobre 2026 : ce qu'implique l'exécution d'un modèle et ce qui doit fonctionner, trois configurations matérielles, les modèles ouverts classés par taille et ceux qui fonctionnent bien sur chaque machine, puis les premières étapes, l'évaluation des résultats et les coûts. La page consacrée à l'IA locale explique ce qu'est l'IA locale et dans quels cas son coût se justifie.
Inférence et entraînement : ce que signifie exécuter une IA en local
Inférence : utiliser un modèle achevé pour obtenir des réponses
Un modèle de langage est un volumineux fichier de nombres, appelés paramètres ou poids, que son concepteur a calculés à l'avance à partir d'une immense quantité de texte. L'utilisation de ce fichier achevé pour répondre à une requête s'appelle l'inférence, et c'est presque toujours ce que désigne l'exécution d'une IA en local.
L'inférence comporte deux phases, toutes deux mesurées en tokens par seconde, un token étant un mot ou une partie de mot. La lecture de l'entrée, appelée traitement du prompt, dépend principalement de la puissance de calcul. La rédaction de la réponse, appelée génération, dépend principalement de la vitesse à laquelle la machine transfère les poids de la mémoire vers le processeur, ce que l'on appelle la bande passante mémoire.
Entraînement et affinage : modifier les connaissances d'un modèle
L'entraînement calcule les poids au départ et exige une quantité de calcul bien plus considérable : Meta indique 1,46 million d'heures sur des cartes graphiques H100 pour Llama 3.1 8B, soit environ 167 ans sur une seule carte (selon notre calcul). L'affinage ajuste un modèle existant à l'aide de vos propres exemples, afin qu'il respecte plus fidèlement un format, un style ou une tâche.
Modifier chaque poids nécessite au moins 16 octets de mémoire par paramètre pour les poids et les valeurs que l'entraînement conserve pour chacun d'eux, selon l'article ZeRO publié par Microsoft en 2019 sur l'entraînement des grands modèles, soit environ 128 gigaoctets (Go) pour 8 milliards de paramètres, avant même les données de travail de l'entraînement. C'est pourquoi une machine seule n'entraîne généralement qu'un petit module complémentaire, appelé adaptation de rang faible (LoRA), souvent sur une copie du modèle compressée à 4 bits par poids, ce que l'on appelle l'adaptation de rang faible quantifiée (QLoRA) ; pour 8 milliards de paramètres, l'outil d'affinage Unsloth indique 6 Go de mémoire graphique comme minimum pour QLoRA.
Ce qu'une machine locale peut faire et ne peut pas faire
- Une machine locale peut exécuter des modèles ouverts dont les fichiers et la mémoire de travail tiennent dans sa mémoire et dont son logiciel prend en charge le format, et elle peut affiner des modèles avec LoRA ou QLoRA.
- Elle ne peut pas entraîner un modèle performant à partir de zéro : le volume de calcul que Meta indique pour son plus grand modèle Llama 3 demanderait environ 1 200 ans, même à la performance maximale théorique du DGX Spark de NVIDIA, une machine de bureau décrite plus loin (selon notre calcul).
- Elle n'égale pas les meilleurs modèles hébergés sur toutes les tâches : sur BrowseComp, un test qui consiste à trouver sur le Web des informations difficiles à localiser, OpenAI indique 91,5 pour cent pour GPT-6 Astra, alors que les meilleurs modèles ouverts qui tiennent sur une seule machine ont obtenu 64 à 68 pour cent au classement Steel du 4 septembre 2026, comme l'expose notre comparatif avec ChatGPT.
Ce qui doit fonctionner
Une installation opérationnelle comporte trois couches : les fichiers du modèle, le programme qui les exécute et les applications par lesquelles les utilisateurs s'en servent. La plupart des problèmes surviennent aux jonctions entre ces couches ; vérifiez donc vos propres outils dès le début.
Les fichiers du modèle
Un modèle est distribué sous forme de fichiers contenant ses poids, téléchargés depuis Hugging Face, le principal site web public de modèles, ou depuis les catalogues d'Ollama et de LM Studio, généralement en plusieurs variantes qui stockent chaque poids sur un nombre de bits différent. Le stockage des poids sur moins de bits, appelé quantification, rend un modèle plus petit et plus rapide, mais peut réduire sa précision.
La taille d'une variante peut être estimée à l'avance : le nombre de paramètres en milliards, multiplié par le nombre de bits par poids et divisé par huit, donne des gigaoctets. Qwen3.8-27B, avec 27,78 milliards de paramètres, nécessite 55,6 Go en 16 bits, et ses variantes en 4 bits dépassent les 13,9 Go de la formule, car certaines parties restent en précision supérieure : le 26 octobre 2026, elles allaient de 14,3 Go chez Unsloth à 18 Go chez Ollama, et la variante d'Inferact au format NVFP4, le format 4 bits de NVIDIA, pesait 26,4 Go.
Ollama et LM Studio répertorient également des modèles cloud, qui s'exécutent sur les serveurs du prestataire ; le 26 octobre 2026, ils ne proposaient GLM-5.3-Flash et DeepSeek-V4.1-Flash que sous cette forme.
Le moteur d'inférence (Ollama, LM Studio, llama.cpp, vLLM)
Le moteur d'inférence charge le modèle, effectue le calcul et met à disposition une adresse pour les requêtes, généralement au format de l'interface de programmation d'applications (API) d'OpenAI, afin que les outils conçus pour OpenAI puissent utiliser un modèle local à la place.
- Ollama est le point de départ le plus simple : il s'installe comme application de bureau sous macOS et Windows ou par une seule commande sous Linux, et sa bibliothèque répertoriait 260 familles de modèles le 26 octobre 2026.
- LM Studio est une application de bureau qui estime les besoins en mémoire d'un modèle avant de le charger ; son utilisation professionnelle est gratuite depuis le 8 juillet 2025, mais son code source n'est pas ouvert.
- llama.cpp est le moteur à code source ouvert sur lequel reposent de nombreux outils de bureau, et son propre serveur, llama-server, traite plusieurs requêtes ensemble.
- vLLM met un modèle à la disposition de nombreux utilisateurs, surtout sur des cartes graphiques NVIDIA, et publie des paquets logiciels prêts à l'emploi, appelés conteneurs, pour les systèmes Grace Blackwell de NVIDIA, dont le DGX Spark, mais il demande davantage de configuration.
Le logiciel autour du modèle : mémoire, recherche sur le Web et outils
À lui seul, un modèle ne se souvient de rien d'une conversation à l'autre et ne peut ni effectuer de recherches ni agir. Ces fonctions proviennent du logiciel qui l'entoure.
- Des applications de chat telles qu'Open WebUI, AnythingLLM et Jan dotent les modèles locaux d'une fenêtre de discussion ; Open WebUI ajoute une mémoire d'une conversation à l'autre et la recherche dans les documents téléversés, alors que Jan annonçait la mémoire comme prochainement disponible le 26 octobre 2026.
- La recherche sur le Web n'est jamais locale, car la requête est envoyée à un service de recherche ; la recherche sur le Web d'Ollama, par exemple, est un service cloud qui exige un compte Ollama.
- Les outils permettent à un modèle de lire des fichiers, d'interroger des bases de données ou d'exécuter des programmes, généralement au moyen du Model Context Protocol (MCP). Les agents de programmation, des programmes avec lesquels un modèle planifie et exécute plusieurs étapes d'un travail de programmation, tels qu'OpenCode, Cline et Aider, se connectent à un modèle local par la même adresse compatible avec OpenAI que toute autre application.
Trois configurations pour exécuter une IA en local
Les trois configurations se distinguent avant tout par la mémoire, qui détermine quels modèles peuvent y tenir, et par la bande passante mémoire, qui détermine la vitesse à laquelle un modèle produit du texte.
Configuration 1 : un ordinateur courant
Un ordinateur courant est l'ordinateur portable ou de bureau que vous possédez déjà ; dans l'enquête Steam Hardware Survey de septembre 2026, la plupart des ordinateurs disposaient de 16 ou 32 Go de mémoire. Les Mac équipés d'une puce Apple silicon partagent une seule réserve de mémoire entre le processeur et la partie graphique, par exemple 16 à 32 Go à 153 gigaoctets par seconde (Go/s) dans un MacBook Air doté de la puce M5. Une carte graphique de bureau telle qu'une RTX 5060 Ti de 16 Go ou une RTX 5090 de 32 Go est bien plus rapide, mais uniquement pour les modèles qui tiennent dans sa propre mémoire.
Configuration 2 : une machine haut de gamme dédiée
Une machine haut de gamme dédiée est achetée pour l'IA et sert une ou plusieurs personnes. Les machines à mémoire partagée accueillent de grands modèles à une vitesse modérée : les machines équipées du Ryzen AI Max+ 395 d'AMD, comme le Framework Desktop, offrent jusqu'à 128 Go à 256 Go/s, et le Mac Studio doté de la puce M5 Ultra jusqu'à 512 Go à 1,2 téraoctet par seconde (To/s), bien que, le 26 octobre 2026, Apple ait annoncé l'option à 512 Go pour la fin octobre.
Les stations de travail graphiques disposent de moins de mémoire par carte, mais sont bien plus rapides : la RTX PRO 6000 Blackwell de NVIDIA dispose de 96 Go à 1 792 Go/s, et quatre de ses éditions Max-Q, limitées à une consommation électrique plus faible, tiennent dans une seule station de travail.
Configuration 3 : un NVIDIA DGX Spark
Le NVIDIA DGX Spark est un petit ordinateur de bureau construit autour de la puce GB10, qui associe un processeur Arm à 20 cœurs et un processeur graphique Blackwell à une mémoire partagée de 128 Go à 273 Go/s dans la version d'origine ; il fonctionne sous DGX OS, la version d'Ubuntu Linux de NVIDIA. Sept autres fabricants vendent des machines équipées de la même puce, six d'entre eux proposent une version à 64 Go depuis le 23 octobre 2026, et NVIDIA indique qu'une machine de 128 Go prend en charge des modèles comptant jusqu'à 200 milliards de paramètres.
Son point fort est la mémoire, et son point faible la bande passante : lors du test de LMSYS d'octobre 2025, réalisé avec Ollama, gpt-oss-20b a produit 49,7 tokens par seconde sur un DGX Spark et 205 sur une RTX 5090, tandis que llama.cpp a atteint 83,43 avec le même modèle sur le DGX Spark en février 2026 ; les chiffres obtenus avec des logiciels différents ne sont donc pas directement comparables. Il convient par conséquent aux modèles d'environ 65 à 100 Go, qu'aucune carte graphique grand public ne peut accueillir ; la section consacrée aux coûts explique comment en tester un avant de l'acheter.
Les trois configurations côte à côte
| Configuration | Mémoire | Bande passante mémoire | Prix | Consommation électrique | Utilisateurs servis simultanément |
|---|---|---|---|---|---|
| Configuration 1 : un ordinateur courant | La plupart disposent de 16 ou 32 Go de mémoire système et de 8 ou 16 Go sur la carte graphique. | Elle va de 153 Go/s sur un MacBook Air doté de la puce M5 à 1 792 Go/s sur une RTX 5090. | Un MacBook Air doté de la puce M5 est proposé à partir de 1 299 $US. Le 22 octobre 2026, le prix le plus bas relevé aux États-Unis pour une RTX 5060 Ti de 16 Go était de 789 $US, et en août 2026, le prix médian d'une RTX 5090 chez le revendeur Newegg était d'environ 4 700 $US. | NVIDIA indique une consommation de 180 watts (W) pour la RTX 5060 Ti et de 575 W pour la RTX 5090. | Elle convient à une seule personne ; nous n'avons trouvé aucune mesure portant sur plusieurs utilisateurs. |
| Configuration 2 : une machine haut de gamme dédiée | Les machines à mémoire partagée offrent jusqu'à 128 Go avec un Ryzen AI Max+ 395 ou une puce M5 Max, et 96, 256 ou 512 Go avec une puce M5 Ultra, tandis qu'une station de travail dispose de 96 Go par carte graphique. | Elle va de 256 Go/s sur un Ryzen AI Max+ 395 à 1 792 Go/s sur une RTX PRO 6000. | Un Framework Desktop doté de 128 Go est affiché à 3 449 $US, mais il est en rupture de stock ; un Mac Studio doté de la puce M5 Ultra et de 96 Go est proposé à partir de 5 499 $US, et une seule carte RTX PRO 6000 était affichée à 16 000 $US le 12 août 2026, alors qu'elle était en rupture de stock. | Signal65 a mesuré 196 W à la prise électrique pour le Ryzen AI Halo d'AMD, une petite machine de bureau équipée d'un processeur Ryzen AI Max+, lors de l'exécution de gpt-oss-120b ; Apple indique jusqu'à 480 W pour le Mac Studio, et NVIDIA jusqu'à 600 W pour la RTX PRO 6000, ou 300 W pour l'édition Max-Q. | Elle sert une personne ou une petite équipe, et une station de travail graphique sert davantage de personnes simultanément. |
| Configuration 3 : un NVIDIA DGX Spark | Il dispose de 128 Go, ou de 64 Go dans la version plus petite. | La version à 128 Go transfère 273 Go/s ; NVIDIA n'a pas indiqué la bande passante de la version à 64 Go. | La Founders Edition vendue par NVIDIA elle-même, dotée de 128 Go, a été signalée à 6 950 $US, la version à 64 Go est proposée à partir de 4 999 $US, et Dell affiche sa machine de 128 Go équipée de la même puce à 6 593 $US. | ServeTheHome a mesuré 60 à 90 W dans de nombreuses charges de travail de modèles de langage, et l'alimentation est dimensionnée pour 240 W. | vLLM le présente comme une cible pour un seul utilisateur ou quelques requêtes traitées ensemble, et a limité son propre test à quatre requêtes simultanées. |
Les modèles à poids ouverts par taille
Les modèles à poids ouverts sont des modèles dont les concepteurs publient les fichiers entraînés afin que chacun puisse les télécharger. Dans un modèle dense, chaque paramètre intervient sur chaque token ; dans un modèle à mélange d'experts, les paramètres sont répartis en groupes appelés experts, dont seuls quelques-uns interviennent sur chaque token, si bien que le modèle entier doit tenir en mémoire, mais produit du texte presque aussi vite qu'un modèle bien plus petit. Un nom tel que Qwen3.5-35B-A3B signifie 35 milliards de paramètres au total, dont 3 milliards sont actifs. Les tailles indiquées ci-dessous correspondent aux téléchargements en 4 bits proposés par Ollama, LM Studio ou Hugging Face, relevés le 26 octobre 2026.
Petits modèles (jusqu'à environ 10 milliards de paramètres)
Les petits modèles tiennent sur presque tous les ordinateurs actuels, mais constituent la catégorie la moins performante ; ils conviennent donc à des tâches courtes et bien définies, comme résumer, rédiger des premières versions, classer des textes et répondre à des questions sur des images.
- Gemma 4 E2B et E4B de Google (31 mars 2026) acceptent du texte, des images et de l'audio, et leurs téléchargements pèsent 4,6 et 6,6 Go.
- Qwen3.5-4B et Qwen3.5-9B (27 février 2026) pèsent 3,3 et 6,6 Go au téléchargement et couvrent 201 langues.
- Ministral 3 8B de Mistral AI (2 décembre 2025) pèse 6,0 Go au téléchargement, et Phi-4-mini de Microsoft pèse 2,5 Go.
- Nemotron 3.5 Bolt E4B de NVIDIA (23 octobre 2026) compte 8 milliards de paramètres, dont 4 milliards effectifs, et pèse 7,9 Go au téléchargement.
Modèles moyens (environ 12 à 40 milliards de paramètres)
Les modèles moyens sont les plus grands qui tiennent sur une carte graphique de 24 ou 32 Go, et leurs concepteurs les présentent comme adaptés à la programmation, aux tâches d'agent et aux documents plus longs.
- Qwen3.8-27B (14 août 2026) est un modèle dense que Qwen présente comme performant en programmation et dans les tâches d'agent ; il pèse 18 Go au téléchargement.
- Gemma 4 existe en version 12B avec entrée audio (8,0 Go), en version à mélange d'experts 26B A4B (18 Go) et en version dense 31B (20 Go).
- gpt-oss-20b d'OpenAI (5 août 2025) compte 3,6 milliards de paramètres actifs et est publié à 13,8 Go, de sorte qu'il fonctionne dans 16 Go de mémoire.
- Muse Glimmer-30B de Meta (août 2026) est conçu pour les agents de programmation sur une seule carte graphique grand public et pèse 18 Go au téléchargement.
Grands modèles à mélange d'experts (environ 80 à 250 milliards de paramètres)
Les grands modèles à mélange d'experts nécessitent environ 65 à 120 Go en 4 bits : les variantes allant jusqu'à environ 100 Go conviennent à une machine de 128 Go, celles allant jusqu'à environ 80 Go à une station de travail dotée d'une carte de 96 Go, et les variantes plus grandes nécessitent deux cartes. Avec 5 à 12 milliards de paramètres actifs, ils y produisent du texte à une vitesse exploitable.
- gpt-oss-120b d'OpenAI compte 117 milliards de paramètres, dont 5,1 milliards actifs, et pèse 65 Go au téléchargement.
- Mistral Small 4 (16 mars 2026) compte 119 milliards de paramètres malgré son nom ; ni la bibliothèque d'Ollama ni le catalogue de LM Studio ne le répertoriaient le 26 octobre 2026, et la variante d'Unsloth sur Hugging Face pèse 73,8 Go.
- Nemotron 3.5 Super VL de NVIDIA (15 octobre 2026, 120 milliards de paramètres) lit du texte, des images et de la vidéo, et sa variante NVFP4 pèse 75,0 Go.
- Qwen3.8-Flash-Next (août 2026) stocke 176 milliards de paramètres, dont 51 milliards forment une table de correspondance de séquences de mots, une table de plongement de n-grammes, qui peut être lue sur le disque au fur et à mesure des besoins. Unsloth indique 96 à 114 Go de mémoire pour ses variantes en 4 bits, mémoire système et mémoire graphique confondues, et 75 Go pour sa variante en 1 bit ; la variante NVFP4 de NVIDIA pèse 132,7 Go.
- Mistral Medium 3.5 (80 Go en 4 bits) est dense, de sorte que tous ses poids sont lus pour chaque token, et selon le calcul présenté dans la section suivante, un DGX Spark produit avec lui au plus environ 3,4 tokens par seconde.
Les plus grands modèles ouverts, et pourquoi ils ne tiennent pas sur une seule machine de bureau
Les plus grands modèles ouverts sont ceux qui se rapprochent le plus des meilleurs modèles hébergés : le 28 septembre 2026, Artificial Analysis a classé GLM-5.3-Flash au-dessus de GPT-6 Astra sur GDPval-AA, une évaluation de travaux professionnels finalisés (1 641 contre 1 542), mais en dessous sur son Intelligence Index, un score combinant de nombreux tests (42 contre 53), comme l'expose notre page consacrée aux performances des modèles d'IA. Aucun d'entre eux ne tient en 4 bits dans 128 Go, et les plus grands dépassent même les 512 Go du plus grand Mac Studio.
Chaque moyen de contourner cette limite a un coût : relier plusieurs machines multiplie le prix, les variantes de 1 à 3 bits par poids peuvent réduire la précision, et la lecture d'une partie du modèle sur le disque ralentit la première réponse, comme le montre notre mesure dans la section suivante.
- GLM-5.3-Flash de Z.ai (26 août 2026, 320 milliards de paramètres) pèse 156,8 Go dans sa plus petite variante en 4 bits ; les variantes d'Unsloth sur moins de bits, par exemple 108,7 Go en 2 bits, tiennent dans 128 Go, mais ne fonctionnent qu'avec le logiciel propre à Unsloth, car la modification de llama.cpp dont elles ont besoin a été close sans être fusionnée le 1er octobre 2026.
- DeepSeek-V4.1-Flash (10 septembre 2026, mis à jour le 17 octobre 2026 sous le nom DeepSeek-V4.1-Flash-1017) a des poids officiels de 510,3 Go ; Unsloth indique que sa variante en 1 bit de cette mise à jour fonctionne avec 128 à 145 Go de mémoire, mais uniquement parce qu'une grande table du modèle est lue sur le disque à semi-conducteurs.
- Muse Spark Open de Meta nécessite au moins 700 Go en 4 bits, selon Meta, et les poids officiels de Kimi K3 de Moonshot AI pèsent 1 560,9 Go.
Longueur de contexte : pourquoi les longs documents nécessitent davantage de mémoire
La fenêtre de contexte est la quantité de texte qu'un modèle prend en compte à la fois. Pour chaque token qu'elle contient, le modèle conserve une mémoire de travail, le cache clé-valeur, dont la taille par token est égale à 2 multiplié par le nombre de couches, le nombre de têtes clé-valeur, la taille de chaque tête et le nombre d'octets par nombre ; le fichier de configuration du modèle indique les trois valeurs du milieu. Selon notre calcul, Llama 3.1 8B nécessite 4,19 Go pour 32 000 tokens et 16,78 Go pour 128 000 tokens en 16 bits ; le second chiffre représente plus de trois fois la taille de son modèle en 4 bits, qui pèse 4,9 Go dans Ollama.
Le stockage du cache en 8 bits le réduit de moitié avec une très faible perte de précision, selon Ollama, dont la documentation fixe le contexte par défaut à seulement 4 000 tokens en dessous de 24 gibioctets (Gio, des unités légèrement plus grandes que les gigaoctets) de mémoire graphique et recommande au moins 64 000 tokens pour les agents et les outils de programmation.
Au-delà du chat : modèles de parole, d'image et d'indexation pour la recherche
- Pour la reconnaissance vocale, Whisper large-v3-turbo d'OpenAI (99 langues) est le choix établi, tandis que Cohere Transcribe (14 langues) affichait un taux moyen d'erreur sur les mots plus faible, c'est-à-dire une proportion plus faible de mots mal transcrits, sur l'Open ASR Leaderboard le 26 octobre 2026 : 5,42 contre 7,83 pour cent.
- Pour la génération d'images, FLUX.2 [klein] 4B de Black Forest Labs fonctionne avec environ 13 Go de mémoire graphique, et Z-Image-Turbo de Tongyi tient dans 16 Go.
- Pour la recherche dans vos propres documents, les modèles de plongement convertissent le texte en nombres qui en capturent le sens ; EmbeddingGemma 2 de Google (6 octobre 2026) pèse de 304 mégaoctets à 1,3 Go au téléchargement, selon sa taille.
Licences pour un usage commercial
Un modèle à poids ouverts n'est pas automatiquement libre de tout usage commercial ; les résumés ci-dessous sont abrégés et établis au 26 octobre 2026, et seul le texte de la licence fait foi.
- Les licences Apache 2.0 et MIT, qui autorisent l'usage commercial sous peu de conditions, couvrent Gemma 4, Qwen3.5, Qwen3.8-27B, gpt-oss, Mistral Small 4, GLM-5.3-Flash et DeepSeek-V4.1-Flash.
- La Qwen Community License de Qwen3.8-Flash-Next exige une licence distincte pour proposer le modèle en tant que service et pour les produits conçus principalement pour la programmation ou le travail de bureau assistés par l'IA, tandis que l'usage purement interne en est exempté.
- NVIDIA publie ses modèles Nemotron 3.5 sous l'OpenMDW License 1.1, qui autorise selon elle l'usage commercial, et sa variante NVFP4 de Qwen3.8-Flash-Next relève de la NVIDIA Open Model License ainsi que de la Qwen Community License, d'après la fiche du modèle consultée le 15 octobre 2026.
- Mistral Medium 3.5 n'accorde de droits commerciaux qu'aux entreprises dont le chiffre d'affaires mensuel ne dépasse pas 20 millions de dollars des États-Unis.
Quels modèles fonctionnent bien sur quelle machine
| Machine | Petits modèles, jusqu'à environ 10 milliards de paramètres | Modèles moyens, environ 12 à 40 milliards de paramètres | Grands modèles à mélange d'experts, environ 80 à 250 milliards de paramètres | Les plus grands modèles ouverts, environ 280 milliards de paramètres et plus |
|---|---|---|---|---|
| Un ordinateur portable doté de 16 Go de mémoire | Gemma 4 E4B et Qwen3.5-9B y tiennent et conviennent à la rédaction de premières versions, au résumé, à la traduction et aux questions sur des images. It's FOSS a mesuré environ 3 tokens par seconde pour un modèle de 8 milliards de paramètres sur un ordinateur portable plus ancien utilisant uniquement son processeur, et selon le calcul présenté sous le tableau, un MacBook Air doté de la puce M5 produit au plus environ 23 tokens par seconde avec un modèle de 6,6 Go, une limite approximative, car les parties consacrées aux images et à l'audio ne sont pas lues pour chaque token. | Gemma 4 12B y tient et traite des tâches de rédaction et d'image un peu plus difficiles, tandis que gpt-oss-20b est conçu pour 16 Go, mais laisse peu de place au système d'exploitation et aux documents. Les modèles de 27 à 31 milliards de paramètres n'y tiennent pas. | Ces modèles n'y tiennent pas, car même gpt-oss-120b nécessite 65 Go. | Ces modèles n'y tiennent pas : même la variante en 2 bits de GLM-5.3-Flash proposée par Unsloth pèse 108,7 Go. |
| Un ordinateur de bureau doté d'une carte graphique de 16 à 32 Go | Ces modèles fonctionnent rapidement : Llama 2 7B en 4 bits (environ 3,8 Go), le petit modèle de test des tableaux de résultats de llama.cpp, a produit environ 93 tokens par seconde sur une RTX 5060 Ti et environ 300 sur une RTX 5090. Les petits modèles actuels de 6,6 Go produisent du texte plus lentement, à peu près en proportion de leur taille, ce qui convient encore à un chat interactif. | Une carte de 16 Go accueille gpt-oss-20b, que le guide de llama.cpp a mesuré à 111,5 tokens par seconde sur une RTX 5060 Ti et à 282,5 sur une RTX 5090. Les modèles de 27 à 31 milliards de paramètres nécessitent 24 ou 32 Go, ou le placement d'une partie du modèle en mémoire système, ce qu'Unsloth décrit pour Qwen3.8-27B sur les cartes de 16 Go et qui le ralentit. | Ces modèles dépassent la mémoire de la carte, mais une partie d'un modèle peut rester en mémoire système : le guide de llama.cpp consacré à gpt-oss indique environ 30 tokens par seconde pour gpt-oss-120b sur une RTX 5090, avec une partie de ses experts en mémoire système, au début d'une conversation. | Ces modèles n'y tiennent pas. |
| Une machine dotée de 128 Go de mémoire partagée, comme un Mac Studio doté de la puce M5 Max ou une machine équipée du Ryzen AI Max+ 395 | Plusieurs petits modèles y tiennent côte à côte, par exemple pour le chat, la parole et la recherche documentaire. Le petit modèle de test a produit environ 54 tokens par seconde sur la partie graphique de la série Ryzen AI Max+ 300 et environ 120 sur une puce M5 Max. | Ces modèles y tiennent même en 16 bits, mais les modèles denses produisent du texte lentement : Signal65 a mesuré le modèle dense Qwen3.6-27B à 13 tokens par seconde sur le Ryzen AI Halo d'AMD, contre 63,6 pour le modèle à mélange d'experts Qwen3.6-35B-A3B, qui convient donc mieux au travail interactif. | gpt-oss-120b, Nemotron 3.5 Super VL et Mistral Small 4 y tiennent. Signal65 a mesuré gpt-oss-120b à 56,2 tokens par seconde sur le Ryzen AI Halo, qui lisait les prompts à 809 tokens par seconde, soit 0,45 fois le débit du DGX Spark dans le même test ; cela convient à la programmation et au travail documentaire pour une personne. Nous n'avons trouvé aucune vitesse publiée pour les deux autres. | GLM-5.3-Flash n'y tient que dans les variantes d'Unsloth inférieures à 4 bits, comme celle de 108,7 Go en 2 bits, qui ne fonctionnent qu'avec le logiciel propre à Unsloth, et Unsloth indique que sa variante en 1 bit de DeepSeek-V4.1-Flash-1017 fonctionne sur les machines de 128 Go lorsqu'une grande table est lue sur le disque. Les deux peuvent perdre en précision avec si peu de bits, et nous n'avons trouvé aucune vitesse publiée. |
| Une station de travail graphique dotée de 96 Go de mémoire vidéo ou plus | Ces modèles fonctionnent à peu près aussi vite que sur une RTX 5090 : le petit modèle de test a produit environ 281 tokens par seconde sur une RTX PRO 6000 Blackwell. | Ces modèles y tiennent même en 16 bits, et LMSYS a mesuré gpt-oss-20b à 215 tokens par seconde sur une RTX PRO 6000 Blackwell. | gpt-oss-120b tient sur une seule carte de 96 Go en laissant environ 30 Go disponibles pour le contexte, et a produit 170,62 tokens par seconde sur une RTX PRO 6000 Max-Q dans le guide de llama.cpp. Qwen3.8-Flash-Next ne tient pas en 4 bits sur une seule carte de 96 Go, car Unsloth indique 96 à 114 Go pour ces variantes ; il nécessite donc deux cartes. | Quatre cartes RTX PRO 6000 Max-Q totalisant 384 Go accueillent la variante en 4 bits de GLM-5.3-Flash proposée par NVIDIA (204,4 Go) et, d'après notre comparaison avec les 305 Go qu'Unsloth indique pour sa variante en 4 bits, DeepSeek-V4.1-Flash-1017 avec une grande table lue sur le disque ; nous n'avons trouvé aucune vitesse publiée. |
| Un NVIDIA DGX Spark doté de 128 Go de mémoire partagée | Ces modèles produisent du texte plus lentement que sur une carte graphique : le petit modèle de test a atteint environ 57 tokens par seconde, contre environ 93 sur une RTX 5060 Ti. Pour les seuls petits modèles, une carte graphique constitue le meilleur achat. | Ces modèles y tiennent même en 16 bits. Le projet llama.cpp a mesuré gpt-oss-20b à 83,43 tokens par seconde et Qwen3-Coder-30B-A3B à 61,06, une vitesse suffisante pour la programmation interactive, et Signal65 a mesuré le modèle dense Qwen3.6-27B à 11,9. | C'est la catégorie pour laquelle la machine est conçue : dans le test de performance de llama.cpp, gpt-oss-120b a produit 58,72 tokens par seconde et lu les prompts à 2 443,91 tokens par seconde, et lors du test de vLLM du 1er juin 2026, la variante NVFP4 de Nemotron 3 Super proposée par NVIDIA, le prédécesseur de Nemotron 3.5 Super VL, a produit 22,7 à 23,7 tokens par seconde. Lors de notre unique test sur une machine Lenovo équipée de la même puce, la variante NVFP4 de Qwen3.8-Flash-Next proposée par NVIDIA, dont une partie était lue sur le disque, a produit 16,5 tokens par seconde avec le raisonnement et la prédiction multi-tokens désactivés, et n'a lu le nouveau texte qu'à environ 100 tokens par seconde, comme le décrit la section placée sous le tableau. | Comme sur les autres machines de 128 Go, GLM-5.3-Flash et DeepSeek-V4.1-Flash-1017 n'y tiennent que dans les variantes d'Unsloth inférieures à 4 bits, avec les limites décrites pour ces machines. NVIDIA indique que deux machines reliées prennent en charge jusqu'à 400 milliards de paramètres, ce que nous n'avons pas mesuré. |
Comment nous avons établi le tableau
Chaque cellule indique si les variantes en 4 bits des modèles typiques tiennent en mémoire en laissant de la place pour le système d'exploitation et un document, et à quelle vitesse la combinaison a fonctionné lors d'une mesure publiée ou de notre propre mesure, d'après les sources consultées le 26 octobre 2026 et énumérées dans la note.
Lorsqu'une cellule donne une estimation, il s'agit d'un calcul signalé comme tel : un modèle lit ses poids actifs en mémoire une fois pour chaque token qu'il produit, de sorte que la bande passante mémoire divisée par leur taille constitue une limite supérieure de la vitesse de génération. Les chiffres mesurés dépendent du logiciel, des paramètres et de la longueur de la conversation : sur un DGX Spark, gpt-oss-120b a produit 58,72 tokens par seconde au début et 42,76 après 32 768 tokens dans le test de performance de llama.cpp, et 57,8 dans le test de Signal65.
Ce que nous avons mesuré nous-mêmes sur une machine GB10
Notre laboratoire exécute des modèles ouverts sur des machines de 128 Go équipées de la puce GB10 de NVIDIA, celle du DGX Spark, fabriquées par ASUS et Lenovo. Chaque chiffre ci-dessous provient d'une seule exécution datée.
- Le 12 octobre 2026, la variante NVFP4 de Qwen3.8-Flash-Next proposée par NVIDIA, mise à disposition avec vLLM 0.30.0 sur la machine Lenovo, a produit 16,5 tokens par seconde sur une réponse de 600 tokens, avec un premier token au bout de 1,19 seconde, lors d'un test unique où deux fonctions étaient désactivées : le raisonnement, par lequel le modèle rédige des étapes intermédiaires avant de répondre, et la prédiction multi-tokens, qui propose plusieurs tokens à la fois.
- Cette variante, qui pèse 132,7 Go, ne fonctionne sur une seule machine de 128 Go que parce que sa table de plongement de n-grammes est lue sur le disque au fur et à mesure des besoins. Le 14 octobre 2026, le texte que la machine n'avait pas encore lu a été traité à seulement environ 100 tokens par seconde, très probablement pour cette raison ; un prompt de 16 000 tokens a donc attendu 148 secondes avant le premier token, contre 7,3 secondes une fois le texte déjà lu.
- Lors de notre test d'IA en comptabilité, qui reprend une tâche de GDPval, l'ensemble de tâches professionnelles réelles d'OpenAI, une variante antérieure de Qwen3.8-Flash-Next a obtenu 80 points sur 95 le 21 septembre 2026, avec 46 soldes par facture erronés sur 264, et Qwen3.8-27B sans raisonnement a obtenu 39, 35 et 9 points le 15 septembre 2026 lors de trois tentatives interrompues au bout de 30 minutes. Les évaluateurs savaient quel modèle avait produit chaque classeur, l'évaluation ne correspond pas à la notation officielle de GDPval, et une seule tâche ne constitue pas un classement.
Exécuter votre premier modèle, étape par étape
Sur un ordinateur courant : installer Ollama ou LM Studio et choisir un modèle adapté
- Déterminez la quantité de mémoire dont dispose l'ordinateur et s'il possède une carte graphique dotée de sa propre mémoire ; sur un Mac, les deux partagent une même réserve de mémoire.
- Installez Ollama depuis ollama.com ou LM Studio depuis lmstudio.ai ; sur un Mac, LM Studio exige une puce Apple silicon.
- Choisissez un modèle dont le téléchargement est nettement plus petit que la mémoire libre, comme Gemma 4 E4B avec 16 Go ; la commande ollama run gemma4:e4b le télécharge et le lance.
- Augmentez la longueur de contexte pour la rapprocher de celle de votre document réel le plus long, dans les paramètres d'Ollama ou avec sa variable OLLAMA_CONTEXT_LENGTH, car sa valeur par défaut en dessous de 24 Gio de mémoire graphique est d'environ 4 000 tokens ; chaque token de contexte nécessite de la mémoire, n'augmentez donc la longueur que dans la mesure où la mémoire le permet.
- Exécutez l'une de vos propres tâches et notez le délai avant le premier mot, la vitesse de production du texte et l'exactitude de la réponse.
Sur une machine haut de gamme dédiée : mettre un modèle à la disposition d'une équipe
- Choisissez un modèle pour l'équipe et réservez de la mémoire pour plusieurs conversations, dont chacune nécessite son propre cache clé-valeur.
- Choisissez un moteur d'inférence qui traite plusieurs requêtes ensemble, comme vLLM, llama-server ou llmster, le service d'arrière-plan de LM Studio.
- Ouvrez délibérément le moteur d'inférence au réseau : Ollama n'écoute que sur la machine elle-même tant que son paramètre OLLAMA_HOST n'est pas modifié et ne possède pas de clés d'accès propres ; l'accès doit donc être contrôlé en amont, par exemple par une règle de pare-feu ou par un serveur web qui vérifie une clé avant de transmettre les requêtes, appelé proxy inverse.
- Fournissez à l'équipe une application de chat comme Open WebUI, et testez-la avec plusieurs personnes qui envoient des requêtes en même temps.
Sur un DGX Spark
- Mettez d'abord DGX OS à jour ; la mise à jour d'octobre 2026 apporte la version 7.6.0 avec le CUDA Toolkit 13.0.3 de NVIDIA, le logiciel par lequel les programmes utilisent le processeur graphique.
- Suivez l'un des guides pratiques de NVIDIA sur build.nvidia.com/spark ; NVIDIA estime qu'il faut de 15 à 30 minutes pour installer vLLM.
- Privilégiez les variantes au format NVFP4 de NVIDIA, qui utilisent l'arithmétique 4 bits de la puce.
- Laissez un grand modèle en fonctionnement plutôt que de le recharger : sur notre machine GB10, le démarrage de vLLM avec la variante NVFP4 de Qwen3.8-Flash-Next, qui pèse 132,7 Go, a pris environ 15 minutes le 12 octobre 2026, y compris une étape de préparation qui n'a lieu qu'au premier démarrage.
Connecter vos propres outils
Les outils conçus pour OpenAI peuvent utiliser un modèle local dès que l'adresse de base et le nom du modèle ont été modifiés ; lorsqu'un outil exige une clé d'accès, n'importe quelle valeur fonctionne avec Ollama.
- Ollama répond à l'adresse http://localhost:11434/v1 et LM Studio à l'adresse http://localhost:1234/v1.
- llama-server répond à l'adresse http://127.0.0.1:9931/v1 dans les versions publiées depuis le 9 octobre 2026 et sur le port 8080 dans les versions et la documentation plus anciennes, et vLLM utilise le port 8000.
- Claude Code utilise un modèle local via Ollama lorsque ANTHROPIC_BASE_URL est défini sur http://localhost:11434 et ANTHROPIC_AUTH_TOKEN sur ollama, et Ollama recommande pour cet usage un contexte d'au moins 64 000 tokens.
Lorsque le modèle est trop lent, ne tient pas en mémoire ou oublie le début d'un document
- Si le modèle ne se charge pas ou si la machine devient extrêmement lente, le modèle ne tient pas en mémoire ; choisissez alors moins de bits, un modèle plus petit, un contexte plus court ou un cache clé-valeur en 8 bits.
- Si la production de texte est lente, vérifiez que le modèle entier se trouve en mémoire graphique, ou choisissez un modèle à mélange d'experts.
- Si le premier mot tarde à venir avec de longs documents, la lecture de l'entrée constitue le goulet d'étranglement ; placez donc le même document au début du prompt afin que le moteur d'inférence puisse le réutiliser.
- Si le modèle oublie le début d'un document, la fenêtre de contexte est trop petite ; augmentez donc la longueur de contexte dans les limites que permettent le modèle et la mémoire.
Évaluer les résultats sur un travail réel
Une démonstration paraît presque toujours convaincante ; seul votre propre travail permet un test probant. Définissez ce qu'est une bonne réponse avant de voir la moindre réponse, afin que l'évaluation ne dépende pas du pouvoir de persuasion des réponses.
Utilisez une tâche représentative de la semaine écoulée, avec sa longueur et sa complexité réelles, car un prompt court et soigneusement élaboré ne prouve rien quant à une journée de travail.
Notez d'abord à quoi ressemble un bon résultat : ce qui doit être exact, ce qui ne doit pas être inventé et ce qui doit figurer dans la réponse. Dix à vingt exemples dont vous connaissez déjà la bonne réponse sont plus instructifs qu'une longue conversation.
Tenez compte du travail qui suit la réponse. Si quelqu'un doit vérifier et corriger chaque résultat, ce temps fait partie du coût, et un modèle qui nécessite moins de vérifications peut constituer le meilleur choix même s'il paraît moins performant.
Consignez la configuration exacte que vous avez testée : le modèle et sa version, la variante et son nombre de bits, le logiciel qui le met à disposition et les paramètres, y compris la longueur de contexte. Ne modifiez qu'un élément à la fois ; à défaut, vous ne saurez pas quelle modification a été utile.
Ce que coûte l'exécution d'une IA en local
Acheter une machine ou payer un abonnement
ChatGPT Plus coûte 20 $US et Claude Pro 20 $US par personne et par mois aux États-Unis, au 26 octobre 2026, alors qu'une machine ne se paie qu'une fois et n'entraîne aucun frais par requête. Quatre éléments déterminent quelle solution est la moins chère.
- Le prix d'achat a augmenté en 2026, car les puces mémoire se font rares : le cabinet d'études de marché TrendForce indique que les prix convenus avec les grands acheteurs pour la mémoire vive dynamique conventionnelle, la mémoire principale des ordinateurs, ont augmenté de 93 à 98 pour cent par rapport au trimestre précédent au premier trimestre 2026. La Founders Edition du DGX Spark, lancée à 3 999 $US en octobre 2025, a été signalée à 6 950 $US le 2 octobre 2026.
- L'électricité dépend de la consommation : une consommation de 100 W, 24 heures sur 24, représente 72 kilowattheures (kWh) en 30 jours, et une consommation de 240 W, la puissance nominale de l'alimentation du DGX Spark, représente 172,8 kWh, à multiplier par le prix du kilowattheure figurant sur votre propre facture.
- Le temps que le personnel consacre à l'installation, à la mise à jour et à la réparation de la machine est un coût qu'une étude de rentabilité doit inclure.
- La qualité est elle aussi un coût, car un modèle ouvert qui nécessite davantage de vérifications coûte du temps ; le comparatif avec ChatGPT compare les données publiées tâche par tâche.
Se renseigner avant d'acheter
Acheter une machine pour répondre à cette question est l'approche coûteuse. Si la réponse est négative, vous vous retrouvez à la fois avec la réponse et avec le matériel.
Exécuter votre propre travail sur une machine préparée du même type répond à la même question pour le prix de quelques heures, à condition que le matériel, le modèle et le logiciel qui le met à disposition soient ceux que vous achèteriez ; demandez donc la spécification exacte de ces trois éléments. Notre essai propose un tel test sur demande, au moyen du formulaire de contact : nous exploitons une machine équipée de la puce GB10 du DGX Spark et un modèle ouvert, et vous y connectez vos propres outils.
Si vous préférez ne pas répondre à cette question en achetant d'abord du matériel, notre essai d'IA locale met à votre disposition une machine équipée de la puce NVIDIA GB10 du DGX Spark et un modèle ouvert, afin que vous puissiez connecter vos propres outils, exécuter votre propre charge de travail et juger le résultat avant d'acheter un équipement. L'essai est proposé sur demande au moyen du formulaire de contact. Si vous hésitez entre une installation locale et ChatGPT ou un autre chatbot d'IA, consultez notre comparatif private-local.ai vs ChatGPT.
Questions sur l'exécution d'une IA en local
Puis-je découvrir comment exécuter une IA en local sans acheter de matériel au préalable ?
Oui, pour l'essentiel de la question : un petit modèle sur votre ordinateur actuel montre comment fonctionne le logiciel, et le tableau de ce guide indique quels modèles tiennent sur quelle machine. Seule l'exécution de votre propre travail sur une machine du type que vous envisagez montre si un modèle plus grand l'accomplit suffisamment bien.
Puis-je exécuter ChatGPT ou Claude sur ma propre machine ?
Non. Leurs fichiers de modèle ne sont pas publiés ; il n'existe donc aucune copie locale à installer, et les modèles à poids ouverts gpt-oss d'OpenAI sont distincts des modèles qu'utilise ChatGPT. La question de savoir si un modèle ouvert accomplit suffisamment bien votre tâche ne se tranche qu'en soumettant le même travail réel aux deux.
De combien de mémoire ai-je besoin pour exécuter un modèle en local ?
Multipliez le nombre de paramètres en milliards par le nombre de bits par poids et divisez le résultat par huit pour obtenir des gigaoctets, puis ajoutez de la place pour le contexte et le système d'exploitation. En octobre 2026, les variantes en 4 bits de Qwen3.8-27B, qui compte 27,78 milliards de paramètres, pèsent de 14,3 à 18 Go, tandis que la variante d'Inferact au format NVFP4, le format 4 bits de NVIDIA, pèse 26,4 Go.
Une installation locale est-elle privée ?
Un système qui fonctionne sur du matériel que vous contrôlez garde le travail du modèle au sein de votre propre réseau, ce qui est la principale raison pour laquelle les entreprises souhaitent en disposer. Cela ne suffit pas pour autant à tout sécuriser, car les sauvegardes, les journaux, les outils qui entourent le modèle et l'accès à la machine doivent toujours être pris en compte. La recherche sur le Web et les modèles cloud d'Ollama, par exemple, sont des services en ligne qui envoient ce que vous saisissez aux serveurs d'Ollama.
Puis-je exécuter une IA en local sur un ordinateur portable ?
Oui. Un ordinateur portable doté de 16 Go de mémoire accueille des modèles comptant jusqu'à environ 10 milliards de paramètres, qui conviennent à la rédaction de premières versions, au résumé et aux questions sur des images, mais la vitesse dépend de la mémoire : It's FOSS a mesuré environ 3 tokens par seconde pour un modèle de 8 milliards de paramètres sur un ordinateur portable plus ancien utilisant uniquement son processeur (15 mai 2026). Les meilleurs modèles hébergés restent plus performants pour les travaux difficiles.
Quel modèle ouvert tient dans 16 Go de mémoire ?
En octobre 2026, les variantes en 4 bits de Gemma 4 E4B (6,6 Go), de Qwen3.5-9B (6,6 Go), de Ministral 3 8B (6,0 Go) et de Gemma 4 12B (8,0 Go) y tiennent en laissant de la place pour un document. gpt-oss-20b (13,8 Go) est conçu pour 16 Go, mais laisse peu de place lorsque c'est toute la mémoire disponible.
Que peut exécuter un NVIDIA DGX Spark ?
Un DGX Spark, doté de 128 Go de mémoire partagée, exécute les petits et moyens modèles ouverts cités dans ce guide ainsi que des modèles à mélange d'experts d'environ 120 milliards de paramètres en 4 bits, comme gpt-oss-120b à 58,72 tokens par seconde (llama.cpp, février 2026). Les plus grands modèles ouverts ne fonctionnent que dans des variantes inférieures à 4 bits qui exigent un logiciel spécifique ou lisent une partie du modèle sur le disque, ou ne fonctionnent pas du tout.
Puis-je affiner un modèle sur ma propre machine ?
Oui, avec des méthodes qui n'entraînent qu'un petit module complémentaire, appelé adaptation de rang faible (LoRA), ou sa déclinaison pour les modèles compressés à 4 bits, l'adaptation de rang faible quantifiée (QLoRA) ; NVIDIA indique qu'un DGX Spark peut affiner des modèles comptant jusqu'à 70 milliards de paramètres. Entraîner un modèle performant à partir de zéro exige bien plus de calcul qu'une seule machine ne peut en fournir.
Déterminez si votre travail se prête à une installation locale
Choisissez une configuration, exécutez une tâche représentative et jugez si le résultat est suffisamment bon. S'il montre que vous ne devriez pas acheter de machine, le test a tout aussi bien répondu à la question.
Demander un point d'accès