IA locale : définition, fonctionnement et conditions de rentabilité

L'IA locale renvoie à l'endroit où un modèle s'exécute, et non à son concepteur. Un modèle ouvert publié par une grande entreprise d'IA et exécuté sur votre propre machine relève de l'IA locale, alors que le même modèle ouvert exécuté sur les serveurs d'un fournisseur de cloud relève de l'IA dans le cloud. En règle générale, l'IA locale consiste en outre à exécuter un modèle déjà entraîné, ce que l'on appelle l'inférence, plutôt qu'à entraîner un modèle à partir de zéro. Exécuter un modèle sur votre propre machine a trois conséquences pratiques.

• Les fichiers du modèle sont stockés sur votre propre disque. Vous pouvez figer une version précise et l'utiliser à l'identique l'année prochaine, ce que le modèle hébergé d'un prestataire ne garantit pas.
• Sur une machine qui vous appartient, aucune donnée ne quitte vos locaux pour être traitée. C'est la principale raison pour laquelle les entreprises envisagent l'IA locale.
• Une fois le logiciel et le modèle installés, la machine répond sans connexion à Internet.

L'exécution d'un modèle en local se déroule en trois étapes.

1. Vous installez un logiciel qui met le modèle à disposition, comme Ollama, LM Studio ou LocalAI. La plupart de ces logiciels acceptent le même format de requête qu'OpenAI, si bien qu'un outil existant n'a généralement besoin que d'une nouvelle adresse.
2. Vous téléchargez un modèle ouvert dans une taille adaptée à la mémoire de votre machine. Le modèle Qwen3.5-35B-A3B, doté de 35 milliards de paramètres, nécessite 64,6 gigaoctets en pleine précision et 12,2 gigaoctets en version compressée ; les deux versions tiennent donc sur un NVIDIA DGX Spark doté de 128 gigaoctets de mémoire.
3. Le modèle traite chaque prompt sur votre propre processeur ou votre propre carte graphique et renvoie la réponse sans faire appel à un service cloud. Sur un DGX Spark, le modèle Qwen compressé produit 74,4 tokens par seconde, soit environ 55 mots par seconde.

Le guide « Comment exécuter une IA en local » détaille chaque étape, la configuration matérielle requise et la manière d'évaluer les résultats.

L'IA locale sert aux mêmes travaux que l'IA dans le cloud, mais les entreprises la choisissent lorsque les contenus traités sont sensibles ou lorsque la même tâche se répète à grande échelle. Les exemples suivants présentent des usages types, accompagnés des résultats publiés pour les modèles ouverts lorsqu'il en existe.

• Un fabricant charge un modèle de répondre aux questions portant sur sa documentation technique et ses manuels de maintenance, afin que le personnel technique trouve la bonne procédure sans parcourir des milliers de pages.
• Un cabinet d'avocats ou de conseil fiscal charge un modèle d'extraire les parties, les échéances et les montants figurant dans les contrats et la correspondance avec les clients, puis de rédiger de premières synthèses soumises à relecture.
• Une agence d'automatisation connecte un modèle local à un logiciel de flux de travail tel que n8n, afin de trier les e-mails entrants et d'y répondre automatiquement. Sur AutomationBench-AA, qui simule de tels flux de travail dans Gmail, Slack et Salesforce, le modèle ouvert DeepSeek V4.1 Flash a atteint 68,9 pour cent des objectifs, contre 68,5 pour cent pour GPT-6 Astra ; le comparatif avec ChatGPT examine sept tâches de ce type.
• Une équipe financière charge un modèle d'analyser des feuilles de calcul, des exports en valeurs séparées par des virgules (CSV) et des journaux à l'endroit même où ils sont stockés. Dans l'étude DSGym, le modèle ouvert gpt-oss-120b a répondu correctement à 71 pour cent des questions simples d'analyse de données, contre 75 pour cent pour GPT-5. Lors de notre propre test d'IA en comptabilité, le modèle ouvert GLM-5.3 Flash a établi, à partir de 66 factures, un classeur Excel rapproché et obtenu 90 points sur 95.
• Une clinique transcrit des comptes rendus dictés et rédige des lettres de sortie sur son propre matériel, afin que les données des patients ne parviennent à aucun service externe. Le comparatif avec Limina, spécialiste du caviardage, présente sept situations de ce type, classées par secteur.

Pour une entreprise, l'IA locale présente quatre avantages par rapport à l'IA dans le cloud.

• L'entreprise garde la maîtrise de ses données et de sa propriété intellectuelle : les contrats, les dossiers de patients ou le code source sont traités au sein de son propre réseau. Le comparatif avec Limina présente sept situations dans lesquelles cet aspect est déterminant.
• Il n'y a ni frais par requête ni frais par personne. Une équipe de 20 personnes abonnée à ChatGPT Business paie 6 000 $US par an, chaque année, alors qu'une machine ne se paie qu'une fois ; le comparatif avec ChatGPT indique les prix actuels.
• La machine fonctionne dans les locaux de l'entreprise et sans connexion à Internet, par exemple dans un réseau de production volontairement isolé d'Internet.
• L'entreprise fixe le modèle et sa version, par exemple une version précise de Qwen, DeepSeek ou GLM, de sorte qu'un résultat puisse être reproduit à l'identique l'année prochaine. Un modèle hébergé peut changer sans préavis.

Un modèle ouvert qui tient sur une machine de bureau est moins performant que les meilleurs modèles dans le cloud, et aucun réglage ne comble entièrement cet écart. Le comparatif avec ChatGPT mesure cet écart tâche par tâche, et la page consacrée aux performances des modèles d'IA rassemble les évaluations publiques.

• Les modèles dans le cloud conservent une nette avance pour la recherche sur le Web et la génération d'images. Sur BrowseComp, un test qui consiste à trouver sur le Web des informations difficiles à localiser, GPT-6 Astra obtient 91,5 pour cent, alors que les meilleurs modèles ouverts qui tiennent sur une seule machine obtiennent entre 64 et 68 pour cent.
• La mémoire limite la taille du modèle, et cette limite est fixée le jour de l'achat. Un DGX Spark doté de 128 gigaoctets accueille des modèles compressés de plusieurs dizaines de milliards de paramètres, mais pas les plus grands modèles ouverts, qui nécessitent plusieurs centaines de gigaoctets.
• Quelqu'un doit installer, mettre à jour et réparer la machine, et le temps de cette personne représente généralement un coût plus élevé que le matériel.
• Lorsque plusieurs personnes envoient des requêtes simultanément, elles se partagent la machine et chacune attend plus longtemps ; une machine destinée à une équipe doit donc être testée avec plusieurs utilisateurs à la fois.
• Une machine inutilisée pendant la plus grande partie de la journée est difficile à justifier face à un abonnement ChatGPT Plus à 20 $US par personne et par mois.

Le prix d'achat est le chiffre le plus souvent cité, mais il ne représente que la plus petite partie de la réponse. Quatre postes de coût déterminent si une installation locale est rentable.

• La machine elle-même, par exemple un NVIDIA DGX Spark, représente un investissement de plusieurs milliers d'euros, payé une seule fois et amorti comme tout autre équipement.
• L'électricité et l'emplacement constituent le deuxième poste. La machine consomme de l'électricité en fonctionnement, beaucoup moins au repos, et doit être installée dans un lieu suffisamment ventilé plutôt que dans un placard fermé.
• La maintenance constitue le troisième poste : mises à jour, changements de modèle et pannes occasionnelles. C'est le coût que les études de rentabilité omettent le plus souvent, et celui qui risque le plus d'être sous-estimé.
• La solution actuelle sert de référence. ChatGPT Business coûte 25 $US par personne et par mois, si bien que 20 utilisateurs coûtent 6 000 $US par an ; c'est le montant que la machine doit battre, et il convient de le calculer avant tout le reste.

L'essentiel de la réponse peut être établi sur le papier, avant d'utiliser le moindre matériel. Prenez une tâche réelle plutôt qu'une catégorie de tâches, et confrontez-la aux quatre questions suivantes.

• À quelle fréquence la tâche est-elle exécutée ? Une tâche répétée des centaines de fois par jour, comme le tri des e-mails entrants, justifie de posséder son propre équipement ; ce n'est pas le cas d'un rapport rédigé une fois par trimestre.
• Quelle qualité le résultat doit-il atteindre, et qui le vérifie ? Définissez le niveau attendu avant de voir la moindre réponse, par exemple à l'aide de dix à vingt cas dont vous connaissez déjà le bon résultat ; le guide sur l'exécution d'une IA en local explique la marche à suivre.
• Existe-t-il une raison pour laquelle les documents ne peuvent pas quitter vos locaux, comme le secret professionnel, des données de patients ou le secret des affaires ? Si c'est le cas, cette raison suffit généralement à trancher la question.
• Qui exploitera la machine ? Si personne ne peut être désigné, l'entreprise n'est pas encore prête à en acquérir une, quels que soient les résultats des tests de référence.

Pour tester correctement l'IA locale, il faut normalement posséder la machine au préalable. Notre essai a précisément été conçu pour combler ce manque.

• Nous exploitons un NVIDIA DGX Spark doté d'un modèle ouvert précisément désigné et mettons à votre disposition, pour vos propres outils, un point d'accès standard composé d'une adresse web et d'une clé d'accès.
• Vous connectez l'outil que vous utilisez déjà, par exemple un flux de travail n8n ou une application conçue pour l'interface d'OpenAI, et vous exécutez vos propres tâches pendant une ou deux heures au tarif de 10 € de l'heure, comme l'indique la page des tarifs.
• Vous conservez vos mesures : la durée de chaque tâche, ce que le modèle a renvoyé et les points sur lesquels il s'est trompé.