Aller au contenu
private-local.ai

Test d'IA en comptabilité : modèles ouverts et GPT-5.6 face à une tâche Excel réelle

Benjamin Spinola

, Fondateur

Publié Mis à jour 7 minutes de lecture

Ce test d'IA en comptabilité a soumis des modèles actuels à une tâche réelle issue du benchmark GDPval d'OpenAI : lire 66 factures et construire un classeur Excel qui étale les charges constatées d'avance sur les mois qu'elles couvrent et les rapproche du grand livre. Le modèle ouvert GLM-5.3 Flash a livré le meilleur classeur, avec 90 points sur 95, devant GPT-5.6 Sol d'OpenAI, qui a obtenu 82 points lors de sa première exécution et 72 lors de la deuxième.

Aucun classeur n'était exempt d'erreurs. Les meilleurs scores masquaient des soldes erronés et des affirmations inexactes que seule une vérification ligne par ligne a révélés ; c'est pourquoi cette page présente les erreurs à côté des points.

Résultats

Chaque ligne correspond à un modèle dans un réglage donné.

ModèlePointsDuréeCoûtAppréciation
GLM-5.3 Flash, poids ouvertsHébergé par Z.ai90 sur 9529 minutes0,12 $USIl a satisfait à 55 des 56 critères ; seule la mise en page était insuffisante, les libellés des comptes empiétant sur les lignes voisines. Une remarque non prise en compte dans la notation indique à tort qu'une facture d'assurance a été payée le 15 janvier 2025, alors que la source ne mentionne qu'une date d'échéance.
GPT-5.6 Sol, première exécutionHébergé par OpenAI82 sur 95Non valableAu moins 1,14 $USIl a satisfait à 51 des 56 critères. Les noms des feuilles omettent les numéros de compte, la date de fin de la police d'assurance est absente, un écart d'un demi-centime subsiste et une cellule affiche ##### au lieu de sa valeur.
Qwen3.8-Flash-Next, poids ouvertsUne machine louée équipée de la puce NVIDIA GB10 du DGX Spark80 sur 9533 minutes1,08 $US de location de machineIl a satisfait à 49 des 56 critères, mais 46 des 264 soldes historiques de factures sont erronés, parce que des factures futures ont été comptabilisées trop tôt. Les huit contrôles de rapprochement avec le grand livre concordaient néanmoins tous, si bien que les totaux masquaient les erreurs.
DeepSeek V4.1 Flash, poids ouvertsHébergé par DeepSeek78 sur 959 minutes0,14 $USIl a satisfait à 49 des 56 critères. Les dates de début et de fin des factures sont absentes, 42 lignes de factures s'écartent des totaux d'un centime, des en-têtes de colonnes sont tronqués, et une remarque non prise en compte dans la notation met fin à tort à l'étalement des prestations en juin.
GPT-5.6 Sol, deuxième exécutionHébergé par OpenAI72 sur 957 minutes1,46 $USAvec des réglages identiques, il n'a satisfait qu'à 46 des 56 critères : 198 soldes par facture pour la période de janvier à mars sont absents, et les noms des feuilles, les dates et l'affichage présentent des défauts.
Qwen3.8-27B, poids ouverts, raisonnement désactivéUn ASUS Ascent GX10 loué, équipé de la puce NVIDIA GB1039, 35 et 9 sur 9530 minutes par tentativeEnviron 0,97 $US de location de machine pour les troisLes trois tentatives se sont arrêtées à la limite de 30 minutes. Les classeurs enregistraient les calculs sous forme de texte, comptabilisaient trop tôt des factures futures ou ne contenaient aucun chiffre.

Pour les modèles hébergés, le coût correspond aux frais d'utilisation du modèle ; pour les deux modèles Qwen, il correspond à la location de la machine. La durée de la première exécution de GPT-5.6 Sol n'est pas valable, car l'ordinateur qui exécutait le test s'est mis en veille pendant la tentative, et son coût est incomplet pour la même raison.

La tâche

La tâche provient de GDPval, l'ensemble public de 220 tâches qu'OpenAI a tirées du travail réel de 44 professions. Elle pose la question à laquelle une direction financière ou un cabinet d'expertise comptable est confronté à chaque clôture mensuelle : l'IA peut-elle préparer les tableaux d'étalement des charges constatées d'avance à partir des factures ?

  • Les données d'entrée se composent de six fichiers : un plan de comptes au format Excel, quatre fichiers mensuels de factures pour la période de janvier à avril 2025 et un fichier de factures d'assurance, soit 66 pages PDF au total.
  • Le modèle doit lire les 66 factures, affecter chacune d'elles au compte des prestations payées d'avance ou à celui des assurances payées d'avance, puis répartir chaque coût sur les mois qu'il couvre.
  • Le livrable est un classeur Excel de trois feuilles : un tableau d'étalement pour chaque facture et un rapprochement mensuel avec les soldes du grand livre jusqu'en avril 2025.
  • La grille d'évaluation d'origine de la tâche vérifie 56 critères valant 95 points, de l'exactitude des montants et du bon fonctionnement des formules jusqu'à la présentation des feuilles.

Comment nous avons mené le test

Chaque modèle a reçu la même tâche, les mêmes fichiers, les mêmes outils et les mêmes instructions, et aucune correction n'a été apportée à son travail pendant ou après la tentative.

  • Le programme d'agent Hermes a fourni à chaque modèle les mêmes outils dans un conteneur isolé : Python avec des bibliothèques pour les tableurs et les documents, LibreOffice pour recalculer les formules et Poppler pour lire les factures PDF.
  • Chaque tentative disposait au maximum de 60 minutes, de 80 étapes et de 65 536 tokens par réponse. Les trois tentatives de Qwen3.8-27B sans raisonnement disposaient de 30 minutes, de 40 étapes et de 32 768 tokens, et DeepSeek V4.1 Flash disposait de 32 768 tokens par réponse.
  • Les modèles hébergés ont fonctionné par l'intermédiaire du Vercel AI Gateway, chacun étant lié au service propre de son concepteur. Les deux modèles Qwen ont fonctionné sur des machines louées équipées de la puce NVIDIA GB10, celle du DGX Spark.
  • Chaque classeur achevé a été vérifié au regard de chaque critère de la grille d'évaluation d'origine, avec un recalcul indépendant des chiffres sources et un rendu visuel de chaque feuille.
  • Les tentatives se sont déroulées du 15 au 21 septembre 2026.

Ce que le résultat signifie pour votre décision

Pour une entreprise qui envisage d'utiliser l'IA sur sa propre machine, le test permet de tirer quatre conclusions.

  • Les modèles ouverts peuvent fournir un véritable travail comptable : le meilleur d'entre eux, GLM-5.3 Flash, a livré un meilleur classeur que GPT-5.6 Sol pour environ un dixième du coût par tentative.
  • Aucun modèle n'a livré de classeur utilisable sans relecture. Même les meilleurs scores masquaient des soldes erronés ou des affirmations inexactes ; le résultat doit donc être vérifié par un comptable.
  • Les résultats varient d'une tentative à l'autre : GPT-5.6 Sol a obtenu 82 puis 72 points avec des réglages identiques ; une exécution isolée est donc peu significative, et votre propre tâche doit être testée plus d'une fois.
  • Le résultat le plus proche de celui d'une machine qui vous appartiendrait est celui de Qwen3.8-Flash-Next sur la puce GB10 du DGX Spark, avec 80 points sur 95. Le comparatif avec ChatGPT et la page des benchmarks des modèles d'IA le replacent dans un contexte plus large.

Pour aller plus loin : le comparatif avec ChatGPT porte sur sept tâches de bureau, et la page des benchmarks des modèles d'IA rassemble les évaluations publiques des mêmes modèles.

Questions sur le test d'IA en comptabilité

L'IA peut-elle effectuer des travaux comptables dans Excel ?

Elle le peut en partie. Dans notre test d'IA en comptabilité portant sur une tâche réelle de GDPval, le meilleur modèle a construit à partir de 66 factures un classeur Excel rapproché et a obtenu 90 points sur 95, mais chaque classeur contenait encore des erreurs, des soldes erronés aux affirmations inexactes. L'IA peut préparer ce type de travail ; un comptable doit toutefois toujours le vérifier.

Quel modèle a obtenu le meilleur résultat lors du test ?

Le modèle ouvert GLM-5.3 Flash a obtenu le meilleur résultat, avec 90 points sur 95 lors de sa deuxième tentative ; il est suivi de GPT-5.6 Sol, avec 82 points lors de sa première exécution, et de Qwen3.8-Flash-Next, avec 80 points sur une machine équipée de la puce GB10 du DGX Spark. Avec une seule tâche et peu de tentatives, cet ordre ne constitue pas un classement.

Les modèles ont-ils fonctionné sur du matériel local ?

Seuls les deux modèles Qwen ont fonctionné sur une machine équipée de la puce NVIDIA GB10, celle du DGX Spark. GLM-5.3 Flash, DeepSeek V4.1 Flash et GPT-5.6 Sol ont fonctionné sur les services hébergés de leurs concepteurs ; leurs résultats ne montrent donc pas les performances qu'ils obtiendraient sur une machine qui vous appartient.

S'agit-il de scores officiels de GDPval ?

Il ne s'agit pas de scores officiels. Nous avons utilisé une tâche de l'ensemble public GDPval d'OpenAI avec sa grille d'évaluation d'origine, mais l'examen a été réalisé par nos soins, avec l'assistance d'un modèle d'IA et sans procédure à l'aveugle. Les résultats officiels de GDPval proviennent de professionnels qui comparent le travail d'un modèle à celui d'un expert humain sans savoir lequel est lequel.

Pouvons-nous mener nous-mêmes un test similaire ?

Vous le pouvez. Notre essai vous donne une ou deux heures sur une machine préparée dotée d'un modèle ouvert, afin que vous puissiez exécuter une tâche comparable avec vos propres outils et juger vous-même du résultat.

Testez votre propre tâche comptable sur une machine réelle

Choisissez une configuration, connectez l'outil que vous utilisez déjà et exécutez une tâche représentative. En une ou deux heures, vous saurez si une machine qui vous appartient peut accomplir ce travail, avant d'en acheter une.

Demander un point d'accès