Test di IA per la contabilità: modelli aperti e GPT-5.6 su un compito reale in Excel
Benjamin Spinola, Fondatore
Pubblicato Aggiornato 7 minuti di lettura
Questo test di IA per la contabilità ha sottoposto ai modelli attuali un compito reale tratto dal benchmark GDPval di OpenAI: leggere 66 fatture e costruire una cartella di lavoro Excel che ripartisca i risconti attivi sui mesi a cui si riferiscono e li riconcili con la contabilità generale. Il modello aperto GLM-5.3 Flash ha prodotto la cartella di lavoro migliore, con 90 punti su 95, davanti a GPT-5.6 Sol di OpenAI, che ha ottenuto 82 punti nella prima esecuzione e 72 nella seconda.
Nessuna cartella di lavoro era priva di errori. I punteggi più alti nascondevano saldi errati e affermazioni false che solo un controllo riga per riga ha portato alla luce; per questo la pagina riporta gli errori accanto ai punti.
Risultati
Ogni riga corrisponde a un modello in una determinata impostazione.
| Modello | Punti | Tempo | Costo | Valutazione |
|---|---|---|---|---|
| GLM-5.3 Flash, pesi apertiOspitato da Z.ai | 90 su 95 | 29 minuti | 0,12 USD | Ha soddisfatto 55 criteri su 56; solo l'impaginazione è risultata carente, perché le descrizioni dei conti si sovrappongono alle righe adiacenti. Una nota esclusa dal punteggio afferma erroneamente che una fattura assicurativa è stata pagata il 15 gennaio 2025, mentre la fonte indica soltanto una data di scadenza. |
| GPT-5.6 Sol, prima esecuzioneOspitato da OpenAI | 82 su 95 | Non valido | Almeno 1,14 USD | Ha soddisfatto 51 criteri su 56. I nomi dei fogli non riportano i numeri di conto, manca la data di fine della polizza assicurativa, resta una differenza di mezzo centesimo e una cella mostra ##### anziché il suo valore. |
| Qwen3.8-Flash-Next, pesi apertiUna macchina a noleggio con il chip NVIDIA GB10 del DGX Spark | 80 su 95 | 33 minuti | 1,08 USD di noleggio della macchina | Ha soddisfatto 49 criteri su 56, ma 46 dei 264 saldi storici delle fatture sono errati, perché le fatture future sono state contabilizzate troppo presto. Tutti e otto i controlli di riconciliazione con la contabilità generale hanno tuttavia quadrato, quindi i totali hanno nascosto gli errori. |
| DeepSeek V4.1 Flash, pesi apertiOspitato da DeepSeek | 78 su 95 | 9 minuti | 0,14 USD | Ha soddisfatto 49 criteri su 56. Mancano le date di inizio e di fine delle fatture, 42 righe di fattura differiscono dai totali di un centesimo, le intestazioni delle colonne sono troncate e una nota esclusa dal punteggio fa terminare erroneamente a giugno la ripartizione dei risconti su servizi. |
| GPT-5.6 Sol, seconda esecuzioneOspitato da OpenAI | 72 su 95 | 7 minuti | 1,46 USD | Con impostazioni identiche, ha soddisfatto solo 46 criteri su 56: mancano 198 saldi per singola fattura da gennaio a marzo, e i nomi dei fogli, le date e la visualizzazione presentano difetti. |
| Qwen3.8-27B, pesi aperti, ragionamento disattivatoUn ASUS Ascent GX10 a noleggio, con il chip NVIDIA GB10 | 39, 35 e 9 su 95 | 30 minuti ciascuno | Circa 0,97 USD di noleggio della macchina per tutti e tre | Tutti e tre i tentativi si sono interrotti al limite di 30 minuti. Le cartelle di lavoro memorizzavano i calcoli come testo, contabilizzavano troppo presto le fatture future o non contenevano alcun dato numerico. |
Per i modelli ospitati, il costo corrisponde all'addebito per l'uso del modello; per i due modelli Qwen, corrisponde al noleggio della macchina. Il tempo della prima esecuzione di GPT-5.6 Sol non è valido, perché il computer che eseguiva il test è entrato in sospensione durante il tentativo, e il suo costo è incompleto per lo stesso motivo.
Il compito
Il compito proviene da GDPval, il set pubblico di OpenAI composto da 220 attività tratte dal lavoro reale di 44 professioni. Pone la domanda che un reparto amministrazione e finanza o uno studio contabile si trova ad affrontare a ogni chiusura mensile: l'IA è in grado di preparare i prospetti dei risconti attivi a partire dalle fatture?
- I dati di partenza sono sei file: un piano dei conti in Excel, quattro file mensili di fatture da gennaio ad aprile 2025 e un file di fatture assicurative, per un totale di 66 pagine PDF.
- Il modello deve leggere tutte e 66 le fatture, attribuire ciascuna al conto dei risconti attivi su servizi o a quello dei risconti attivi su assicurazioni e ripartire ogni costo sui mesi a cui si riferisce.
- Il risultato da consegnare è una cartella di lavoro Excel con tre fogli: un prospetto per ogni fattura e una riconciliazione mensile con i saldi di contabilità generale fino ad aprile 2025.
- La griglia di valutazione originale del compito verifica 56 criteri per un totale di 95 punti, dagli importi corretti e dalle formule funzionanti fino alla presentazione dei fogli.
Come abbiamo svolto il test
Ogni modello ha ricevuto lo stesso compito, gli stessi file, gli stessi strumenti e le stesse istruzioni, e nulla è stato corretto al suo posto, né durante né dopo il tentativo.
- L'agente software Hermes ha fornito a ogni modello gli stessi strumenti in un container isolato: Python con librerie per fogli di calcolo e documenti, LibreOffice per ricalcolare le formule e Poppler per leggere le fatture in PDF.
- Ogni tentativo disponeva al massimo di 60 minuti, 80 passaggi e 65.536 token per risposta. I tre tentativi di Qwen3.8-27B senza ragionamento disponevano di 30 minuti, 40 passaggi e 32.768 token, e DeepSeek V4.1 Flash di 32.768 token per risposta.
- I modelli ospitati sono stati eseguiti tramite il Vercel AI Gateway, ciascuno vincolato al servizio del proprio produttore. I due modelli Qwen sono stati eseguiti su macchine a noleggio con il chip NVIDIA GB10, lo stesso del DGX Spark.
- Ogni cartella di lavoro completata è stata verificata rispetto a tutti i criteri della griglia di valutazione originale, con un ricalcolo indipendente dei dati di origine e un'anteprima grafica di ogni foglio.
- I tentativi si sono svolti tra il 15 e il 21 settembre 2026.
Che cosa significa il risultato per la Sua decisione
Per un'azienda che sta valutando l'IA su una macchina di proprietà, il test consente di trarre quattro conclusioni.
- I modelli aperti possono svolgere un lavoro contabile reale: il migliore di essi, GLM-5.3 Flash, ha prodotto una cartella di lavoro migliore di quella di GPT-5.6 Sol a circa un decimo del costo per tentativo.
- Nessun modello ha prodotto una cartella di lavoro utilizzabile senza revisione. Anche i punteggi migliori nascondevano saldi errati o affermazioni false, quindi il risultato richiede il controllo di un contabile.
- I risultati variano da un tentativo all'altro: GPT-5.6 Sol ha ottenuto 82 e poi 72 punti con impostazioni identiche, quindi una singola esecuzione dice poco, e il Suo compito andrebbe testato più di una volta.
- Il risultato più vicino a una macchina di proprietà è quello di Qwen3.8-Flash-Next sul chip GB10 del DGX Spark, con 80 punti su 95. Il confronto con ChatGPT e la pagina dei benchmark dei modelli di IA lo collocano in un contesto più ampio.
Per approfondire, il confronto con ChatGPT esamina sette attività d'ufficio, e la pagina dei benchmark dei modelli di IA raccoglie le valutazioni pubbliche degli stessi modelli.
Domande sul test di IA per la contabilità
L'IA è in grado di svolgere lavoro contabile in Excel?
Lo è solo in parte. Nel nostro test di IA per la contabilità su un compito reale di GDPval, il modello migliore ha costruito da 66 fatture una cartella di lavoro Excel riconciliata e ha ottenuto 90 punti su 95, ma ogni cartella di lavoro conteneva ancora errori, dai saldi errati alle affermazioni false. L'IA può preparare questo tipo di lavoro; un contabile deve comunque verificarlo.
Quale modello ha ottenuto il risultato migliore nel test?
Il risultato migliore è stato quello del modello aperto GLM-5.3 Flash, con 90 punti su 95 nel secondo tentativo, seguito da GPT-5.6 Sol con 82 punti nella prima esecuzione e da Qwen3.8-Flash-Next con 80 punti su una macchina con il chip GB10 del DGX Spark. Con un solo compito e pochi tentativi, questo ordine non costituisce una classifica.
I modelli sono stati eseguiti su hardware locale?
Solo i due modelli Qwen sono stati eseguiti su una macchina con il chip NVIDIA GB10, lo stesso del DGX Spark. GLM-5.3 Flash, DeepSeek V4.1 Flash e GPT-5.6 Sol sono stati eseguiti sui servizi online dei rispettivi produttori, quindi i loro risultati non mostrano come si comporterebbero su una macchina di Sua proprietà.
Si tratta di punteggi GDPval ufficiali?
No, non lo sono. Abbiamo utilizzato un compito del set pubblico GDPval di OpenAI con la sua griglia di valutazione originale, ma la revisione è stata svolta da noi, con l'assistenza di un modello di IA e non alla cieca. I risultati ufficiali di GDPval provengono da professionisti che confrontano il lavoro di un modello con quello di un esperto umano senza sapere quale sia l'uno e quale l'altro.
Possiamo svolgere noi stessi un test simile?
Sì, è possibile. Il nostro test drive Le mette a disposizione una o due ore su una macchina preparata con un modello aperto, così che possa eseguire un compito analogo con i Suoi strumenti e giudicare personalmente il risultato.
Testi il Suo compito contabile su una macchina reale
Scelga una configurazione, colleghi lo strumento che già utilizza ed esegua un compito rappresentativo. Nel giro di una o due ore saprà se una macchina di proprietà è in grado di svolgere il lavoro, prima di acquistarne una.
Richieda un endpoint