Teste de IA em contabilidade: modelos abertos e GPT-5.6 em uma tarefa real no Excel
Benjamin Spinola, Fundador
Publicado Atualizado 7 minutos de leitura
Este teste de IA em contabilidade deu aos modelos atuais uma tarefa real do benchmark GDPval, da OpenAI: ler 66 faturas e montar uma planilha do Excel que distribui as despesas antecipadas pelos meses a que se referem e as concilia com o razão contábil. O modelo aberto GLM-5.3 Flash entregou a melhor planilha, com 90 de 95 pontos, à frente do GPT-5.6 Sol, da OpenAI, que fez 82 pontos na primeira execução e 72 na segunda.
Nenhuma planilha estava livre de erros. As pontuações mais altas escondiam saldos errados e afirmações falsas que só uma verificação linha a linha revelou, e é por isso que esta página informa os erros ao lado dos pontos.
Resultados
Cada linha corresponde a um modelo em uma configuração.
| Modelo | Pontos | Tempo | Custo | Avaliação |
|---|---|---|---|---|
| GLM-5.3 Flash, pesos abertosHospedado pela Z.ai | 90 de 95 | 29 minutos | US$ 0,12 | O modelo atendeu a 55 de 56 critérios; apenas o layout apresentou falhas, porque as descrições das contas se sobrepõem às linhas vizinhas. Uma observação que não entra na pontuação afirma incorretamente que uma fatura de seguro foi paga em 15 de janeiro de 2025, quando a fonte informa apenas uma data de vencimento. |
| GPT-5.6 Sol, primeira execuçãoHospedado pela OpenAI | 82 de 95 | Inválido | No mínimo US$ 1,14 | O modelo atendeu a 51 de 56 critérios. Os nomes das abas omitem os números das contas, falta a data de término da apólice de seguro, permanece uma diferença de meio centavo e uma célula exibe ##### em vez do seu valor. |
| Qwen3.8-Flash-Next, pesos abertosUma máquina alugada com o chip NVIDIA GB10 do DGX Spark | 80 de 95 | 33 minutos | US$ 1,08 de aluguel da máquina | O modelo atendeu a 49 de 56 critérios, mas 46 de 264 saldos históricos de faturas estão errados, porque faturas futuras foram contabilizadas cedo demais. Ainda assim, todas as oito verificações de conciliação com o razão contábil conferiram, de modo que os totais esconderam os erros. |
| DeepSeek V4.1 Flash, pesos abertosHospedado pela DeepSeek | 78 de 95 | 9 minutos | US$ 0,14 | O modelo atendeu a 49 de 56 critérios. Faltam as datas de início e de término das faturas, 42 linhas de faturas diferem dos totais em um centavo, os títulos das colunas estão cortados e uma observação que não entra na pontuação encerra incorretamente a amortização dos serviços em junho. |
| GPT-5.6 Sol, segunda execuçãoHospedado pela OpenAI | 72 de 95 | 7 minutos | US$ 1,46 | Com configurações idênticas, o modelo atendeu a apenas 46 de 56 critérios: faltam 198 saldos por fatura de janeiro a março, e os nomes das abas, as datas e a exibição apresentam falhas. |
| Qwen3.8-27B, pesos abertos, raciocínio desativadoUm ASUS Ascent GX10 alugado com o chip NVIDIA GB10 | 39, 35 e 9 de 95 | 30 minutos cada | Cerca de US$ 0,97 de aluguel da máquina para as três | As três tentativas pararam no limite de 30 minutos. As planilhas armazenaram cálculos como texto, lançaram faturas futuras cedo demais ou não continham nenhum valor. |
Para os modelos hospedados, o custo é o valor cobrado pelo uso do modelo; para os dois modelos Qwen, é o aluguel da máquina. O tempo da primeira execução do GPT-5.6 Sol não é válido, porque o computador que executava o teste entrou em modo de suspensão durante a tentativa, e o seu custo está incompleto pelo mesmo motivo.
A tarefa
A tarefa vem do GDPval, o conjunto público da OpenAI de 220 tarefas extraídas do trabalho real de 44 ocupações. Ela faz a pergunta que uma equipe financeira ou um escritório de contabilidade enfrenta a cada fechamento de mês: a IA consegue preparar os cronogramas de despesas antecipadas a partir das faturas?
- A entrada consiste em seis arquivos: um plano de contas em Excel, quatro arquivos mensais de faturas de janeiro a abril de 2025 e um arquivo de faturas de seguro, com 66 páginas em PDF no total.
- O modelo precisa ler as 66 faturas, atribuir cada uma à conta de serviços pagos antecipadamente ou à de seguros pagos antecipadamente e distribuir cada custo pelos meses que ela abrange.
- A entrega é uma planilha do Excel com três abas: um cronograma para cada fatura e uma conciliação mensal com os saldos do razão contábil até abril de 2025.
- A rubrica original da tarefa verifica 56 critérios que valem 95 pontos, desde valores corretos e fórmulas que funcionam até a apresentação das abas.
Como realizamos o teste
Todos os modelos receberam a mesma tarefa, os mesmos arquivos, as mesmas ferramentas e as mesmas instruções, e ninguém corrigiu nada por eles durante ou depois da tentativa.
- O programa de agente Hermes deu a cada modelo as mesmas ferramentas em um contêiner isolado: Python com bibliotecas de planilhas e documentos, LibreOffice para recalcular fórmulas e Poppler para ler as faturas em PDF.
- Cada tentativa teve no máximo 60 minutos, 80 passos e 65.536 tokens por resposta. As três tentativas do Qwen3.8-27B sem raciocínio tiveram 30 minutos, 40 passos e 32.768 tokens, e o DeepSeek V4.1 Flash teve 32.768 tokens por resposta.
- Os modelos hospedados foram executados pelo Vercel AI Gateway, cada um fixado no serviço do próprio fabricante. Os dois modelos Qwen foram executados em máquinas alugadas com o chip NVIDIA GB10, o chip do DGX Spark.
- Cada planilha concluída foi verificada em relação a todos os critérios da rubrica original, com um recálculo independente dos valores de origem e uma visualização renderizada de cada aba.
- As tentativas ocorreram entre 15 e 21 de setembro de 2026.
O que o resultado significa para a sua decisão
Para uma empresa que considera usar IA em uma máquina própria, o teste sustenta quatro conclusões.
- Os modelos abertos conseguem entregar trabalho contábil real: o melhor deles, o GLM-5.3 Flash, entregou uma planilha melhor que a do GPT-5.6 Sol por cerca de um décimo do custo por tentativa.
- Nenhum modelo entregou uma planilha que pudesse ser usada sem revisão. Mesmo as melhores pontuações escondiam saldos errados ou afirmações falsas, por isso o resultado precisa ser conferido por um contador.
- Os resultados variam entre tentativas: o GPT-5.6 Sol fez 82 e depois 72 pontos com configurações idênticas, portanto uma única execução diz pouco, e a sua própria tarefa deve ser testada mais de uma vez.
- O resultado mais próximo de uma máquina própria é o do Qwen3.8-Flash-Next no chip GB10 do DGX Spark, com 80 de 95 pontos. O comparativo com o ChatGPT e a página de benchmarks de modelos de IA o colocam em um contexto mais amplo.
Leia também: o comparativo com o ChatGPT abrange sete tarefas de escritório, e a página de benchmarks de modelos de IA reúne as avaliações públicas dos mesmos modelos.
Perguntas sobre o teste de IA em contabilidade
A IA consegue fazer trabalho contábil no Excel?
Em parte. No nosso teste de IA em contabilidade, com uma tarefa real do GDPval, o melhor modelo montou uma planilha do Excel conciliada a partir de 66 faturas e fez 90 de 95 pontos, mas todas as planilhas ainda continham erros, de saldos errados a afirmações falsas. A IA consegue preparar esse tipo de trabalho; um contador ainda precisa conferi-lo.
Qual modelo teve o melhor desempenho no teste?
O modelo aberto GLM-5.3 Flash, com 90 de 95 pontos na segunda tentativa, seguido pelo GPT-5.6 Sol, com 82 pontos na primeira execução, e pelo Qwen3.8-Flash-Next, com 80 pontos em uma máquina com o chip GB10 do DGX Spark. Com uma única tarefa e poucas tentativas, essa ordem não constitui uma classificação.
Os modelos foram executados em hardware local?
Somente os dois modelos Qwen foram executados em uma máquina com o chip NVIDIA GB10, o chip do DGX Spark. O GLM-5.3 Flash, o DeepSeek V4.1 Flash e o GPT-5.6 Sol foram executados nos serviços hospedados dos seus fabricantes, portanto os resultados deles não mostram como se sairiam em uma máquina própria.
Estas são pontuações oficiais do GDPval?
Não. Usamos uma tarefa do conjunto público GDPval da OpenAI com a sua rubrica original, mas a revisão foi nossa, auxiliada por um modelo de IA e não às cegas. Os resultados oficiais do GDPval vêm de profissionais que comparam o trabalho de um modelo com o de um especialista humano sem saber qual é qual.
Podemos realizar um teste semelhante por conta própria?
Sim. O nosso test drive oferece uma ou duas horas em uma máquina preparada com um modelo aberto, para que você execute uma tarefa comparável com as suas próprias ferramentas e avalie o resultado você mesmo.
Teste a sua própria tarefa contábil em uma máquina real
Escolha uma configuração, conecte a ferramenta que você já usa e execute uma tarefa representativa. Em uma ou duas horas, você saberá se uma máquina própria consegue fazer o trabalho, antes de comprar uma.
Solicitar um endpoint