Benchmarks de modelos de IA 2026: modelos abertos comparados com o GPT-6 e o Claude

Benjamin Spinola, Fundador
Publicado Atualizado 14 minutos de leitura
Os benchmarks de modelos de IA divergem porque cada um mede algo diferente: entregáveis avaliados por especialistas, tarefas longas de software, projetos pagos de freelancers, votos às cegas, um índice combinado e trabalho jurídico, financeiro e tributário. Esta página coloca lado a lado sete sistemas de avaliação públicos para oito modelos atuais, quatro deles fechados e quatro cujos pesos qualquer pessoa pode baixar.
Cada valor vem da própria página do sistema de avaliação, que está listada em Fontes com a data em que a consultamos. Quando um sistema não avaliou um modelo, a célula informa isso. Nada é estimado e nenhuma lacuna é preenchida.
Esta página existe por um motivo: executamos modelos abertos em um NVIDIA DGX Spark para quem está decidindo se uma máquina própria daria conta do seu trabalho. As pontuações públicas são o ponto de partida dessa decisão, por isso esta página também mostra quais desses modelos cabem, de fato, em um único DGX Spark.
Oito modelos em sete sistemas de avaliação
As três linhas destacadas no topo são as famílias de modelos abertos que as nossas configurações executam: Qwen, DeepSeek e GLM. Percorra uma linha para ver um modelo em todos os sistemas de avaliação, ou uma coluna para comparar os modelos em um deles. Em todas as colunas, exceto a de preço, quanto maior o valor, melhor. O texto em fonte menor abaixo de uma pontuação indica a configuração de raciocínio que o sistema de avaliação testou e, quando ele a publica, a sua margem de erro; quando ele testou várias configurações, a tabela mostra a mais alta que ele lista.
A tabela é mais larga do que a sua tela. Role-a para o lado; os nomes dos modelos permanecem fixos.
| Modelo | GDPval | METR | Remote Labor Index | LMArena | Artificial Analysis | Vals AI | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| OpenAI, avaliadores especialistastarefas com vitória ou empate contra profissionaisFonte 125 de set. de 2025 | GDPval-AApontuação Elo, apurada pela Artificial AnalysisFonte 328 de set. de 2026 | Horizonte de tempoduração de tarefa concluída em metade das vezesFonte 48 de mai. de 2026 | Taxa de automaçãoprojetos que um cliente aceitariaFonte 628 de set. de 2026 | Pontuação de textocom base em votos de preferência às cegasFonte 725 de set. de 2026 | Intelligence Indexpontuação combinadaFonte 828 de set. de 2026 | Velocidadetokens de saída por segundoFonte 828 de set. de 2026 | Preço da APIdólares americanos por milhão de tokens, entrada / saídaFonte 828 de set. de 2026 | Pesquisa jurídicaacuráciaFonte 922 de set. de 2026 | FinançasacuráciaFonte 1023 de set. de 2026 | TributaçãoacuráciaFonte 1123 de set. de 2026 | |
| Qwen3.8-27BAlibaba · pesos abertoslançado em ago. de 2026 | não avaliado | 1.409xhigh · ±26 | não avaliado | não avaliado | 1.438 | 34xhigh | 46,3xhigh | 0,50 / 3,00 | 36,06%xhigh | 48,55%xhigh | não avaliado |
| DeepSeek V4.1 FlashDeepSeek · pesos abertoslançado em set. de 2026 | não avaliado | 1.600max | não avaliado | não avaliado | 1.477max | 39max | 220,8max | 0,30 / 1,20 | 41,35%high | 53,48%high | 62,46%high |
| GLM-5.3-FlashZ.ai · pesos abertoslançado em ago. de 2026 | não avaliado | 1.641±23 | não avaliado | não avaliado | 1.474 | 42 | 56,6 | 0,15 / 0,50 | 45,19%max | 57,85%max | não avaliado |
| GPT-6 AstraOpenAI · fechadolançado em set. de 2026 | não avaliado | 1.542max · ±25 | não avaliado | 20,83% | 1.478max | 53max | 63,9max | 10,00 / 50,00 | 39,42%max | 53,54%max | 63,34%max |
| GPT-5.6 SolOpenAI · fechadolançado em jul. de 2026 | não avaliado | 1.588max · ±21 | não avaliado | não avaliado | 1.483xhigh | 47max | 95,5max | 4,00 / 20,00 | 48,08%max | 53,76%max | 67,95%max |
| gpt-oss-120bOpenAI · pesos abertoslançado em ago. de 2025 | não avaliado | 596high · ±24 | 45 min20 min a 86 minFonte 5 | não avaliado | 1.352 | 12high | 236,0high | 0,15 / 0,595 | não avaliado | não avaliado | não avaliado |
| Claude Opus 5.5Anthropic · fechadolançado em set. de 2026 | não avaliado | 1.846max · ±23 | não avaliado | não avaliado | 1.509high | 58max | 95,5max | 4,00 / 20,00 | 50,48%max | 58,59%max | 70,50%max |
| Claude Fable 5.1Anthropic · fechadolançado em set. de 2026 | não avaliado | 1.735max · ±25 | não avaliado | 17,92% | 1.501max | 53max | 69,7max | 10,00 / 50,00 | 55,29%max | 58,88%max | 77,64%max |
“Não avaliado” significa que o sistema de avaliação não publicou um valor para aquele modelo. O Stanford AI Index não tem coluna, porque não pontua modelos individuais.
As barras mostram cada pontuação em relação à mais alta da sua coluna, como as barras de dados de uma planilha. O preço não tem barras, porque um preço mais alto não é melhor, e uma coluna com uma única avaliação também não as tem.
Abaixo do título de cada coluna estão o número da sua fonte na lista ao pé da página e a data dos seus valores: a data de atualização da própria fonte, quando ela a informa, e, caso contrário, o dia em que a consultamos.
Velocidade e preço são os valores da Artificial Analysis para o serviço do próprio fabricante do modelo e, no caso do gpt-oss-120b, a mediana entre os serviços que o oferecem. Não são medições em um DGX Spark.
Como funciona cada sistema de avaliação
Sete sistemas de avaliação, sete perguntas diferentes. Saber a qual pergunta uma pontuação responde importa mais do que a própria pontuação.
OpenAI; Artificial Analysis
GDPval e GDPval-AA
A OpenAI criou o GDPval a partir de trabalho real em 44 ocupações. Especialistas do setor comparam a entrega de um modelo, como uma planilha, uma apresentação de slides ou um memorando, com a de um profissional, sem saber qual é qual, e o resultado é a parcela de tarefas em que o modelo vence ou empata. Os resultados da OpenAI avaliados por especialistas, publicados em setembro de 2025, abrangem modelos mais antigos, como o GPT-5 e o Claude Opus 4.1. Não encontramos nenhum para os modelos desta página, e o próprio ranking da OpenAI não está mais ativo, por isso essa coluna indica “não avaliado” em todas as linhas.
O ranking da OpenAI agora remete ao GDPval-AA, que a Artificial Analysis aplica às 220 tarefas públicas do GDPval. Cada modelo trabalha nas tarefas com uma linha de comando e acesso à web, e comparações às cegas do trabalho concluído produzem uma pontuação que sobe à medida que um modelo vence com mais frequência [uma pontuação Elo]. A escala é fixada atribuindo ao DeepSeek V4.1 Flash, em sua configuração máxima, exatamente 1.600. A Artificial Analysis publica, para as demais pontuações desta página, uma margem de 21 a 26 pontos para mais ou para menos [um intervalo de confiança de 95%], de modo que diferenças menores não constituem uma classificação.
METR
Horizonte de tempo do METR
O METR mede quão longa pode ser uma tarefa que um agente de IA consegue concluir por conta própria. Primeiro, ele registra quanto tempo pessoas qualificadas precisam para cada uma das suas tarefas, que vão de alguns segundos a muitas horas e são, em sua maioria, trabalhos de programação, aprendizado de máquina e segurança da informação. Em seguida, deixa o agente tentar cada tarefa várias vezes e determina a duração de tarefa em que o agente tem sucesso em metade das vezes [o horizonte de tempo de 50%].
Um exemplo: o gpt-oss-120b tem um horizonte de tempo de cerca de 45 min. Em tarefas que levam mais ou menos esse tempo para uma pessoa qualificada, como treinar um pequeno programa que classifica dados em categorias [um classificador], que o METR registra com cerca de 49 min, o modelo tem sucesso em cerca de metade das vezes. Ele tem sucesso com mais frequência em tarefas mais curtas e com menos frequência em tarefas mais longas. O valor descreve quanto tempo a tarefa leva para uma pessoa, e não por quanto tempo o modelo trabalha nela. O METR atualizou as suas medições pela última vez em 8 de mai. de 2026, antes do lançamento de todos os outros modelos desta página, e ele próprio afirma que não consegue medir todos os lançamentos. O valor do gpt-oss-120b vem do conjunto original de tarefas do METR [Time Horizon 1.0], com um intervalo de confiança de 95% de 20 min a 86 min.
Scale AI e Center for AI Safety
Remote Labor Index
O Remote Labor Index reúne projetos reais pelos quais freelancers foram pagos, do desenvolvimento de jogos à arquitetura e à análise de dados, e os entrega a agentes de IA. Avaliadores treinados comparam cada resultado com o trabalho aceito do profissional, e a pontuação é a parcela de projetos que um cliente razoável aceitaria [a taxa de automação]. Os projetos levaram, em média, 28,9 horas para os profissionais.
O ranking lista dois dos modelos desta página, o GPT-6 Astra e o Claude Fable 5.1. Os outros seis não foram avaliados.
Arena (arena.ai, antes lmarena.ai)
LMArena, agora Arena
As pessoas fazem uma pergunta a dois modelos anônimos, leem as duas respostas e votam na que preferem. Os votos se transformam em uma pontuação para cada modelo. Ela mede quais respostas as pessoas preferem em uma conversa, e não se um modelo conclui um trabalho.
A tabela usa a visualização padrão do ranking de texto, com a configuração que a Arena chama de style control. Ele foi atualizado pela última vez em 25 de set. de 2026, com base em 8.528.723 votos sobre 409 modelos, e avalia todos os oito modelos desta página.
Artificial Analysis
Artificial Analysis Intelligence Index
A própria Artificial Analysis executa dez avaliações, entre elas GDPval-AA, Terminal-Bench 4.0 e Humanity's Last Exam, e as combina em uma única pontuação por modelo [Intelligence Index versão 4.3.2]. Ela também mede a rapidez com que cada modelo escreve a sua resposta e informa o seu preço por milhão de tokens [um token é uma palavra ou parte de uma palavra].
A velocidade é medida, e o preço é informado, para o serviço que cada página de modelo indica: o do próprio fabricante, para todos os modelos desta página exceto o gpt-oss-120b, para o qual a Artificial Analysis informa a mediana entre os serviços que o oferecem. Nenhum dos dois diz nada sobre a velocidade em um DGX Spark, que depende da máquina.
Stanford HAI
Stanford AI Index
O AI Index é um relatório anual, não um ranking. Ele reúne dados sobre pesquisa, desempenho, investimento e políticas públicas e extrai deles as tendências.
A edição de 2026, publicada em abril de 2026, não pontua por conta própria nenhum dos modelos desta página, por isso não tem coluna na tabela. As suas conclusões sobre modelos abertos e fechados estão resumidas mais abaixo.
Vals AI
Vals AI
A Vals AI testa modelos em tarefas jurídicas, financeiras e tributárias próprias. A tabela usa o seu benchmark atual em cada área: o Legal Research Bench, que trata de pesquisa no direito dos Estados Unidos; o Finance Agent v2, que abrange as tarefas centrais de um analista financeiro; e o Tax Agent Bench, que faz perguntas de nível de pesquisa sobre a tributação de empresas nos Estados Unidos.
As pontuações são a acurácia em porcentagem, tal como a Vals AI a informa. No Legal Research Bench, uma resposta só conta se todos os elementos exigidos estiverem corretos. O gpt-oss-120b não aparece em nenhum dos três, e o Tax Agent Bench não avaliou o Qwen3.8-27B nem o GLM-5.3-Flash.
Quais desses modelos cabem em um único DGX Spark
Um NVIDIA DGX Spark tem 128 GB de memória, compartilhados entre o processador e o chip gráfico. Um modelo só roda nele se os seus pesos couberem nesse espaço com folga para o texto com o qual ele está trabalhando. Os quatro modelos fechados não podem ser executados de forma alguma em uma máquina própria, porque os seus fabricantes não publicam os pesos.
Para os quatro modelos abertos, a tabela lista os pesos do próprio fabricante e as menores versões completas que encontramos. Armazenar cada peso com menos bits [quantização] deixa um modelo menor e pode reduzir a sua precisão.
| Modelo | Cabe em um único DGX Spark? | Versões e seus tamanhos |
|---|---|---|
| gpt-oss-120b | Sim |
|
| Qwen3.8-27B | Sim | |
| DeepSeek V4.1 Flash | Não | |
| GLM-5.3-Flash | Somente abaixo de 4 bits |
Os tamanhos são a soma dos arquivos de pesos que cada repositório lista no Hugging Face, em gigabytes de um bilhão de bytes. Nós mesmos fizemos a soma; os repositórios não informam os totais. O valor da memória é da NVIDIA.
Versões que removem partes de um modelo ou leem os seus pesos do disco durante a execução ficam de fora, porque são um modelo diferente ou um uso diferente da memória.
Em setembro de 2026, o nosso laboratório executou a versão da Inferact do Qwen3.8-27B em uma máquina de 128 GB com o chip GB10 da NVIDIA, o chip que está dentro do DGX Spark.
Fonte 13consultado em 28 de set. de 2026A nossa própria medição, em uma tarefa do GDPval
Esta medição é separada dos sistemas de avaliação e identificada como nossa: em setembro de 2026, o nosso laboratório executou uma tarefa de contabilidade do conjunto público GDPval, da OpenAI, e a tabela abaixo mostra o desempenho de três dos modelos desta página nessa tarefa. O trabalho consiste em montar uma planilha de amortização de despesas antecipadas a partir de seis arquivos de origem que contêm 66 faturas. Os modelos trabalharam por meio dos serviços hospedados dos seus fabricantes, com as mesmas ferramentas e instruções, e revisamos cada planilha concluída com base na rubrica original da tarefa, de 56 critérios que valem 95 pontos.
| Modelo | Pontos | Execução | Data |
|---|---|---|---|
| GLM-5.3-Flash | 90 de 95 | segunda tentativa | 16 de set. de 2026 |
| GPT-5.6 Sol | 82 de 95 | primeira de duas execuções | 17 de set. de 2026 |
| GPT-5.6 Sol | 72 de 95 | segunda de duas execuções | 17 de set. de 2026 |
| DeepSeek V4.1 Flash | 78 de 95 | uma execução | 16 de set. de 2026 |
A primeira tentativa do GLM-5.3-Flash parou sem gerar uma planilha quando esgotou o seu limite de resposta de 32.768 tokens; a sua pontuação vem de uma segunda tentativa, com limite de 65.536 tokens por resposta. O DeepSeek V4.1 Flash foi executado com o limite de 32.768 tokens.
O relatório completo do teste de IA em contabilidade descreve a tarefa, cada tentativa, inclusive as que falharam, e os erros encontrados em cada planilha.
O panorama mais amplo, segundo o Stanford AI Index
O AI Index de 2026 não pontua por conta própria nenhum desses modelos, mas quatro das suas conclusões ajudam a ler a tabela. Os números de página se referem ao PDF do relatório.
- Os modelos abertos estão logo atrás, não no mesmo nível. Em março de 2026, o principal modelo fechado na Arena, Claude Opus 4.6 (1.503), estava à frente do principal modelo de pesos abertos, GLM-5 (1.454), por 49 pontos, ou 3,4%. Em agosto de 2024, a diferença era de 0,5%. Página 76.
- O topo está concorrido. Em março de 2026, os melhores modelos das quatro empresas líderes estavam a menos de 25 pontos de distância uns dos outros na Arena, e o relatório sugere que, por isso, custo, velocidade, confiabilidade e adequação a uma área específica podem passar a pesar mais. Página 78.
- Os benchmarks têm falhas próprias. Uma revisão citada no relatório encontrou perguntas inválidas em benchmarks amplamente usados, em proporções que vão de 2% no MMLU Math a 42% no GSM8K. Página 71.
- Os fabricantes de modelos divulgam menos. A pontuação média no Foundation Model Transparency Index caiu de 58 em 2024 para 40 em 2025, e os desenvolvedores de modelos abertos tenderam a pontuar melhor. Página 164.
Resumo: os modelos abertos competem em trabalho profissional
Em setembro de 2026, os modelos abertos pontuam à frente dos dois modelos fechados atuais da OpenAI, o GPT-6 Astra e o GPT-5.6 Sol, em duas avaliações de trabalho profissional. No GDPval-AA, que avalia modelos nas 220 tarefas públicas do GDPval, o GLM-5.3-Flash marca 1.641, contra 1.588 do GPT-5.6 Sol e 1.542 do GPT-6 Astra, uma vantagem maior do que as margens publicadas. No benchmark de finanças da Vals AI, ele chega a 57,85%, contra 53,76% do GPT-5.6 Sol e 53,54% do GPT-6 Astra. Nos votos às cegas da Arena, o DeepSeek V4.1 Flash marca 1.477, contra 1.478 do GPT-6 Astra.
Os modelos da Anthropic ainda lideram a maioria das avaliações. O Claude Opus 5.5 marca 1.846 no GDPval-AA e, no Intelligence Index da Artificial Analysis, que combina dez avaliações, marca 58, contra 42 do GLM-5.3-Flash.
Os modelos abertos têm uma propriedade que falta aos fechados: como os seus fabricantes publicam os pesos, eles rodam em hardware que pertence a você. O Qwen3.8-27B e o gpt-oss-120b cabem em um único DGX Spark com quatro bits ou mais, o GLM-5.3-Flash só cabe em versões abaixo de quatro bits, e o DeepSeek V4.1 Flash precisa de mais memória do que uma única máquina tem. Em uma máquina própria, você decide onde os seus documentos e prompts são processados e quem tem acesso a eles, em vez de enviá-los ao serviço de um fabricante de modelos.
A melhor forma de avaliar se um modelo aberto que cabe na sua própria máquina faz o seu trabalho bem o bastante é usar as suas próprias tarefas. Disponibilizamos por hora um DGX Spark com um modelo aberto; você conecta as ferramentas que já usa e executa nele os seus próprios fluxos de trabalho antes de decidir por uma máquina própria.
Fontes
Cada valor desta página vem de uma destas páginas, todas consultadas em 28 de set. de 2026. Quando uma página informa a data da sua última atualização, essa data também é indicada.
- OpenAI: GDPval: measuring the performance of our models on real-world tasks, atualizado em 25 de set. de 2025, consultado em 28 de set. de 2026
- OpenAI: GDPval leaderboard, consultado em 28 de set. de 2026
- Artificial Analysis: GDPval-AA v2.1 Leaderboard, consultado em 28 de set. de 2026
- METR: Task-Completion Time Horizons of Frontier AI Models, atualizado em 8 de mai. de 2026, consultado em 28 de set. de 2026
- METR: Time Horizon 1.0 results (benchmark_results_1_0.yaml), consultado em 28 de set. de 2026
- Scale AI: Remote Labor Index (RLI) leaderboard, consultado em 28 de set. de 2026
- Arena (formerly LMArena): Text Arena leaderboard, overall, default view with style control, atualizado em 25 de set. de 2026, consultado em 28 de set. de 2026
- Artificial Analysis: LLM Leaderboard and model pages, Intelligence Index v4.3.2, consultado em 28 de set. de 2026
- Vals AI: Legal Research Bench, atualizado em 22 de set. de 2026, consultado em 28 de set. de 2026
- Vals AI: Finance Agent v2, atualizado em 23 de set. de 2026, consultado em 28 de set. de 2026
- Vals AI: Tax Agent Bench, atualizado em 23 de set. de 2026, consultado em 28 de set. de 2026
- Stanford HAI: The 2026 AI Index Report (April 2026), consultado em 28 de set. de 2026
- NVIDIA: NVIDIA DGX Spark, consultado em 28 de set. de 2026
- OpenAI on Hugging Face: openai/gpt-oss-120b, consultado em 28 de set. de 2026
- Qwen on Hugging Face: Qwen/Qwen3.8-27B, consultado em 28 de set. de 2026
- Inferact on Hugging Face: Inferact/Qwen3.8-27B-NVFP4, consultado em 28 de set. de 2026
- DeepSeek on Hugging Face: deepseek-ai/DeepSeek-V4.1-Flash, consultado em 28 de set. de 2026
- NVIDIA on Hugging Face: nvidia/DeepSeek-V4.1-Flash-NVFP4, consultado em 28 de set. de 2026
- apetersson on Hugging Face: apetersson/DeepSeek-V4.1-Flash-MixedQ2-GGUF, consultado em 28 de set. de 2026
- Z.ai on Hugging Face: zai-org/GLM-5.3-Flash, consultado em 28 de set. de 2026
- NVIDIA on Hugging Face: nvidia/GLM-5.3-Flash-NVFP4, consultado em 28 de set. de 2026
- Unsloth on Hugging Face: unsloth/GLM-5.3-Flash-GGUF, consultado em 28 de set. de 2026
A nossa própria medição vem dos registros do nosso laboratório sobre as execuções listadas na tabela dessa medição. A tarefa está listada sob o identificador 7d7fc9a7-21a7-4b83-906f-416dea5ad04f no conjunto público GDPval da OpenAI, junto com os respectivos arquivos de origem e a rubrica.
Leia também: os comparativos do private-local.ai com ChatGPT, Palantir, LocalAI e Private AI e o que é IA local e quando ela faz sentido.
Perguntas sobre benchmarks de modelos de IA
Em quais benchmarks de modelos de IA devo confiar?
Confie em cada um naquilo que ele mede, e em nenhum deles para tudo. O GDPval e o Remote Labor Index analisam entregas de trabalho concluídas; o METR, a duração das tarefas que um agente consegue completar; a Arena, quais respostas as pessoas preferem; e a Vals AI, o trabalho jurídico, financeiro e tributário. Comece pelo que estiver mais próximo do seu próprio trabalho e, depois, teste o modelo nas suas próprias tarefas, porque nenhum benchmark público foi construído a partir delas.
Por que um modelo vai bem em um sistema de avaliação e mal em outro?
Porque os sistemas testam trabalhos diferentes em condições diferentes: outras tarefas, outras ferramentas, outras configurações de raciocínio e outros avaliadores. Nesta tabela, o GPT-6 Astra tem a maior pontuação no Remote Labor Index entre os modelos listados, mas uma pontuação no GDPval-AA menor que a do GPT-5.6 Sol. Os dois resultados podem estar corretos ao mesmo tempo.
Por que tantas células indicam “não avaliado”?
Os sistemas de avaliação testam novos modelos nos seus próprios cronogramas, e sete destes oito modelos foram lançados entre julho e setembro de 2026. O METR não publica novas medições desde maio de 2026, a OpenAI não mantém mais o seu próprio ranking do GDPval, e o Remote Labor Index avaliou até agora dois dos oito modelos. Deixamos essas células vazias em vez de fazer suposições.
Posso executar esses modelos em uma máquina própria?
Somente os abertos. O gpt-oss-120b e o Qwen3.8-27B cabem em um único DGX Spark com 128 GB de memória. O GLM-5.3-Flash só cabe em versões que armazenam cada peso em menos de quatro bits, e não encontramos nenhuma versão completa do DeepSeek V4.1 Flash que caiba. Os modelos fechados da OpenAI e da Anthropic não podem ser executados no seu próprio hardware.
Quão próximos os modelos abertos estão dos fechados?
Depende da avaliação. Na Arena, o DeepSeek V4.1 Flash e o GLM-5.3-Flash pontuam perto do GPT-6 Astra e do GPT-5.6 Sol, e no GDPval-AA o GLM-5.3-Flash pontua acima de ambos. No Intelligence Index, todos os modelos fechados da tabela pontuam acima de todos os abertos. O Stanford AI Index constatou que a diferença entre o melhor modelo fechado e o melhor modelo aberto na Arena voltou a aumentar em 2025, depois de quase desaparecer em 2024.
As pontuações públicas abrem a questão. As suas próprias tarefas a respondem.
Escolha uma configuração, conecte as ferramentas que você já usa e execute o trabalho que importa para você no modelo e na máquina que você compraria. Em uma ou duas horas, você descobre se essa combinação dá conta do trabalho.
Solicitar um endpoint