Como rodar IA localmente: configurações, modelos e quais combinações funcionam

Publicado 17 de setembro de 2026Atualizado 26 de outubro de 202634 minutos de leitura

A inteligência artificial (IA) não precisa rodar nos servidores de um provedor: modelos abertos podem ser baixados e executados em um computador que pertence a você. Este guia explica como rodar IA localmente, com dados de outubro de 2026: o que a execução de um modelo envolve e o que precisa rodar, três configurações de hardware, os modelos abertos por tamanho e quais deles rodam bem em cada máquina, seguidos dos primeiros passos, da avaliação dos resultados e dos custos. A página sobre IA local explica o que é IA local e quando ela compensa o custo.

Inferência e treinamento: o que significa rodar IA localmente

Inferência: usar um modelo pronto para responder

Um modelo de linguagem é um grande arquivo de números, chamados parâmetros ou pesos, que o seu desenvolvedor calculou previamente a partir de uma enorme quantidade de texto. Usar esse arquivo pronto para responder a uma solicitação chama-se inferência, e é isso que rodar IA localmente quase sempre significa.

A inferência tem duas fases, ambas medidas em tokens por segundo, sendo um token uma palavra ou parte de uma palavra. A leitura da entrada, chamada processamento do prompt, depende principalmente do poder de computação. A escrita da resposta, chamada geração, depende principalmente da rapidez com que a máquina transfere os pesos da memória para o processador, o que se chama largura de banda da memória.

Treinamento e ajuste fino: mudar o que um modelo sabe

O treinamento calcula os pesos desde o início e exige muito mais computação: a Meta informa 1,46 milhão de horas em placas de vídeo H100 para o Llama 3.1 8B, cerca de 167 anos em uma única placa (cálculo nosso). O ajuste fino adapta um modelo existente com os seus próprios exemplos, para que ele siga mais de perto um formato, um estilo ou uma tarefa.

Alterar todos os pesos exige pelo menos 16 bytes de memória por parâmetro, para os pesos e para os valores que o treinamento guarda sobre cada um deles, segundo o artigo ZeRO da Microsoft, de 2019, sobre o treinamento de modelos grandes, o que equivale a cerca de 128 gigabytes (GB) para 8 bilhões de parâmetros, antes dos dados de trabalho do próprio treinamento. Por isso, uma única máquina geralmente treina apenas um pequeno complemento, conhecido como adaptação de baixo posto (LoRA), muitas vezes sobre uma cópia do modelo comprimida para 4 bits por peso, o que se chama adaptação de baixo posto quantizada (QLoRA); para 8 bilhões de parâmetros, a ferramenta de ajuste fino Unsloth indica 6 GB de memória de vídeo como o mínimo para a QLoRA.

O que uma máquina local consegue e não consegue fazer

Uma máquina local consegue rodar modelos abertos cujos arquivos e cuja memória de trabalho cabem na sua memória e cujo formato o seu software suporta, e consegue fazer o ajuste fino de modelos com LoRA ou QLoRA.
Ela não consegue treinar do zero um modelo capaz: a computação que a Meta informa para o seu maior modelo Llama 3 levaria cerca de 1.200 anos mesmo no pico teórico do DGX Spark da NVIDIA, uma máquina de mesa descrita abaixo (cálculo nosso).
Ela não se iguala aos principais modelos hospedados em todas as tarefas: no BrowseComp, um teste que mede a capacidade de encontrar na web fatos difíceis de localizar, a OpenAI informa 91,5% para o GPT-6 Astra, enquanto os melhores modelos abertos que cabem em uma única máquina obtiveram de 64% a 68% no ranking da Steel de 4 de setembro de 2026, conforme expõe a nossa comparação com o ChatGPT.

O que precisa rodar

Uma configuração funcional tem três camadas: os arquivos do modelo, o programa que os executa e os aplicativos por meio dos quais as pessoas os usam. A maioria dos problemas surge nos pontos em que as camadas se conectam, por isso verifique as suas próprias ferramentas logo no início.

Os arquivos do modelo

Um modelo é distribuído como arquivos que contêm os seus pesos, baixados do Hugging Face, o principal site público de modelos, ou dos catálogos do Ollama e do LM Studio, geralmente em várias versões que armazenam cada peso com um número diferente de bits. Armazenar os pesos com menos bits, o que se chama quantização, torna um modelo menor e mais rápido, mas pode custar precisão.

O tamanho de uma versão pode ser estimado com antecedência: os parâmetros em bilhões, multiplicados pelos bits por peso e divididos por oito, resultam em gigabytes. O Qwen3.8-27B, com 27,78 bilhões de parâmetros, precisa de 55,6 GB a 16 bits, e as suas versões de 4 bits ultrapassam os 13,9 GB da fórmula porque algumas partes permanecem em precisão maior: em 26 de outubro de 2026, elas variavam de 14,3 GB, na Unsloth, a 18 GB, no Ollama, e a versão da Inferact em NVFP4, o formato de 4 bits da NVIDIA, tinha 26,4 GB.

O Ollama e o LM Studio também listam modelos em nuvem, que rodam nos servidores do provedor; em 26 de outubro de 2026, eles ofereciam o GLM-5.3-Flash e o DeepSeek-V4.1-Flash apenas dessa forma.

O runtime de inferência (Ollama, LM Studio, llama.cpp, vLLM)

O runtime de inferência carrega o modelo, realiza o cálculo e oferece um endereço para solicitações, geralmente no formato da interface de programação de aplicações (API) da OpenAI, para que ferramentas desenvolvidas para a OpenAI possam usar um modelo local em seu lugar.

O Ollama é o ponto de partida mais simples: ele é instalado como aplicativo de desktop no macOS e no Windows ou com um único comando no Linux, e a sua biblioteca listava 260 famílias de modelos em 26 de outubro de 2026.
O LM Studio é um aplicativo de desktop que estima a memória de que um modelo precisa antes de carregá-lo; ele é gratuito para uso profissional desde 8 de julho de 2025, mas não é de código aberto.
O llama.cpp é o mecanismo de código aberto por trás de muitas ferramentas de desktop, e o seu próprio servidor, o llama-server, processa várias solicitações em conjunto.
O vLLM disponibiliza um modelo para muitos usuários, sobretudo em placas de vídeo da NVIDIA, e publica pacotes de software prontos, conhecidos como contêineres, para os sistemas Grace Blackwell da NVIDIA, incluindo o DGX Spark, mas exige mais configuração.

O software em torno do modelo: memória, pesquisa na web e ferramentas

Um modelo, por si só, não se lembra de nada entre conversas e não consegue pesquisar nem agir. Essas funções vêm do software que o cerca.

Aplicativos de chat como Open WebUI, AnythingLLM e Jan dão aos modelos locais uma janela de chat; o Open WebUI acrescenta memória entre conversas e pesquisa em documentos enviados, ao passo que o Jan indicava a memória como um recurso previsto para breve em 26 de outubro de 2026.
A pesquisa na web nunca é local, porque a consulta vai para um serviço de busca; a pesquisa na web do Ollama, por exemplo, é um serviço em nuvem que exige uma conta no Ollama.
As ferramentas permitem que um modelo leia arquivos, consulte bancos de dados ou execute programas, geralmente por meio do Model Context Protocol (MCP). Agentes de programação, programas com os quais um modelo planeja e executa várias etapas de trabalho de programação, como OpenCode, Cline e Aider, conectam-se a um modelo local pelo mesmo endereço compatível com a OpenAI que qualquer outro aplicativo.

Três configurações para rodar IA localmente

As três configurações diferem sobretudo na memória, que determina quais modelos cabem, e na largura de banda da memória, que determina a rapidez com que um modelo escreve.

Configuração 1: um computador comum

Um computador comum é o notebook ou o computador de mesa que você já tem; na Steam Hardware Survey de setembro de 2026, a maioria dos computadores tinha 16 ou 32 GB de memória. Os Macs com Apple silicon compartilham um único conjunto de memória entre o processador e a parte gráfica, por exemplo de 16 a 32 GB a 153 gigabytes por segundo (GB/s) em um MacBook Air com M5. Uma placa de vídeo para computador de mesa, como uma RTX 5060 Ti com 16 GB ou uma RTX 5090 com 32 GB, é muito mais rápida, mas apenas para modelos que cabem na sua própria memória.

Configuração 2: uma máquina dedicada de alto desempenho

Uma máquina dedicada de alto desempenho é comprada para IA e atende uma ou várias pessoas. As máquinas com memória compartilhada comportam modelos grandes a uma velocidade moderada: as máquinas com o Ryzen AI Max+ 395 da AMD, como o Framework Desktop, têm até 128 GB a 256 GB/s, e o Mac Studio com M5 Ultra tem até 512 GB a 1,2 terabyte por segundo (TB/s), embora a Apple indicasse, em 26 de outubro de 2026, que a opção de 512 GB chegaria no fim de outubro.

As estações de trabalho gráficas têm menos memória por placa, mas são muito mais rápidas: a RTX PRO 6000 Blackwell da NVIDIA tem 96 GB a 1.792 GB/s, e quatro das suas edições Max-Q, limitadas a um consumo de energia menor, cabem em uma única estação de trabalho.

Configuração 3: um NVIDIA DGX Spark

O NVIDIA DGX Spark é um pequeno computador de mesa construído em torno do chip GB10, que combina um processador Arm de 20 núcleos e um processador gráfico Blackwell com memória compartilhada, 128 GB a 273 GB/s na versão original; ele roda o DGX OS, a versão do Ubuntu Linux da NVIDIA. Outros sete fabricantes vendem máquinas com o mesmo chip, seis deles oferecem uma versão de 64 GB desde 23 de outubro de 2026, e a NVIDIA afirma que uma máquina de 128 GB comporta modelos de até 200 bilhões de parâmetros.

O seu ponto forte é a memória, e o seu ponto fraco é a largura de banda: no teste da LMSYS de outubro de 2025, que usou o Ollama, o gpt-oss-20b escreveu 49,7 tokens por segundo em um DGX Spark e 205 em uma RTX 5090, enquanto o llama.cpp alcançou 83,43 com o mesmo modelo no DGX Spark em fevereiro de 2026, de modo que números obtidos com softwares diferentes não são diretamente comparáveis. Por isso, ele é adequado a modelos de cerca de 65 a 100 GB, que nenhuma placa de vídeo de consumo comporta; a seção sobre custos descreve como testar um antes de comprar.

As três configurações lado a lado

As três configurações comparadas, em 26 de outubro de 2026
Configuração	Memória	Largura de banda da memória	Preço	Consumo de energia	Usuários atendidos ao mesmo tempo
Configuração 1: um computador comum	A maioria tem 16 ou 32 GB de memória do sistema e 8 ou 16 GB na placa de vídeo.	Ela varia de 153 GB/s em um MacBook Air com M5 a 1.792 GB/s em uma RTX 5090.	Um MacBook Air com M5 custa a partir de US$ 1.299. Em 22 de outubro de 2026, o menor preço de uma RTX 5060 Ti com 16 GB nos Estados Unidos era US$ 789, e, em agosto de 2026, o preço mediano de uma RTX 5090 na varejista Newegg era de cerca de US$ 4.700.	A NVIDIA especifica a RTX 5060 Ti com 180 watts (W) e a RTX 5090 com 575 W.	Ela é adequada para uma pessoa; não encontramos nenhuma medição com vários usuários.
Configuração 2: uma máquina dedicada de alto desempenho	As máquinas com memória compartilhada têm até 128 GB com um Ryzen AI Max+ 395 ou um M5 Max e 96, 256 ou 512 GB com um M5 Ultra, e uma estação de trabalho tem 96 GB por placa de vídeo.	Ela varia de 256 GB/s em um Ryzen AI Max+ 395 a 1.792 GB/s em uma RTX PRO 6000.	Um Framework Desktop com 128 GB aparece por US$ 3.449, mas está esgotado, um Mac Studio com M5 Ultra e 96 GB custa a partir de US$ 5.499, e uma única placa RTX PRO 6000 aparecia por US$ 16.000 em 12 de agosto de 2026, quando estava esgotada.	A Signal65 mediu 196 W na tomada para o Ryzen AI Halo da AMD, uma pequena máquina de mesa com um processador Ryzen AI Max+, rodando o gpt-oss-120b; a Apple especifica o Mac Studio com até 480 W, e a NVIDIA especifica a RTX PRO 6000 com até 600 W, ou 300 W na edição Max-Q.	Ela atende uma pessoa ou uma equipe pequena, e uma estação de trabalho gráfica atende mais pessoas ao mesmo tempo.
Configuração 3: um NVIDIA DGX Spark	Ele tem 128 GB, ou 64 GB na versão menor.	A versão de 128 GB transfere 273 GB/s; a NVIDIA não informou a largura de banda da versão de 64 GB.	O preço noticiado da Founders Edition da própria NVIDIA, com 128 GB, era de US$ 6.950, a versão de 64 GB custa a partir de US$ 4.999, e a Dell anuncia a sua máquina de 128 GB com o mesmo chip por US$ 6.593.	A ServeTheHome mediu de 60 a 90 W em muitas cargas de trabalho de modelos de linguagem, e a fonte de alimentação é especificada para 240 W.	O vLLM o descreve como destinado a um usuário ou a poucas solicitações processadas em conjunto e limitou o seu próprio teste a quatro solicitações simultâneas.

As especificações e os preços da Apple, da Framework e da Dell foram consultados em 26 de outubro de 2026. O preço da RTX PRO 6000 é o do anúncio no NVIDIA Marketplace de 12 de agosto de 2026, quando a placa estava esgotada, conforme noticiado pelo Tom's Hardware; os demais preços de placas de vídeo vêm da PC Gamer e do rastreador de preços do Tom's Hardware (22 de outubro de 2026), e os preços do DGX Spark vêm da NVIDIA e de notícias da imprensa de 2 de outubro de 2026. Os demais números vêm da Steam Hardware Survey (setembro de 2026), da ServeTheHome (14 de outubro de 2025), da Signal65 (6 de julho de 2026) e do vLLM (1º de junho de 2026).

Modelos de pesos abertos por tamanho

Modelos de pesos abertos são modelos cujos desenvolvedores publicam os arquivos treinados para que qualquer pessoa os baixe. Em um modelo denso, todos os parâmetros trabalham em cada token; em um modelo de mistura de especialistas, os parâmetros são divididos em grupos chamados especialistas, dos quais apenas alguns trabalham em cada token, de modo que o modelo inteiro precisa caber na memória, mas escreve quase tão rápido quanto um modelo muito menor. Um nome como Qwen3.5-35B-A3B significa 35 bilhões de parâmetros no total, dos quais 3 bilhões estão ativos. Os tamanhos abaixo são downloads de 4 bits do Ollama, do LM Studio ou do Hugging Face, consultados em 26 de outubro de 2026.

Modelos pequenos (até cerca de 10 bilhões de parâmetros)

Os modelos pequenos cabem em quase qualquer computador atual, mas são a classe menos capaz, por isso são adequados a tarefas curtas e bem definidas, como resumir, redigir rascunhos, classificar textos e responder a perguntas sobre imagens.

O Gemma 4 E2B e o E4B, do Google (31 de março de 2026), aceitam texto, imagens e áudio, e os seus downloads têm 4,6 e 6,6 GB.
O Qwen3.5-4B e o Qwen3.5-9B (27 de fevereiro de 2026) têm downloads de 3,3 e 6,6 GB e abrangem 201 idiomas.
O Ministral 3 8B, da Mistral AI (2 de dezembro de 2025), tem um download de 6,0 GB, e o Phi-4-mini, da Microsoft, um download de 2,5 GB.
O Nemotron 3.5 Bolt E4B, da NVIDIA (23 de outubro de 2026), tem 8 bilhões de parâmetros, 4 bilhões deles efetivos, e um download de 7,9 GB.

Modelos médios (cerca de 12 a 40 bilhões de parâmetros)

Os modelos médios são os maiores que cabem em uma placa de vídeo com 24 ou 32 GB, e os seus desenvolvedores os descrevem como adequados a programação, trabalho com agentes e documentos mais longos.

O Qwen3.8-27B (14 de agosto de 2026) é um modelo denso que a Qwen descreve como forte em programação e em tarefas de agentes; o seu download tem 18 GB.
O Gemma 4 é oferecido como 12B com entrada de áudio (8,0 GB), como o modelo de mistura de especialistas 26B A4B (18 GB) e como o modelo denso 31B (20 GB).
O gpt-oss-20b, da OpenAI (5 de agosto de 2025), tem 3,6 bilhões de parâmetros ativos e é publicado com 13,8 GB, para que rode com 16 GB de memória.
O Muse Glimmer-30B, da Meta (agosto de 2026), foi projetado para agentes de programação em uma única placa de vídeo de consumo, e o seu download tem 18 GB.

Modelos grandes de mistura de especialistas (cerca de 80 a 250 bilhões de parâmetros)

Os modelos grandes de mistura de especialistas precisam de cerca de 65 a 120 GB a 4 bits: versões de até cerca de 100 GB são adequadas a uma máquina de 128 GB, versões de até cerca de 80 GB a uma estação de trabalho com uma placa de 96 GB, e versões maiores precisam de duas placas. Com 5 a 12 bilhões de parâmetros ativos, eles escrevem a uma velocidade utilizável nessas máquinas.

O gpt-oss-120b, da OpenAI, tem 117 bilhões de parâmetros, 5,1 bilhões deles ativos, e um download de 65 GB.
O Mistral Small 4 (16 de março de 2026) tem 119 bilhões de parâmetros, apesar do nome; nem a biblioteca do Ollama nem o catálogo do LM Studio o listavam em 26 de outubro de 2026, e a versão da Unsloth no Hugging Face tem 73,8 GB.
O Nemotron 3.5 Super VL, da NVIDIA (15 de outubro de 2026, 120 bilhões de parâmetros), lê texto, imagens e vídeo, e a sua versão em NVFP4 tem 75,0 GB.
O Qwen3.8-Flash-Next (agosto de 2026) armazena 176 bilhões de parâmetros, dos quais 51 bilhões formam uma tabela de consulta de sequências de palavras, uma tabela de embeddings de n-gramas, que pode ser lida do disco conforme a necessidade. A Unsloth informa de 96 a 114 GB de memória para as suas versões de 4 bits, somando a memória do sistema e a memória de vídeo, e 75 GB para a sua versão de 1 bit; a versão em NVFP4 da NVIDIA tem 132,7 GB.
O Mistral Medium 3.5 (80 GB a 4 bits) é denso, de modo que todos os seus pesos são lidos para cada token, e, pelo cálculo da próxima seção, um DGX Spark escreve com ele no máximo cerca de 3,4 tokens por segundo.

Os maiores modelos abertos e por que eles não cabem em uma única máquina de mesa

Os maiores modelos abertos são os que mais se aproximam dos principais modelos hospedados: em 28 de setembro de 2026, a Artificial Analysis avaliou o GLM-5.3-Flash acima do GPT-6 Astra no GDPval-AA, uma avaliação de trabalho profissional concluído (1.641 contra 1.542), mas abaixo dele no seu Intelligence Index, uma pontuação combinada de muitos testes (42 contra 53), conforme expõe a nossa página de benchmarks de modelos de IA. Nenhum deles cabe a 4 bits em 128 GB, e os maiores ultrapassam até os 512 GB do maior Mac Studio.

Cada forma de contornar o limite tem um custo: conectar várias máquinas multiplica o preço, versões com 1 a 3 bits por peso podem custar precisão, e ler parte de um modelo do disco torna a primeira resposta mais lenta, como mostra a nossa medição na próxima seção.

O GLM-5.3-Flash, da Z.ai (26 de agosto de 2026, 320 bilhões de parâmetros), tem 156,8 GB na sua menor versão de 4 bits; as versões da Unsloth com menos bits, por exemplo a de 108,7 GB a 2 bits, cabem em 128 GB, mas rodam apenas com o software da própria Unsloth, porque a alteração do llama.cpp de que elas precisam foi fechada sem ser incorporada ao código em 1º de outubro de 2026.
O DeepSeek-V4.1-Flash (10 de setembro de 2026, atualizado em 17 de outubro de 2026 como DeepSeek-V4.1-Flash-1017) tem pesos oficiais de 510,3 GB; a Unsloth informa que a sua versão de 1 bit da atualização funciona com 128 a 145 GB de memória, mas apenas porque uma grande tabela do modelo é lida da unidade de estado sólido.
O Muse Spark Open, da Meta, precisa de pelo menos 700 GB a 4 bits, segundo a Meta, e os pesos oficiais do Kimi K3, da Moonshot AI, têm 1.560,9 GB.

Comprimento do contexto: por que documentos longos precisam de memória extra

A janela de contexto é a quantidade de texto que um modelo considera de uma só vez. Para cada token nela, o modelo mantém uma memória de trabalho, o cache de chave-valor, cujo tamanho por token é 2 multiplicado pelo número de camadas, pelo número de cabeças de chave-valor, pelo tamanho de cada cabeça e pelos bytes por número; o arquivo de configuração do modelo lista os três valores do meio. Pelo nosso cálculo, o Llama 3.1 8B precisa de 4,19 GB para 32.000 tokens e de 16,78 GB para 128.000 tokens a 16 bits; o segundo valor é mais de três vezes o tamanho do seu modelo de 4 bits no Ollama, de 4,9 GB.

Armazenar o cache a 8 bits reduz o seu tamanho pela metade com uma perda muito pequena de precisão, segundo o Ollama, cuja documentação define o contexto padrão em apenas 4.000 tokens abaixo de 24 gibibytes (GiB, unidades um pouco maiores que gigabytes) de memória de vídeo e recomenda pelo menos 64.000 tokens para agentes e ferramentas de programação.

Além do chat: modelos de fala, de imagem e de índice de busca

Para o reconhecimento de fala, o Whisper large-v3-turbo, da OpenAI (99 idiomas), é a opção consolidada, enquanto o Cohere Transcribe (14 idiomas) teve uma taxa média de erro de palavras menor, isto é, a proporção de palavras transcritas incorretamente, no Open ASR Leaderboard em 26 de outubro de 2026: 5,42% contra 7,83%.
Para a geração de imagens, o FLUX.2 [klein] 4B, da Black Forest Labs, funciona com cerca de 13 GB de memória de vídeo, e o Z-Image-Turbo, da Tongyi, cabe em 16 GB.
Para pesquisar os seus próprios documentos, os modelos de embedding transformam texto em números que capturam o seu significado; o EmbeddingGemma 2, do Google (6 de outubro de 2026), tem um download de 304 megabytes a 1,3 GB, dependendo do tamanho.

Licenças para uso comercial

Um modelo de pesos abertos não é automaticamente livre para qualquer uso comercial; os resumos abaixo são simplificados e refletem a situação de 26 de outubro de 2026, e o que decide é o texto da licença.

As licenças Apache 2.0 e MIT, que permitem o uso comercial com poucas condições, abrangem o Gemma 4, o Qwen3.5, o Qwen3.8-27B, o gpt-oss, o Mistral Small 4, o GLM-5.3-Flash e o DeepSeek-V4.1-Flash.
A Qwen Community License do Qwen3.8-Flash-Next exige uma licença separada para oferecer o modelo como serviço e para produtos feitos principalmente para programação ou trabalho de escritório assistidos por IA, enquanto o uso puramente interno está isento.
A NVIDIA publica os seus modelos Nemotron 3.5 sob a OpenMDW License 1.1, que, segundo ela, permite o uso comercial, e a sua versão em NVFP4 do Qwen3.8-Flash-Next está sujeita tanto à NVIDIA Open Model License quanto à Qwen Community License, de acordo com o cartão do modelo consultado em 15 de outubro de 2026.
O Mistral Medium 3.5 concede direitos comerciais apenas a empresas com receita mensal de no máximo 20 milhões de dólares americanos.

Quais modelos rodam bem em cada máquina

Quais modelos abertos rodam bem em cada máquina, em 26 de outubro de 2026
Máquina	Modelos pequenos, até cerca de 10 bilhões de parâmetros	Modelos médios, cerca de 12 a 40 bilhões de parâmetros	Modelos grandes de mistura de especialistas, cerca de 80 a 250 bilhões de parâmetros	Os maiores modelos abertos, cerca de 280 bilhões de parâmetros ou mais
Um notebook com 16 GB de memória	O Gemma 4 E4B e o Qwen3.5-9B cabem e são adequados para redigir rascunhos, resumir, traduzir e responder a perguntas sobre imagens. O It's FOSS mediu cerca de 3 tokens por segundo para um modelo de 8 bilhões de parâmetros em um notebook mais antigo usando apenas o processador, e, pelo cálculo abaixo, um MacBook Air com M5 escreve no máximo cerca de 23 com um modelo de 6,6 GB, um limite aproximado porque as partes para imagens e áudio não são lidas para cada token.	O Gemma 4 12B cabe e lida com tarefas de escrita e de imagem um pouco mais difíceis, enquanto o gpt-oss-20b foi feito para 16 GB, mas deixa pouco espaço para o sistema operacional e para documentos. Modelos com 27 a 31 bilhões de parâmetros não cabem.	Esses modelos não cabem, porque até o gpt-oss-120b precisa de 65 GB.	Esses modelos não cabem: até a versão de 2 bits do GLM-5.3-Flash feita pela Unsloth tem 108,7 GB.
Um computador de mesa com uma placa de vídeo de 16 a 32 GB	Esses modelos rodam rápido: o Llama 2 7B a 4 bits (cerca de 3,8 GB), o pequeno modelo de teste das tabelas de resultados do llama.cpp, escreveu cerca de 93 tokens por segundo em uma RTX 5060 Ti e cerca de 300 em uma RTX 5090. Os modelos pequenos atuais, de 6,6 GB, escrevem mais devagar, aproximadamente em proporção ao seu tamanho, o que ainda é adequado para um chat interativo.	Uma placa de 16 GB comporta o gpt-oss-20b, que o guia do llama.cpp mediu a 111,5 tokens por segundo em uma RTX 5060 Ti e a 282,5 em uma RTX 5090. Modelos com 27 a 31 bilhões de parâmetros precisam de 24 ou 32 GB, ou de parte do modelo na memória do sistema, o que a Unsloth descreve para o Qwen3.8-27B em placas de 16 GB e o que torna o modelo mais lento.	Esses modelos excedem a memória da placa, mas parte de um modelo pode ficar na memória do sistema: o guia do llama.cpp sobre o gpt-oss informa cerca de 30 tokens por segundo para o gpt-oss-120b em uma RTX 5090 com parte dos seus especialistas na memória do sistema, no início de uma conversa.	Esses modelos não cabem.
Uma máquina com 128 GB de memória compartilhada, como um Mac Studio com M5 Max ou uma máquina com Ryzen AI Max+ 395	Vários modelos pequenos cabem lado a lado, por exemplo para chat, fala e pesquisa em documentos. O pequeno modelo de teste escreveu cerca de 54 tokens por segundo na unidade gráfica da série Ryzen AI Max+ 300 e cerca de 120 em um M5 Max.	Esses modelos cabem até a 16 bits, mas os densos escrevem devagar: a Signal65 mediu o modelo denso Qwen3.6-27B a 13 tokens por segundo no Ryzen AI Halo da AMD, contra 63,6 do Qwen3.6-35B-A3B, de mistura de especialistas, que por isso é mais adequado ao trabalho interativo.	O gpt-oss-120b, o Nemotron 3.5 Super VL e o Mistral Small 4 cabem. A Signal65 mediu o gpt-oss-120b a 56,2 tokens por segundo no Ryzen AI Halo, que leu prompts a 809 tokens por segundo, 0,45 vez a taxa do DGX Spark no mesmo teste; isso é adequado ao trabalho de programação e com documentos de uma pessoa. Não encontramos nenhuma velocidade publicada para os outros dois.	O GLM-5.3-Flash cabe apenas nas versões da Unsloth abaixo de 4 bits, como a de 108,7 GB a 2 bits, que rodam apenas com o software da própria Unsloth, e a Unsloth informa que a sua versão de 1 bit do DeepSeek-V4.1-Flash-1017 funciona em máquinas de 128 GB quando uma grande tabela é lida do disco. Ambos podem perder precisão com tão poucos bits, e não encontramos nenhuma velocidade publicada.
Uma estação de trabalho gráfica com 96 GB ou mais de memória de vídeo	Esses modelos rodam com velocidade semelhante à de uma RTX 5090: o pequeno modelo de teste escreveu cerca de 281 tokens por segundo em uma RTX PRO 6000 Blackwell.	Esses modelos cabem até a 16 bits, e a LMSYS mediu o gpt-oss-20b a 215 tokens por segundo em uma RTX PRO 6000 Blackwell.	O gpt-oss-120b cabe em uma única placa de 96 GB com cerca de 30 GB livres para o contexto e escreveu 170,62 tokens por segundo em uma RTX PRO 6000 Max-Q no guia do llama.cpp. O Qwen3.8-Flash-Next não cabe a 4 bits em uma única placa de 96 GB, porque a Unsloth informa de 96 a 114 GB para essas versões, de modo que ele precisa de duas placas.	Quatro placas RTX PRO 6000 Max-Q, com 384 GB, comportam a versão de 4 bits do GLM-5.3-Flash feita pela NVIDIA (204,4 GB) e, segundo a nossa comparação com os 305 GB que a Unsloth informa para a sua versão de 4 bits, o DeepSeek-V4.1-Flash-1017 com uma grande tabela lida do disco; não encontramos nenhuma velocidade publicada.
Um NVIDIA DGX Spark com 128 GB de memória compartilhada	Esses modelos escrevem mais devagar do que em uma placa de vídeo: o pequeno modelo de teste alcançou cerca de 57 tokens por segundo, contra cerca de 93 em uma RTX 5060 Ti. Apenas para modelos pequenos, uma placa de vídeo é a melhor compra.	Esses modelos cabem até a 16 bits. O projeto llama.cpp mediu o gpt-oss-20b a 83,43 tokens por segundo e o Qwen3-Coder-30B-A3B a 61,06, o que é rápido o bastante para programação interativa, e a Signal65 mediu o modelo denso Qwen3.6-27B a 11,9.	Esta é a classe para a qual a máquina foi construída: no benchmark do llama.cpp, o gpt-oss-120b escreveu 58,72 tokens por segundo e leu prompts a 2.443,91 tokens por segundo, e, no teste do vLLM de 1º de junho de 2026, a versão em NVFP4 do Nemotron 3 Super feita pela NVIDIA, o antecessor do Nemotron 3.5 Super VL, escreveu de 22,7 a 23,7. No nosso único teste em uma máquina da Lenovo com o mesmo chip, a versão em NVFP4 do Qwen3.8-Flash-Next feita pela NVIDIA, com parte dela lida do disco, escreveu 16,5 com o raciocínio e a previsão de múltiplos tokens desativados e leu texto novo a apenas cerca de 100, conforme descrito abaixo da tabela.	Como nas outras máquinas de 128 GB, o GLM-5.3-Flash e o DeepSeek-V4.1-Flash-1017 cabem apenas nas versões da Unsloth abaixo de 4 bits, com os limites descritos ali. A NVIDIA afirma que duas máquinas conectadas comportam até 400 bilhões de parâmetros, o que não medimos.

A avaliação de quais modelos cabem baseia-se nos tamanhos de download listados pelo Ollama, pelo LM Studio e pelo Hugging Face em 26 de outubro de 2026. As velocidades são tokens escritos por segundo para um usuário e vêm das tabelas de resultados do llama.cpp para hardware da NVIDIA, da AMD e da Apple, do benchmark do llama.cpp para o DGX Spark (5 de fevereiro de 2026), do guia do llama.cpp sobre o gpt-oss (18 de agosto de 2025), do It's FOSS (15 de maio de 2026), da LMSYS (13 de outubro de 2025), do vLLM (1º de junho de 2026) e da Signal65 (6 de julho de 2026). Os requisitos de memória atribuídos à Unsloth vêm da sua documentação, consultada em 26 de outubro de 2026, e os nossos próprios números vêm das execuções datadas descritas abaixo da tabela.

Como preenchemos a matriz

Cada célula responde se as versões de 4 bits dos modelos típicos cabem com espaço para o sistema operacional e para um documento, e com que velocidade a combinação rodou em uma medição publicada ou na nossa, de acordo com as fontes consultadas em 26 de outubro de 2026 e listadas na nota.

Quando uma célula traz uma estimativa, trata-se de um cálculo identificado como tal: um modelo lê os seus pesos ativos da memória uma vez para cada token que escreve, de modo que a largura de banda da memória dividida pelo tamanho desses pesos é um limite superior para a velocidade de geração. Os valores medidos dependem do software, dos ajustes e da extensão da conversa: em um DGX Spark, o gpt-oss-120b escreveu 58,72 tokens por segundo no início e 42,76 depois de 32.768 tokens no benchmark do llama.cpp, e 57,8 no teste da Signal65.

O que medimos nós mesmos em uma máquina GB10

O nosso laboratório roda modelos abertos em máquinas de 128 GB com o chip GB10 da NVIDIA, o chip do DGX Spark, fabricadas pela ASUS e pela Lenovo. Cada número abaixo vem de uma única execução datada.

Em 12 de outubro de 2026, a versão em NVFP4 do Qwen3.8-Flash-Next feita pela NVIDIA, disponibilizada com o vLLM 0.30.0 na máquina da Lenovo, escreveu 16,5 tokens por segundo em uma resposta de 600 tokens, com o primeiro token após 1,19 segundo, em um único teste com dois recursos desativados: o raciocínio, no qual o modelo escreve etapas intermediárias antes de responder, e a previsão de múltiplos tokens, que propõe vários tokens de uma vez.
Essa versão, com 132,7 GB, roda em uma única máquina de 128 GB apenas porque a sua tabela de embeddings de n-gramas é lida do disco conforme a necessidade. Em 14 de outubro de 2026, um texto que a máquina ainda não tinha lido foi processado a apenas cerca de 100 tokens por segundo, muito provavelmente por esse motivo, de modo que um prompt de 16.000 tokens esperou 148 segundos pelo primeiro token, contra 7,3 segundos depois que o texto já tinha sido lido.
No nosso teste de IA em contabilidade, que usa uma tarefa do GDPval, o conjunto de tarefas profissionais reais da OpenAI, uma versão anterior do Qwen3.8-Flash-Next obteve 80 de 95 pontos em 21 de setembro de 2026, com 46 de 264 saldos por fatura errados, e o Qwen3.8-27B sem raciocínio obteve 39, 35 e 9 pontos em 15 de setembro de 2026, em três tentativas interrompidas aos 30 minutos. Os avaliadores sabiam qual modelo havia produzido cada pasta de trabalho, a avaliação não é a pontuação oficial do GDPval, e uma única tarefa não constitui um ranking.

Como rodar o seu primeiro modelo, passo a passo

Em um computador comum: instale o Ollama ou o LM Studio e escolha um modelo que caiba

Descubra quanta memória o computador tem e se ele tem uma placa de vídeo com memória própria; em um Mac, o processador e a parte gráfica compartilham um único conjunto de memória.
Instale o Ollama a partir de ollama.com ou o LM Studio a partir de lmstudio.ai; em um Mac, o LM Studio exige Apple silicon.
Escolha um modelo cujo download seja claramente menor do que a memória livre, como o Gemma 4 E4B com 16 GB; o comando ollama run gemma4:e4b baixa o modelo e o inicia.
Aumente o comprimento do contexto até se aproximar do comprimento do seu documento real mais longo, nos ajustes do Ollama ou com a sua variável OLLAMA_CONTEXT_LENGTH, porque o padrão abaixo de 24 GiB de memória de vídeo é de cerca de 4.000 tokens; cada token de contexto precisa de memória, por isso aumente-o apenas até onde a memória permitir.
Execute uma das suas próprias tarefas e anote a espera pela primeira palavra, a velocidade de escrita e se a resposta está correta.

Em uma máquina dedicada de alto desempenho: disponibilize um modelo para uma equipe

Escolha um modelo para a equipe e reserve memória para várias conversas, cada uma das quais precisa do seu próprio cache de chave-valor.
Escolha um runtime que processe várias solicitações em conjunto, como o vLLM, o llama-server ou o llmster, o serviço em segundo plano do LM Studio.
Abra o runtime para a rede de forma deliberada: o Ollama escuta apenas na própria máquina até que o seu ajuste OLLAMA_HOST seja alterado e não tem chaves de acesso próprias, por isso o acesso precisa ser controlado antes dele, por exemplo por uma regra de firewall ou por um servidor web que verifica uma chave antes de repassar as solicitações, conhecido como proxy reverso.
Ofereça à equipe um aplicativo de chat como o Open WebUI e faça testes com várias pessoas enviando solicitações ao mesmo tempo.

Em um DGX Spark

Atualize primeiro o DGX OS; a atualização de outubro de 2026 traz a versão 7.6.0 com o CUDA Toolkit 13.0.3 da NVIDIA, o software por meio do qual os programas usam o processador gráfico.
Siga um dos guias passo a passo da NVIDIA, chamados playbooks, em build.nvidia.com/spark; a NVIDIA estima de 15 a 30 minutos para configurar o vLLM.
Prefira versões no formato NVFP4 da NVIDIA, que usam a aritmética de 4 bits do chip.
Mantenha um modelo grande em execução em vez de recarregá-lo: na nossa máquina GB10, iniciar o vLLM com a versão em NVFP4 do Qwen3.8-Flash-Next, de 132,7 GB, levou cerca de 15 minutos em 12 de outubro de 2026, incluindo uma etapa de preparação que só ocorre na primeira inicialização.

Como conectar as suas próprias ferramentas

Ferramentas desenvolvidas para a OpenAI podem usar um modelo local depois que o endereço base e o nome do modelo são alterados; quando uma ferramenta exige uma chave de acesso, qualquer valor funciona com o Ollama.

O Ollama responde em http://localhost:11434/v1, e o LM Studio, em http://localhost:1234/v1.
O llama-server responde em http://127.0.0.1:9931/v1 nas versões publicadas desde 9 de outubro de 2026 e na porta 8080 nas versões mais antigas e na documentação, e o vLLM usa a porta 8000.
O Claude Code usa um modelo local por meio do Ollama quando ANTHROPIC_BASE_URL é definida como http://localhost:11434 e ANTHROPIC_AUTH_TOKEN como ollama, e o Ollama recomenda para ele um contexto de pelo menos 64.000 tokens.

Quando está lento demais, não cabe ou esquece o início de um documento

Se o modelo não carrega ou a máquina fica extremamente lenta, o modelo não cabe; escolha então menos bits, um modelo menor, um contexto mais curto ou um cache de chave-valor de 8 bits.
Se a escrita está lenta, verifique se o modelo inteiro está na memória de vídeo ou escolha um modelo de mistura de especialistas.
Se a primeira palavra demora com documentos longos, a leitura da entrada é o gargalo; mantenha então o mesmo documento no início do prompt, para que o runtime possa reutilizá-lo.
Se o modelo esquece o início de um documento, a janela de contexto é pequena demais; aumente então o comprimento do contexto dentro do que o modelo e a memória permitem.

Como avaliar os resultados com trabalho real

Uma demonstração quase sempre parece convincente; apenas o seu próprio trabalho oferece um teste significativo. Decida o que conta como uma boa resposta antes de ver qualquer resposta, para que a avaliação não dependa de quão persuasivas as respostas parecem.

Use uma tarefa representativa da semana passada, com a sua extensão e a sua complexidade reais, porque um prompt curto e cuidadosamente elaborado não prova nada sobre um dia de trabalho.

Anote primeiro como é um bom resultado: o que precisa estar correto, o que não pode ser inventado e o que precisa estar presente. Dez a vinte exemplos cuja resposta correta você já conhece informam mais do que uma longa conversa.

Contabilize o trabalho que vem depois da resposta. Se alguém precisa verificar e corrigir cada resultado, esse tempo faz parte do custo, e um modelo que exige menos verificação pode ser a melhor escolha mesmo quando parece mais fraco.

Registre a configuração exata que você testou: o modelo e a sua versão, o arquivo baixado e o seu número de bits, o software que o disponibiliza e os ajustes, incluindo o comprimento do contexto. Altere uma coisa de cada vez; caso contrário, você não saberá qual alteração ajudou.

Quanto custa rodar IA localmente

Comprar uma máquina ou pagar uma assinatura

O ChatGPT Plus custa US$ 20 e o Claude Pro US$ 20 por pessoa por mês nos Estados Unidos, em 26 de outubro de 2026, ao passo que uma máquina é paga uma única vez e não cobra nada por solicitação. Quatro fatores determinam qual opção é mais barata.

O preço de compra subiu ao longo de 2026 porque os chips de memória estão escassos: a empresa de pesquisa de mercado TrendForce informa que os preços acordados com grandes compradores para a memória dinâmica de acesso aleatório convencional, a memória principal dos computadores, subiram de 93% a 98% em relação ao trimestre anterior no primeiro trimestre de 2026. O DGX Spark Founders Edition, lançado por US$ 3.999 em outubro de 2025, tinha o preço noticiado de US$ 6.950 em 2 de outubro de 2026.
A eletricidade depende do consumo: um consumo de 100 W, 24 horas por dia, gasta 72 quilowatts-hora (kWh) em 30 dias, e um consumo de 240 W, a especificação da fonte de alimentação do DGX Spark, gasta 172,8 kWh, valores que devem ser multiplicados pelo preço do quilowatt-hora na sua própria conta de energia.
O tempo da equipe para instalar, atualizar e consertar a máquina é um custo que um estudo de viabilidade precisa incluir.
A qualidade também é um custo, porque um modelo aberto que exige mais verificação custa tempo; a comparação com o ChatGPT compara as evidências publicadas tarefa por tarefa.

Como descobrir antes de comprar

Comprar uma máquina para responder à pergunta é o caminho caro. Se a resposta for negativa, você fica com a resposta e também com o hardware.

Rodar o seu próprio trabalho em uma máquina preparada do mesmo tipo responde à mesma pergunta pelo custo de algumas horas, desde que o hardware, o modelo e o software que o disponibiliza sejam os que você compraria; por isso, peça a especificação exata dos três. O nosso test drive oferece esse teste sob solicitação, pelo formulário de contato: nós operamos uma máquina com o chip GB10 do DGX Spark e um modelo aberto, e você conecta a ela as suas próprias ferramentas.

Se você preferir não responder a essa pergunta comprando hardware primeiro, o nosso test drive de IA local oferece uma máquina com o chip NVIDIA GB10 do DGX Spark e um modelo aberto, para que você conecte as suas próprias ferramentas, execute a sua própria carga de trabalho e avalie o resultado antes de comprar equipamentos. O test drive é oferecido sob solicitação, pelo formulário de contato. Se você estiver comparando uma instalação local com o ChatGPT ou com outro chatbot de IA, leia private-local.ai vs ChatGPT.

Perguntas sobre como rodar IA localmente

Posso descobrir como rodar IA localmente sem comprar hardware primeiro?

Sim, para a maior parte da pergunta: um modelo pequeno no seu computador atual mostra como o software funciona, e a tabela deste guia mostra quais modelos cabem em cada máquina. Apenas rodar o seu próprio trabalho em uma máquina do tipo que você está considerando mostra se um modelo maior o realiza bem o bastante.

Posso rodar o ChatGPT ou o Claude na minha própria máquina?

Não. Os arquivos desses modelos não são publicados, portanto não existe uma cópia local para instalar, e os modelos de pesos abertos gpt-oss da OpenAI são diferentes dos modelos que o ChatGPT usa. Se um modelo aberto realiza a sua tarefa bem o bastante só se revela quando o mesmo trabalho real passa pelos dois.

De quanta memória preciso para rodar um modelo localmente?

Multiplique os parâmetros em bilhões pelos bits por peso e divida por oito para obter gigabytes; depois, acrescente espaço para o contexto e para o sistema operacional. Em outubro de 2026, as versões de 4 bits do Qwen3.8-27B, com 27,78 bilhões de parâmetros, variam de 14,3 a 18 GB, enquanto a versão da Inferact em NVFP4, o formato de 4 bits da NVIDIA, tem 26,4 GB.

Uma instalação local é privada?

Um sistema que roda em hardware que você controla mantém o trabalho do modelo dentro da sua própria rede, que é o principal motivo pelo qual as empresas querem ter um. Isso, por si só, não torna tudo seguro, porque backups, logs, as ferramentas em torno do modelo e o acesso à máquina continuam sendo importantes. A pesquisa na web e os modelos em nuvem do Ollama, por exemplo, são serviços online que enviam o que você digita aos servidores do Ollama.

Posso rodar IA localmente em um notebook?

Sim. Um notebook com 16 GB de memória comporta modelos de até cerca de 10 bilhões de parâmetros, adequados para redigir rascunhos, resumir e responder a perguntas sobre imagens, mas a velocidade depende da memória: o It's FOSS mediu cerca de 3 tokens por segundo para um modelo de 8 bilhões de parâmetros em um notebook mais antigo usando apenas o processador (15 de maio de 2026). Os principais modelos hospedados continuam mais fortes em trabalhos difíceis.

Qual modelo aberto cabe em 16 GB de memória?

Em outubro de 2026, as versões de 4 bits do Gemma 4 E4B (6,6 GB), do Qwen3.5-9B (6,6 GB), do Ministral 3 8B (6,0 GB) e do Gemma 4 12B (8,0 GB) cabem com espaço para um documento. O gpt-oss-20b (13,8 GB) foi projetado para 16 GB, mas deixa pouco espaço quando essa é toda a memória disponível.

O que um NVIDIA DGX Spark consegue rodar?

Um DGX Spark, com 128 GB de memória compartilhada, roda os modelos abertos pequenos e médios citados neste guia e modelos de mistura de especialistas de cerca de 120 bilhões de parâmetros a 4 bits, como o gpt-oss-120b a 58,72 tokens por segundo (llama.cpp, fevereiro de 2026). Os maiores modelos abertos rodam apenas em versões abaixo de 4 bits que exigem software especial ou leem parte do modelo do disco, ou nem chegam a rodar.

Posso fazer o ajuste fino de um modelo na minha própria máquina?

Sim, com métodos que treinam apenas um pequeno complemento, conhecidos como adaptação de baixo posto (LoRA), ou com a sua variante para modelos comprimidos para 4 bits, a adaptação de baixo posto quantizada (QLoRA); a NVIDIA afirma que um DGX Spark consegue fazer o ajuste fino de modelos de até 70 bilhões de parâmetros. Treinar do zero um modelo capaz exige muito mais computação do que uma única máquina oferece.

Descubra se o seu trabalho é adequado a uma instalação local

Escolha uma configuração, execute uma tarefa representativa e avalie se o resultado é bom o bastante. Se o resultado mostrar que você não deve comprar uma máquina, o teste terá respondido à pergunta da mesma forma.

Solicitar um endpoint