IA local: o que é, como funciona e quando compensa

IA local descreve onde um modelo é executado, e não quem o desenvolveu. Um modelo aberto de uma grande empresa de IA executado na sua própria máquina é IA local, ao passo que o mesmo modelo aberto executado nos servidores de um provedor de nuvem é IA em nuvem. IA local também costuma significar a execução de um modelo já treinado, o que se chama inferência, e não o treinamento de um modelo do zero. Executar um modelo na sua própria máquina tem três consequências práticas.

• Os arquivos do modelo ficam armazenados no seu próprio disco. Você pode fixar uma versão exata e mantê-la funcionando da mesma forma no ano que vem, o que um modelo hospedado por um provedor não garante.
• Em uma máquina que pertence a você, nenhum dado sai do prédio para ser processado. Esse é o principal motivo pelo qual as empresas consideram a IA local.
• Depois que o software e o modelo estão instalados, a máquina responde sem conexão com a internet.

Executar um modelo localmente envolve três etapas.

1. Você instala um software que disponibiliza o modelo, como Ollama, LM Studio ou LocalAI. A maioria deles aceita o mesmo formato de solicitação da OpenAI, de modo que uma ferramenta existente geralmente precisa apenas de um novo endereço.
2. Você baixa um modelo aberto em um tamanho compatível com a memória da sua máquina. O modelo Qwen3.5-35B-A3B, com 35 bilhões de parâmetros, precisa de 64,6 gigabytes em precisão total e de 12,2 gigabytes em uma versão comprimida, portanto qualquer uma das duas cabe em um NVIDIA DGX Spark com 128 gigabytes de memória.
3. O modelo processa cada prompt no seu próprio processador ou na sua placa de vídeo e devolve a resposta sem acionar um serviço em nuvem. Em um DGX Spark, o modelo Qwen comprimido produz 74,4 tokens por segundo, o que equivale a cerca de 55 palavras por segundo.

O guia sobre como rodar IA localmente explica cada etapa, os requisitos de hardware e como avaliar os resultados.

A IA local é usada para o mesmo trabalho que a IA em nuvem, mas as empresas a escolhem quando o material é sensível ou quando a mesma tarefa se repete em grande volume. Os exemplos a seguir mostram usos típicos, com resultados publicados para modelos abertos quando eles existem.

• Um fabricante usa um modelo para responder a perguntas sobre sua documentação técnica e seus manuais de manutenção, para que a equipe de assistência técnica encontre o procedimento correto sem precisar procurar em milhares de páginas.
• Um escritório de advocacia ou de consultoria tributária usa um modelo para extrair partes, prazos e valores de contratos e da correspondência com clientes e para redigir resumos preliminares para revisão.
• Uma agência de automação conecta um modelo local a um software de fluxos de trabalho como o n8n, para que os e-mails recebidos sejam classificados e respondidos automaticamente. No AutomationBench-AA, que simula esses fluxos de trabalho no Gmail, no Slack e no Salesforce, o modelo aberto DeepSeek V4.1 Flash cumpriu 68,9% dos objetivos, contra 68,5% do GPT-6 Astra; a comparação com o ChatGPT aborda sete tarefas desse tipo.
• Uma equipe financeira usa um modelo para analisar planilhas, arquivos exportados em formato de valores separados por vírgula (CSV) e logs no próprio local em que estão armazenados. No estudo DSGym, o modelo aberto gpt-oss-120b respondeu corretamente a 71% das perguntas simples de análise de dados, contra 75% do GPT-5. No nosso próprio teste de IA em contabilidade, o modelo aberto GLM-5.3 Flash montou uma pasta de trabalho do Excel conciliada a partir de 66 faturas e obteve 90 de 95 pontos.
• Uma clínica transcreve laudos ditados e redige sumários de alta no seu próprio hardware, para que os dados dos pacientes não cheguem a um serviço externo. A comparação com a empresa de mascaramento de dados Limina lista sete situações desse tipo por setor.

Para uma empresa, a IA local tem quatro vantagens em relação à IA em nuvem.

• A empresa mantém o controle sobre seus dados e sua propriedade intelectual: contratos, prontuários de pacientes ou código-fonte são processados dentro da sua própria rede. A comparação com a Limina mostra sete situações em que isso é decisivo.
• Não há tarifas por solicitação nem por pessoa. Uma equipe de 20 pessoas no ChatGPT Business paga US$ 6.000 por ano, todos os anos, ao passo que uma máquina é paga uma única vez; a comparação com o ChatGPT lista os preços atuais.
• A máquina funciona nas próprias instalações da empresa e sem conexão com a internet, por exemplo em uma rede de produção deliberadamente isolada da internet.
• A empresa fixa o modelo e a sua versão, por exemplo uma versão específica do Qwen, do DeepSeek ou do GLM, para que um resultado possa ser repetido exatamente da mesma forma no ano que vem. Um modelo hospedado pode mudar sem aviso prévio.

Um modelo aberto que cabe em uma máquina de mesa é menos capaz do que os melhores modelos em nuvem, e nenhum ajuste elimina totalmente essa diferença. A comparação com o ChatGPT mede a diferença tarefa por tarefa, e a página de benchmarks de modelos de IA reúne as avaliações públicas.

• Os modelos em nuvem continuam claramente à frente em pesquisa na web e em geração de imagens. No BrowseComp, um teste que mede a capacidade de encontrar na web fatos difíceis de localizar, o GPT-6 Astra alcança 91,5%, enquanto os melhores modelos abertos que cabem em uma única máquina alcançam de 64% a 68%.
• A memória limita o tamanho do modelo, e esse limite fica definido no dia da compra. Um DGX Spark com 128 gigabytes comporta modelos comprimidos com várias dezenas de bilhões de parâmetros, mas não os maiores modelos abertos, que precisam de várias centenas de gigabytes.
• Alguém precisa instalar, atualizar e consertar a máquina, e o tempo dessa pessoa costuma representar um custo maior do que o do hardware.
• Quando várias pessoas enviam solicitações ao mesmo tempo, elas compartilham a máquina e cada uma espera mais, por isso uma máquina destinada a uma equipe precisa ser testada com vários usuários simultaneamente.
• Uma máquina que fica ociosa durante a maior parte do dia é difícil de justificar diante de uma assinatura do ChatGPT Plus, que custa US$ 20 por pessoa por mês.

O preço de compra é o número citado com mais frequência, mas é a menor parte da resposta. Quatro custos determinam se uma instalação local se paga.

• A máquina em si, por exemplo um NVIDIA DGX Spark, é um investimento de capital de dezenas de milhares de reais, paga uma única vez e depreciada como qualquer outro equipamento.
• Energia e espaço são o segundo custo. A máquina consome energia enquanto está em uso e muito menos quando está ociosa, e precisa de um local com ventilação adequada, e não de um armário fechado.
• A manutenção é o terceiro custo: atualizações, trocas de modelo e uma ou outra falha. Os estudos de viabilidade omitem esse custo com mais frequência do que qualquer outro, e é ele que tem mais chance de ser subestimado.
• A alternativa atual define o parâmetro de comparação. O ChatGPT Business custa US$ 25 por pessoa por mês, portanto 20 usuários custam US$ 6.000 por ano; esse é o valor que a máquina precisa superar, e ele deve ser calculado antes de qualquer outra coisa.

A maior parte dessa questão pode ser respondida no papel, antes de usar qualquer hardware. Escolha uma tarefa real, e não uma categoria de tarefas, e avalie-a com base nas quatro perguntas a seguir.

• Com que frequência a tarefa é executada? Uma tarefa executada centenas de vezes por dia, como a triagem de e-mails recebidos, faz com que ter um equipamento próprio valha a pena; um relatório redigido uma vez por trimestre, não.
• Qual deve ser a qualidade do resultado, e quem o verifica? Defina o padrão antes de ver qualquer resposta, por exemplo com dez a vinte casos cujo resultado correto você já conhece; o guia sobre como rodar IA localmente explica como fazer isso.
• Existe algum motivo pelo qual o material não possa sair do prédio, como sigilo profissional, dados de pacientes ou segredos comerciais? Se existir, esse motivo costuma decidir a questão por si só.
• Quem vai operar a máquina? Se ninguém puder ser indicado, a empresa ainda não está pronta para ter uma, independentemente do que mostrem os resultados dos benchmarks.

Testar a IA local de forma adequada normalmente exige ter a máquina primeiro. O nosso test drive existe para eliminar essa lacuna.

• Nós operamos um NVIDIA DGX Spark com um modelo aberto definido e disponibilizamos um endpoint padrão para as suas próprias ferramentas, composto por um endereço web e uma chave de acesso.
• Você conecta a ferramenta que já usa, por exemplo um fluxo de trabalho do n8n ou um aplicativo desenvolvido para a interface da OpenAI, e executa as suas próprias tarefas por uma ou duas horas, a R$ 50 por hora, conforme descrito na página de preços.
• Você fica com as suas medições: quanto tempo cada tarefa levou, o que o modelo retornou e onde ele errou.