Come eseguire l'IA in locale: configurazioni, modelli e combinazioni che funzionano

Pubblicato 17 settembre 2026Aggiornato 26 ottobre 202634 minuti di lettura

L'intelligenza artificiale (IA) non deve necessariamente essere eseguita sui server di un fornitore: i modelli aperti si possono scaricare ed eseguire su un computer di Sua proprietà. Questa guida, aggiornata a ottobre 2026, spiega come eseguire l'IA in locale: che cosa comporta l'esecuzione di un modello e che cosa deve funzionare, tre configurazioni hardware, i modelli aperti per dimensione e quali di essi funzionano bene su quale macchina, seguiti dai primi passi, dalla valutazione dei risultati e dai costi. La pagina sull'IA locale spiega che cos'è l'IA locale e quando ne vale il costo.

Inferenza e addestramento: che cosa significa eseguire l'IA in locale

Inferenza: usare un modello finito per rispondere

Un modello linguistico è un grande file di numeri, detti parametri o pesi, che il suo produttore ha calcolato in anticipo a partire da un'enorme quantità di testo. L'uso di quel file finito per rispondere a una richiesta si chiama inferenza, ed è ciò che si intende quasi sempre per esecuzione dell'IA in locale.

L'inferenza ha due fasi, entrambe misurate in token al secondo, dove un token è una parola o una parte di parola. La lettura dell'input, detta elaborazione del prompt, dipende soprattutto dalla potenza di calcolo. La scrittura della risposta, detta generazione, dipende soprattutto dalla rapidità con cui la macchina trasferisce i pesi dalla memoria al processore, che si chiama larghezza di banda della memoria.

Addestramento e fine-tuning: cambiare ciò che un modello sa

L'addestramento calcola i pesi in origine e richiede una quantità di calcolo enormemente maggiore: Meta riporta 1,46 milioni di ore su schede grafiche H100 per Llama 3.1 8B, pari a circa 167 anni su una sola scheda (calcolo nostro). Il fine-tuning adatta un modello esistente con i Suoi esempi, in modo che segua più fedelmente un formato, uno stile o un'attività.

Modificare ogni peso richiede almeno 16 byte di memoria per parametro, per i pesi e per i valori che l'addestramento conserva su ciascuno di essi, secondo lo studio ZeRO di Microsoft del 2019 sull'addestramento di modelli di grandi dimensioni; per 8 miliardi di parametri si tratta di circa 128 gigabyte (GB), prima dei dati di lavoro dell'addestramento. Una singola macchina, quindi, di solito addestra soltanto un piccolo modulo aggiuntivo, noto come adattamento a basso rango (low-rank adaptation, LoRA), spesso su una copia del modello compressa a 4 bit per peso, procedimento che si chiama adattamento a basso rango quantizzato (quantised low-rank adaptation, QLoRA); per 8 miliardi di parametri, lo strumento di fine-tuning Unsloth indica 6 GB di memoria grafica come minimo per QLoRA.

Che cosa può e non può fare una macchina locale

Una macchina locale può eseguire i modelli aperti i cui file e la cui memoria di lavoro entrano nella sua memoria e il cui formato è supportato dal suo software, e può effettuare il fine-tuning di modelli con LoRA o QLoRA.
Non può addestrare da zero un modello capace: il calcolo che Meta riporta per il suo modello Llama 3 più grande richiederebbe circa 1.200 anni anche alla potenza massima teorica del DGX Spark di NVIDIA, una macchina desktop descritta più avanti (calcolo nostro).
Non eguaglia i principali modelli ospitati in ogni attività: su BrowseComp, un test che misura la capacità di trovare sul web informazioni difficili da reperire, OpenAI riporta il 91,5 per cento per GPT-6 Astra, mentre i migliori modelli aperti eseguibili su una singola macchina hanno ottenuto tra il 64 e il 68 per cento nella classifica Steel del 4 settembre 2026, come illustra il nostro confronto con ChatGPT.

Che cosa deve funzionare

Una configurazione funzionante ha tre livelli: i file del modello, il programma che li esegue e le applicazioni attraverso cui le persone li utilizzano. La maggior parte dei problemi nasce nei punti in cui i livelli si collegano; verifichi quindi per tempo i Suoi strumenti.

I file del modello

Un modello viene distribuito sotto forma di file che ne contengono i pesi e che si scaricano da Hugging Face, il principale sito web pubblico per i modelli, oppure dai cataloghi di Ollama e LM Studio, di solito in diverse versioni che memorizzano ciascun peso con un numero diverso di bit. Memorizzare i pesi con meno bit, operazione detta quantizzazione, rende un modello più piccolo e più veloce, ma può ridurne l'accuratezza.

La dimensione di una versione si può stimare in anticipo: i parametri in miliardi, moltiplicati per i bit per peso e divisi per otto, danno i gigabyte. Qwen3.8-27B, con 27,78 miliardi di parametri, richiede 55,6 GB a 16 bit, e le sue versioni a 4 bit superano i 13,9 GB della formula perché alcune parti restano a precisione più elevata: il 26 ottobre 2026 andavano dai 14,3 GB di Unsloth ai 18 GB di Ollama, e la versione di Inferact in NVFP4, il formato a 4 bit di NVIDIA, era di 26,4 GB.

Ollama e LM Studio elencano anche modelli cloud, che vengono eseguiti sui server del fornitore; il 26 ottobre 2026 offrivano GLM-5.3-Flash e DeepSeek-V4.1-Flash soltanto in questa forma.

Il runtime di inferenza (Ollama, LM Studio, llama.cpp, vLLM)

Il runtime di inferenza carica il modello, esegue il calcolo e mette a disposizione un indirizzo per le richieste, di solito nel formato dell'interfaccia di programmazione delle applicazioni (API) di OpenAI, in modo che gli strumenti scritti per OpenAI possano utilizzare al suo posto un modello locale.

Ollama è il punto di partenza più semplice: si installa come applicazione desktop su macOS e Windows oppure con un solo comando su Linux, e il 26 ottobre 2026 la sua libreria elencava 260 famiglie di modelli.
LM Studio è un'applicazione desktop che stima il fabbisogno di memoria di un modello prima di caricarlo; dall'8 luglio 2025 è gratuito anche per l'uso professionale, ma non è open source.
llama.cpp è il motore open source alla base di molti strumenti desktop, e il suo server, llama-server, elabora più richieste insieme.
vLLM mette a disposizione un modello a molti utenti, soprattutto su schede grafiche NVIDIA, e pubblica pacchetti software già pronti, detti container, per i sistemi Grace Blackwell di NVIDIA, tra cui il DGX Spark, ma richiede una configurazione più impegnativa.

Il software intorno al modello: memoria, ricerca sul web e strumenti

Un modello, da solo, non ricorda nulla tra una conversazione e l'altra e non può né cercare né agire. Queste funzioni provengono dal software che lo circonda.

Le applicazioni di chat come Open WebUI, AnythingLLM e Jan offrono ai modelli locali una finestra di chat; Open WebUI aggiunge la memoria tra le conversazioni e la ricerca nei documenti caricati, mentre il 26 ottobre 2026 Jan indicava la memoria come funzione in arrivo.
La ricerca sul web non è mai locale, perché la query viene inviata a un servizio di ricerca; la ricerca sul web di Ollama, ad esempio, è un servizio cloud che richiede un account Ollama.
Gli strumenti consentono a un modello di leggere file, interrogare database o eseguire programmi, di solito tramite il Model Context Protocol (MCP). Gli agenti di programmazione, cioè programmi con cui un modello pianifica ed esegue più passaggi di lavoro di programmazione, come OpenCode, Cline e Aider, si collegano a un modello locale tramite lo stesso indirizzo compatibile con OpenAI di qualsiasi altra applicazione.

Tre configurazioni per eseguire l'IA in locale

Le tre configurazioni differiscono soprattutto per la memoria, che determina quali modelli vi trovano posto, e per la larghezza di banda della memoria, che determina la velocità con cui un modello scrive.

Configurazione 1: un computer comune

Un computer comune è il laptop o il desktop che già possiede; nella Steam Hardware Survey di settembre 2026, la maggior parte dei computer aveva 16 o 32 GB di memoria. I Mac con Apple silicon condividono un'unica area di memoria tra processore e grafica, ad esempio da 16 a 32 GB a 153 gigabyte al secondo (GB/s) in un MacBook Air con M5. Una scheda grafica desktop, come una RTX 5060 Ti con 16 GB o una RTX 5090 con 32 GB, è molto più veloce, ma solo per i modelli che entrano nella sua memoria.

Configurazione 2: una macchina dedicata di fascia alta

Una macchina dedicata di fascia alta viene acquistata per l'IA e serve una o più persone. Le macchine a memoria condivisa contengono modelli di grandi dimensioni a velocità moderata: le macchine con il Ryzen AI Max+ 395 di AMD, come il Framework Desktop, hanno fino a 128 GB a 256 GB/s, e il Mac Studio con M5 Ultra ha fino a 512 GB a 1,2 terabyte al secondo (TB/s), anche se il 26 ottobre 2026 Apple indicava l'opzione da 512 GB come in arrivo a fine ottobre.

Le workstation grafiche hanno meno memoria per scheda, ma sono molto più veloci: la RTX PRO 6000 Blackwell di NVIDIA ha 96 GB a 1.792 GB/s, e quattro delle sue edizioni Max-Q, limitate a un consumo energetico inferiore, trovano posto in una sola workstation.

Configurazione 3: un NVIDIA DGX Spark

L'NVIDIA DGX Spark è un piccolo computer desktop costruito intorno al chip GB10, che combina un processore Arm a 20 core e un processore grafico Blackwell con memoria condivisa, 128 GB a 273 GB/s nella versione originale; utilizza DGX OS, la versione di Ubuntu Linux di NVIDIA. Altri sette produttori vendono macchine con lo stesso chip, sei dei quali offrono dal 23 ottobre 2026 una versione da 64 GB, e NVIDIA dichiara che una macchina da 128 GB gestisce modelli fino a 200 miliardi di parametri.

Il suo punto di forza è la memoria, e il suo punto debole è la larghezza di banda: nel test di LMSYS di ottobre 2025, che utilizzava Ollama, gpt-oss-20b ha scritto 49,7 token al secondo su un DGX Spark e 205 su una RTX 5090, mentre a febbraio 2026 llama.cpp ha raggiunto 83,43 con lo stesso modello sul DGX Spark, per cui i valori ottenuti con software diversi non sono direttamente confrontabili. Per questo motivo è adatto a modelli da circa 65 a 100 GB, che nessuna scheda grafica consumer è in grado di contenere; la sezione sui costi descrive come provarne uno prima dell'acquisto.

Le tre configurazioni a confronto

Confronto tra le tre configurazioni, aggiornato al 26 ottobre 2026
Configurazione	Memoria	Larghezza di banda della memoria	Prezzo	Consumo energetico	Utenti serviti contemporaneamente
Configurazione 1: un computer comune	La maggior parte ha 16 o 32 GB di memoria di sistema e 8 o 16 GB sulla scheda grafica.	Va dai 153 GB/s di un MacBook Air con M5 ai 1.792 GB/s di una RTX 5090.	Un MacBook Air con M5 parte da 1299 USD. Il 22 ottobre 2026, il prezzo più basso negli Stati Uniti di una RTX 5060 Ti con 16 GB era di 789 USD, e ad agosto 2026 il prezzo mediano di una RTX 5090 presso il rivenditore Newegg era di circa 4700 USD.	NVIDIA indica per la RTX 5060 Ti una potenza di 180 watt (W) e per la RTX 5090 una potenza di 575 W.	È adatto a una sola persona; non abbiamo trovato misurazioni con più utenti.
Configurazione 2: una macchina dedicata di fascia alta	Le macchine a memoria condivisa hanno fino a 128 GB con un Ryzen AI Max+ 395 o un M5 Max e 96, 256 o 512 GB con un M5 Ultra, e una workstation ha 96 GB per scheda grafica.	Va dai 256 GB/s di un Ryzen AI Max+ 395 ai 1.792 GB/s di una RTX PRO 6000.	Un Framework Desktop con 128 GB è a listino a 3449 USD, ma è esaurito, un Mac Studio con M5 Ultra e 96 GB parte da 5499 USD, e una sola scheda RTX PRO 6000 era a listino a 16.000 USD il 12 agosto 2026, quando era esaurita.	Signal65 ha misurato 196 W alla presa di corrente per il Ryzen AI Halo di AMD, una piccola macchina desktop con processore Ryzen AI Max+, durante l'esecuzione di gpt-oss-120b; Apple indica per il Mac Studio fino a 480 W, e NVIDIA indica per la RTX PRO 6000 fino a 600 W, ovvero 300 W nell'edizione Max-Q.	Serve una persona o un piccolo team, e una workstation grafica serve più persone contemporaneamente.
Configurazione 3: un NVIDIA DGX Spark	Ha 128 GB, oppure 64 GB nella versione più piccola.	La versione da 128 GB trasferisce 273 GB/s; NVIDIA non ha indicato la larghezza di banda della versione da 64 GB.	Secondo quanto riportato, la Founders Edition di NVIDIA con 128 GB costava 6950 USD, la versione da 64 GB parte da 4999 USD, e Dell mette a listino la sua macchina da 128 GB con lo stesso chip a 6593 USD.	ServeTheHome ha misurato da 60 a 90 W in molti carichi di lavoro con modelli linguistici, e l'alimentatore ha una potenza nominale di 240 W.	vLLM lo definisce destinato a un solo utente o a poche richieste elaborate insieme e ha limitato il proprio test a quattro richieste contemporanee.

Le specifiche e i prezzi di Apple, Framework e Dell sono stati rilevati il 26 ottobre 2026. Il prezzo della RTX PRO 6000 è quello del listino NVIDIA Marketplace del 12 agosto 2026, quando la scheda era esaurita, come riportato da Tom's Hardware; gli altri prezzi delle schede grafiche provengono da PC Gamer e dal monitoraggio dei prezzi di Tom's Hardware (22 ottobre 2026), e i prezzi del DGX Spark da NVIDIA e da articoli di stampa del 2 ottobre 2026. Gli altri dati provengono dalla Steam Hardware Survey (settembre 2026), da ServeTheHome (14 ottobre 2025), da Signal65 (6 luglio 2026) e da vLLM (1º giugno 2026).

Modelli a pesi aperti per dimensione

I modelli a pesi aperti sono modelli i cui produttori pubblicano i file addestrati, che chiunque può scaricare. In un modello denso, ogni parametro lavora su ogni token; in un modello a miscela di esperti (mixture-of-experts), i parametri sono suddivisi in gruppi detti esperti, di cui solo pochi lavorano su ciascun token, per cui l'intero modello deve entrare in memoria, ma scrive quasi alla stessa velocità di un modello molto più piccolo. Un nome come Qwen3.5-35B-A3B indica 35 miliardi di parametri in totale, di cui 3 miliardi attivi. Le dimensioni indicate di seguito si riferiscono ai download a 4 bit di Ollama, LM Studio o Hugging Face, rilevati il 26 ottobre 2026.

Modelli piccoli (fino a circa 10 miliardi di parametri)

I modelli piccoli entrano in quasi tutti i computer attuali, ma sono la classe meno capace; sono quindi adatti ad attività brevi e ben definite, come riassumere, redigere bozze, classificare testi e rispondere a domande sulle immagini.

Gemma 4 E2B ed E4B di Google (31 marzo 2026) accettano testo, immagini e audio, e i loro download sono di 4,6 e 6,6 GB.
I download di Qwen3.5-4B e Qwen3.5-9B (27 febbraio 2026) sono di 3,3 e 6,6 GB, e i due modelli coprono 201 lingue.
Il download di Ministral 3 8B di Mistral AI (2 dicembre 2025) è di 6,0 GB, e quello di Phi-4-mini di Microsoft è di 2,5 GB.
Nemotron 3.5 Bolt E4B di NVIDIA (23 ottobre 2026) ha 8 miliardi di parametri, di cui 4 miliardi effettivi, e il suo download è di 7,9 GB.

Modelli medi (da circa 12 a 40 miliardi di parametri)

I modelli medi sono i più grandi che entrano in una scheda grafica con 24 o 32 GB, e i loro produttori li descrivono come adatti alla programmazione, al lavoro con agenti e ai documenti più lunghi.

Qwen3.8-27B (14 agosto 2026) è un modello denso che Qwen descrive come forte nella programmazione e nelle attività svolte da agenti; il suo download è di 18 GB.
Gemma 4 è disponibile come 12B con input audio (8,0 GB), come 26B A4B a miscela di esperti (18 GB) e come 31B denso (20 GB).
gpt-oss-20b di OpenAI (5 agosto 2025) ha 3,6 miliardi di parametri attivi ed è pubblicato con una dimensione di 13,8 GB, in modo da funzionare con 16 GB di memoria.
Muse Glimmer-30B di Meta (agosto 2026) è progettato per agenti di programmazione su una sola scheda grafica consumer, e il suo download è di 18 GB.

Grandi modelli a miscela di esperti (da circa 80 a 250 miliardi di parametri)

I grandi modelli a miscela di esperti richiedono da circa 65 a 120 GB a 4 bit: le versioni fino a circa 100 GB sono adatte a una macchina da 128 GB, quelle fino a circa 80 GB sono adatte a una workstation con una scheda da 96 GB, e le versioni più grandi richiedono due schede. Con 5-12 miliardi di parametri attivi, su queste macchine scrivono a una velocità utilizzabile.

gpt-oss-120b di OpenAI ha 117 miliardi di parametri, di cui 5,1 miliardi attivi, e il suo download è di 65 GB.
Mistral Small 4 (16 marzo 2026) ha 119 miliardi di parametri nonostante il nome; il 26 ottobre 2026 non figurava né nella libreria di Ollama né nel catalogo di LM Studio, e la versione di Unsloth su Hugging Face è di 73,8 GB.
Nemotron 3.5 Super VL di NVIDIA (15 ottobre 2026, 120 miliardi di parametri) legge testo, immagini e video, e la sua versione NVFP4 è di 75,0 GB.
Qwen3.8-Flash-Next (agosto 2026) memorizza 176 miliardi di parametri, di cui 51 miliardi formano una tabella di consultazione di sequenze di parole, una tabella di embedding di n-grammi, che può essere letta dal disco secondo necessità. Unsloth indica da 96 a 114 GB di memoria per le sue versioni a 4 bit, sommando memoria di sistema e memoria grafica, e 75 GB per la sua versione a 1 bit; la versione NVFP4 di NVIDIA è di 132,7 GB.
Mistral Medium 3.5 (80 GB a 4 bit) è denso, quindi tutti i suoi pesi vengono letti per ogni token, e secondo il calcolo della sezione successiva un DGX Spark scrive con questo modello al massimo circa 3,4 token al secondo.

I modelli aperti più grandi e perché non entrano in una sola macchina desktop

I modelli aperti più grandi sono quelli che si avvicinano di più ai principali modelli ospitati: il 28 settembre 2026, Artificial Analysis ha valutato GLM-5.3-Flash al di sopra di GPT-6 Astra su GDPval-AA, una valutazione di elaborati professionali finiti (1.641 contro 1.542), ma al di sotto nel suo Intelligence Index, un punteggio complessivo di molti test (42 contro 53), come illustra la nostra pagina Benchmark dei modelli di IA. Nessuno di essi entra in 128 GB a 4 bit, e i più grandi superano persino i 512 GB del Mac Studio più grande.

Ogni modo per aggirare il limite ha un costo: collegare più macchine ne moltiplica il prezzo, le versioni con 1-3 bit per peso possono ridurre l'accuratezza, e la lettura di parte di un modello dal disco rallenta la prima risposta, come mostra la nostra misurazione nella sezione successiva.

GLM-5.3-Flash di Z.ai (26 agosto 2026, 320 miliardi di parametri) occupa 156,8 GB nella sua versione a 4 bit più piccola; le versioni di Unsloth con meno bit, ad esempio quella da 108,7 GB a 2 bit, entrano in 128 GB, ma funzionano solo con il software di Unsloth, perché la modifica di llama.cpp di cui hanno bisogno è stata chiusa senza essere integrata il 1º ottobre 2026.
DeepSeek-V4.1-Flash (10 settembre 2026, aggiornato il 17 ottobre 2026 come DeepSeek-V4.1-Flash-1017) ha pesi ufficiali di 510,3 GB; Unsloth dichiara che la sua versione a 1 bit dell'aggiornamento funziona con 128-145 GB di memoria, ma soltanto perché una grande tabella del modello viene letta dall'unità a stato solido.
Secondo Meta, Muse Spark Open di Meta richiede almeno 700 GB a 4 bit, e i pesi ufficiali di Kimi K3 di Moonshot AI sono di 1.560,9 GB.

Lunghezza del contesto: perché i documenti lunghi richiedono memoria aggiuntiva

La finestra di contesto è la quantità di testo che un modello considera in una volta. Per ogni token al suo interno, il modello conserva una memoria di lavoro, la cache chiave-valore (key-value cache), la cui dimensione per token è pari a 2 moltiplicato per il numero di strati, il numero di teste chiave-valore, la dimensione di ciascuna testa e i byte per numero; il file di configurazione del modello riporta i tre valori centrali. Secondo il nostro calcolo, Llama 3.1 8B richiede 4,19 GB per 32.000 token e 16,78 GB per 128.000 token a 16 bit; il secondo valore è più del triplo del suo modello a 4 bit da 4,9 GB in Ollama.

Memorizzare la cache a 8 bit la dimezza con una perdita di precisione molto ridotta, secondo Ollama, la cui documentazione imposta il contesto predefinito a soli 4.000 token al di sotto di 24 gibibyte (GiB, unità leggermente più grandi dei gigabyte) di memoria grafica e raccomanda almeno 64.000 token per gli agenti e gli strumenti di programmazione.

Oltre la chat: modelli per il parlato, le immagini e gli indici di ricerca

Per il riconoscimento vocale, Whisper large-v3-turbo di OpenAI (99 lingue) è la scelta consolidata, mentre Cohere Transcribe (14 lingue) ha ottenuto un tasso medio di errore sulle parole, cioè la quota di parole trascritte in modo errato, più basso nell'Open ASR Leaderboard del 26 ottobre 2026: il 5,42 contro il 7,83 per cento.
Per la generazione di immagini, FLUX.2 [klein] 4B di Black Forest Labs funziona con circa 13 GB di memoria grafica, e Z-Image-Turbo di Tongyi rientra in 16 GB.
Per la ricerca nei Suoi documenti, i modelli di embedding trasformano il testo in numeri che ne rappresentano il significato; il download di EmbeddingGemma 2 di Google (6 ottobre 2026) va da 304 megabyte a 1,3 GB, a seconda della dimensione.

Licenze per l'uso commerciale

Un modello a pesi aperti non è automaticamente libero per qualsiasi uso commerciale; le sintesi seguenti sono abbreviate e aggiornate al 26 ottobre 2026, e a decidere è il testo della licenza.

Le licenze Apache 2.0 e MIT, che consentono l'uso commerciale con poche condizioni, coprono Gemma 4, Qwen3.5, Qwen3.8-27B, gpt-oss, Mistral Small 4, GLM-5.3-Flash e DeepSeek-V4.1-Flash.
La Qwen Community License di Qwen3.8-Flash-Next richiede una licenza separata per offrire il modello come servizio e per prodotti realizzati principalmente per la programmazione o il lavoro d'ufficio assistiti dall'IA, mentre l'uso puramente interno è esente.
NVIDIA pubblica i suoi modelli Nemotron 3.5 con la OpenMDW License 1.1, che secondo NVIDIA consente l'uso commerciale, e la sua versione NVFP4 di Qwen3.8-Flash-Next è soggetta sia alla NVIDIA Open Model License sia alla Qwen Community License, secondo la scheda del modello consultata il 15 ottobre 2026.
Mistral Medium 3.5 concede diritti commerciali solo alle aziende con un fatturato mensile non superiore a 20 milioni di dollari statunitensi.

Quali modelli funzionano bene su quale macchina

Quali modelli aperti funzionano bene su quale macchina, con dati aggiornati al 26 ottobre 2026
Macchina	Modelli piccoli, fino a circa 10 miliardi di parametri	Modelli medi, da circa 12 a 40 miliardi di parametri	Grandi modelli a miscela di esperti, da circa 80 a 250 miliardi di parametri	I modelli aperti più grandi, da circa 280 miliardi di parametri in su
Un laptop con 16 GB di memoria	Gemma 4 E4B e Qwen3.5-9B entrano in memoria e sono adatti a redigere bozze, riassumere, tradurre e rispondere a domande sulle immagini. It's FOSS ha misurato circa 3 token al secondo per un modello da 8 miliardi di parametri su un laptop meno recente che utilizzava solo il processore, e secondo il calcolo descritto sotto la tabella un MacBook Air con M5 scrive al massimo circa 23 token al secondo con un modello da 6,6 GB, un limite approssimativo perché le parti per immagini e audio non vengono lette per ogni token.	Gemma 4 12B entra in memoria e gestisce attività di scrittura e sulle immagini un po' più difficili, mentre gpt-oss-20b è progettato per 16 GB, ma lascia poco spazio al sistema operativo e ai documenti. I modelli da 27 a 31 miliardi di parametri non entrano in memoria.	Questi modelli non entrano in memoria, perché anche gpt-oss-120b richiede 65 GB.	Questi modelli non entrano in memoria: anche la versione a 2 bit di GLM-5.3-Flash di Unsloth è di 108,7 GB.
Un desktop con una scheda grafica da 16 a 32 GB	Questi modelli sono veloci: Llama 2 7B a 4 bit (circa 3,8 GB), il piccolo modello di prova delle tabelle dei risultati di llama.cpp, ha scritto circa 93 token al secondo su una RTX 5060 Ti e circa 300 su una RTX 5090. I modelli piccoli attuali da 6,6 GB scrivono più lentamente, in misura approssimativamente proporzionale alla loro dimensione, il che resta adatto alla chat interattiva.	Una scheda da 16 GB contiene gpt-oss-20b, che la guida di llama.cpp ha misurato a 111,5 token al secondo su una RTX 5060 Ti e a 282,5 su una RTX 5090. I modelli da 27 a 31 miliardi di parametri richiedono 24 o 32 GB oppure che parte del modello resti nella memoria di sistema, una soluzione che Unsloth descrive per Qwen3.8-27B su schede da 16 GB e che ne rallenta l'esecuzione.	Questi modelli superano la memoria della scheda, ma parte di un modello può restare nella memoria di sistema: la guida di llama.cpp a gpt-oss riporta circa 30 token al secondo per gpt-oss-120b su una RTX 5090 con parte dei suoi esperti nella memoria di sistema, all'inizio di una conversazione.	Questi modelli non entrano in memoria.
Una macchina con 128 GB di memoria condivisa, come un Mac Studio con M5 Max o una macchina con Ryzen AI Max+ 395	Più modelli piccoli entrano in memoria uno accanto all'altro, ad esempio per chat, parlato e ricerca nei documenti. Il piccolo modello di prova ha scritto circa 54 token al secondo sulla grafica della serie Ryzen AI Max+ 300 e circa 120 su un M5 Max.	Questi modelli entrano in memoria anche a 16 bit, ma quelli densi scrivono lentamente: Signal65 ha misurato il modello denso Qwen3.6-27B a 13 token al secondo sul Ryzen AI Halo di AMD, contro 63,6 per Qwen3.6-35B-A3B a miscela di esperti, che è quindi più adatto al lavoro interattivo.	gpt-oss-120b, Nemotron 3.5 Super VL e Mistral Small 4 entrano in memoria. Signal65 ha misurato gpt-oss-120b a 56,2 token al secondo sul Ryzen AI Halo, che ha letto i prompt a 809 token al secondo, 0,45 volte la velocità del DGX Spark nello stesso test; questo risultato è adatto al lavoro di programmazione e sui documenti di una sola persona. Non abbiamo trovato velocità pubblicate per gli altri due modelli.	GLM-5.3-Flash entra in memoria solo nelle versioni di Unsloth al di sotto dei 4 bit, come quella da 108,7 GB a 2 bit, che funzionano solo con il software di Unsloth, e Unsloth dichiara che la sua versione a 1 bit di DeepSeek-V4.1-Flash-1017 funziona su macchine da 128 GB quando una grande tabella viene letta dal disco. Entrambi i modelli possono perdere accuratezza con così pochi bit, e non abbiamo trovato velocità pubblicate.
Una workstation grafica con 96 GB o più di memoria video	Questi modelli sono veloci quasi quanto su una RTX 5090: il piccolo modello di prova ha scritto circa 281 token al secondo su una RTX PRO 6000 Blackwell.	Questi modelli entrano in memoria anche a 16 bit, e LMSYS ha misurato gpt-oss-20b a 215 token al secondo su una RTX PRO 6000 Blackwell.	gpt-oss-120b entra in una sola scheda da 96 GB con circa 30 GB liberi per il contesto e ha scritto 170,62 token al secondo su una RTX PRO 6000 Max-Q nella guida di llama.cpp. Qwen3.8-Flash-Next non entra in una sola scheda da 96 GB a 4 bit, perché Unsloth indica da 96 a 114 GB per quelle versioni, quindi richiede due schede.	Quattro schede RTX PRO 6000 Max-Q con 384 GB contengono la versione a 4 bit di GLM-5.3-Flash di NVIDIA (204,4 GB) e, secondo il nostro confronto con i 305 GB che Unsloth indica per la sua versione a 4 bit, DeepSeek-V4.1-Flash-1017 con una grande tabella letta dal disco; non abbiamo trovato velocità pubblicate.
Un NVIDIA DGX Spark con 128 GB di memoria condivisa	Questi modelli scrivono più lentamente che su una scheda grafica: il piccolo modello di prova ha raggiunto circa 57 token al secondo, contro circa 93 su una RTX 5060 Ti. Per i soli modelli piccoli, una scheda grafica è l'acquisto migliore.	Questi modelli entrano in memoria anche a 16 bit. Il progetto llama.cpp ha misurato gpt-oss-20b a 83,43 token al secondo e Qwen3-Coder-30B-A3B a 61,06, una velocità sufficiente per la programmazione interattiva, e Signal65 ha misurato il modello denso Qwen3.6-27B a 11,9.	È la classe per cui la macchina è progettata: nel benchmark di llama.cpp, gpt-oss-120b ha scritto 58,72 token al secondo e ha letto i prompt a 2.443,91 token al secondo, e nel test di vLLM del 1º giugno 2026 la versione NVFP4 di NVIDIA di Nemotron 3 Super, il predecessore di Nemotron 3.5 Super VL, ha scritto da 22,7 a 23,7 token al secondo. Nel nostro unico test su una macchina Lenovo con lo stesso chip, la versione NVFP4 di NVIDIA di Qwen3.8-Flash-Next, letta in parte dal disco, ha scritto 16,5 token al secondo con il ragionamento e la previsione di più token disattivati e ha letto il testo nuovo a soli 100 token al secondo circa, come descritto sotto la tabella.	Come sulle altre macchine da 128 GB, GLM-5.3-Flash e DeepSeek-V4.1-Flash-1017 entrano in memoria solo nelle versioni di Unsloth al di sotto dei 4 bit, con i limiti indicati per quelle macchine. NVIDIA dichiara che due macchine collegate gestiscono fino a 400 miliardi di parametri, un dato che non abbiamo misurato.

La compatibilità con la memoria è valutata in base alle dimensioni dei download indicate da Ollama, LM Studio e Hugging Face il 26 ottobre 2026. Le velocità sono token scritti al secondo per un solo utente e provengono dalle tabelle dei risultati di llama.cpp per l'hardware NVIDIA, AMD e Apple, dal benchmark di llama.cpp per il DGX Spark (5 febbraio 2026), dalla guida di llama.cpp a gpt-oss (18 agosto 2025), da It's FOSS (15 maggio 2026), da LMSYS (13 ottobre 2025), da vLLM (1º giugno 2026) e da Signal65 (6 luglio 2026). I fabbisogni di memoria attribuiti a Unsloth provengono dalla sua documentazione, consultata il 26 ottobre 2026, e i nostri dati provengono dalle esecuzioni datate descritte sotto la tabella.

Come abbiamo compilato la matrice

Ogni cella indica se le versioni a 4 bit dei modelli tipici entrano in memoria lasciando spazio al sistema operativo e a un documento, e con quale velocità la combinazione ha funzionato in una misurazione pubblicata o nella nostra, secondo le fonti consultate il 26 ottobre 2026 ed elencate nella nota.

Quando una cella riporta una stima, si tratta di un calcolo dichiarato come tale: per ogni token che scrive, un modello legge una volta dalla memoria i suoi pesi attivi, quindi la larghezza di banda della memoria divisa per la loro dimensione costituisce un limite superiore per la velocità di generazione. I valori misurati dipendono dal software, dalle impostazioni e dalla lunghezza della conversazione: su un DGX Spark, gpt-oss-120b ha scritto 58,72 token al secondo all'inizio e 42,76 dopo 32.768 token nel benchmark di llama.cpp, e 57,8 nel test di Signal65.

Che cosa abbiamo misurato noi stessi su una macchina GB10

Il nostro laboratorio esegue modelli aperti su macchine da 128 GB con il chip GB10 di NVIDIA, il chip del DGX Spark, prodotte da ASUS e Lenovo. Ogni valore riportato di seguito proviene da una singola esecuzione datata.

Il 12 ottobre 2026, la versione NVFP4 di NVIDIA di Qwen3.8-Flash-Next, messa a disposizione con vLLM 0.30.0 sulla macchina Lenovo, ha scritto 16,5 token al secondo su una risposta di 600 token, con il primo token dopo 1,19 secondi, in un unico test con due funzioni disattivate: il ragionamento, in cui il modello scrive i passaggi intermedi prima di rispondere, e la previsione di più token (multi-token prediction), che propone diversi token alla volta.
Questa versione, da 132,7 GB, funziona su una sola macchina da 128 GB solo perché la sua tabella di embedding di n-grammi viene letta dal disco secondo necessità. Il 14 ottobre 2026, il testo che la macchina non aveva letto in precedenza è stato elaborato a soli 100 token al secondo circa, molto probabilmente per questo motivo, per cui un prompt di 16.000 token ha atteso 148 secondi per il primo token, contro 7,3 secondi una volta letto il testo.
Nel nostro test di IA per la contabilità, che utilizza un'attività di GDPval, l'insieme di attività professionali reali di OpenAI, una versione precedente di Qwen3.8-Flash-Next ha ottenuto 80 punti su 95 il 21 settembre 2026, con 46 saldi a livello di fattura errati su 264, e Qwen3.8-27B senza ragionamento ha ottenuto 39, 35 e 9 punti il 15 settembre 2026 in tre tentativi interrotti dopo 30 minuti. I revisori sapevano quale modello avesse prodotto ciascuna cartella di lavoro, la revisione non è una valutazione GDPval ufficiale, e una sola attività non costituisce una classifica.

Eseguire il primo modello, passo dopo passo

Su un computer comune: installare Ollama o LM Studio e scegliere un modello che entri in memoria

Verifichi quanta memoria ha il computer e se dispone di una scheda grafica con memoria propria; su un Mac, processore e grafica condividono un'unica area di memoria.
Installi Ollama da ollama.com o LM Studio da lmstudio.ai; su un Mac, LM Studio richiede Apple silicon.
Scelga un modello il cui download sia nettamente più piccolo della memoria libera, come Gemma 4 E4B con 16 GB; il comando ollama run gemma4:e4b lo scarica e lo avvia.
Aumenti la lunghezza del contesto avvicinandola a quella del Suo documento reale più lungo, nelle impostazioni di Ollama o con la sua variabile OLLAMA_CONTEXT_LENGTH, perché il valore predefinito al di sotto di 24 GiB di memoria grafica è di circa 4.000 token; ogni token di contesto richiede memoria, quindi la aumenti solo nella misura consentita dalla memoria.
Esegua una delle Sue attività e annoti l'attesa per la prima parola, la velocità di scrittura e la correttezza della risposta.

Su una macchina dedicata di fascia alta: mettere un modello a disposizione di un team

Scelga un modello per il team e lasci memoria libera per più conversazioni, ciascuna delle quali richiede la propria cache chiave-valore.
Scelga un runtime che elabori più richieste insieme, come vLLM, llama-server o llmster, il servizio in background di LM Studio.
Apra il runtime alla rete in modo deliberato: Ollama è in ascolto solo sulla macchina stessa finché non si modifica la sua impostazione OLLAMA_HOST e non dispone di chiavi di accesso proprie, quindi l'accesso deve essere controllato a monte, ad esempio con una regola del firewall o con un server web che verifica una chiave prima di inoltrare le richieste, noto come reverse proxy.
Metta a disposizione del team un'applicazione di chat come Open WebUI e faccia una prova con più persone che inviano richieste contemporaneamente.

Su un DGX Spark

Aggiorni prima DGX OS; l'aggiornamento di ottobre 2026 porta la versione 7.6.0 con il CUDA Toolkit 13.0.3 di NVIDIA, il software attraverso cui i programmi utilizzano il processore grafico.
Segua una delle guide operative (playbook) di NVIDIA su build.nvidia.com/spark; NVIDIA stima da 15 a 30 minuti per la configurazione di vLLM.
Preferisca le versioni nel formato NVFP4 di NVIDIA, che utilizzano l'aritmetica a 4 bit del chip.
Mantenga in esecuzione un modello grande anziché ricaricarlo: sulla nostra macchina GB10, il 12 ottobre 2026 l'avvio di vLLM con la versione NVFP4 da 132,7 GB di Qwen3.8-Flash-Next ha richiesto circa 15 minuti, compresa una fase di preparazione che viene eseguita solo al primo avvio.

Collegare i Suoi strumenti

Gli strumenti scritti per OpenAI possono utilizzare un modello locale una volta modificati l'indirizzo di base e il nome del modello; se uno strumento richiede una chiave di accesso, con Ollama funziona qualsiasi valore.

Ollama risponde all'indirizzo http://localhost:11434/v1 e LM Studio all'indirizzo http://localhost:1234/v1.
llama-server risponde all'indirizzo http://127.0.0.1:9931/v1 nelle versioni dal 9 ottobre 2026 in poi e sulla porta 8080 nelle versioni precedenti e nella documentazione, mentre vLLM utilizza la porta 8000.
Claude Code utilizza un modello locale tramite Ollama quando ANTHROPIC_BASE_URL è impostato su http://localhost:11434 e ANTHROPIC_AUTH_TOKEN su ollama, e Ollama raccomanda per questo uso un contesto di almeno 64.000 token.

Quando è troppo lento, non entra in memoria o dimentica l'inizio di un documento

Se il modello non si carica o la macchina diventa estremamente lenta, il modello non entra in memoria; scelga quindi meno bit, un modello più piccolo, un contesto più breve o una cache chiave-valore a 8 bit.
Se la scrittura è lenta, verifichi che l'intero modello si trovi nella memoria grafica, oppure scelga un modello a miscela di esperti.
Se la prima parola arriva lentamente con documenti lunghi, il collo di bottiglia è la lettura dell'input; mantenga quindi lo stesso documento all'inizio del prompt, in modo che il runtime possa riutilizzarlo.
Se il modello dimentica l'inizio di un documento, la finestra di contesto è troppo piccola; aumenti quindi la lunghezza del contesto entro i limiti consentiti dal modello e dalla memoria.

Valutare i risultati sul lavoro reale

Una dimostrazione sembra quasi sempre convincente; solo il Suo lavoro offre una prova significativa. Stabilisca che cosa costituisce una buona risposta prima di vedere qualsiasi risposta, in modo che la valutazione non dipenda da quanto le risposte appaiono persuasive.

Utilizzi un'attività rappresentativa dell'ultima settimana, con la sua lunghezza e la sua complessità reali, perché un prompt breve e costruito con cura non dimostra nulla su una giornata di lavoro.

Annoti prima che aspetto ha un buon risultato: che cosa deve essere corretto, che cosa non deve essere inventato e che cosa deve essere presente. Da dieci a venti esempi di cui conosce già la risposta corretta sono più informativi di una lunga conversazione.

Conti il lavoro che segue la risposta. Se qualcuno deve controllare e correggere ogni risultato, quel tempo fa parte del costo, e un modello che richiede meno controlli può essere la scelta migliore anche quando sembra più debole.

Registri la configurazione esatta che ha provato: il modello e la sua release, la versione scaricata e il suo numero di bit, il software di esecuzione e le impostazioni, compresa la lunghezza del contesto. Cambi un elemento alla volta; altrimenti non saprà quale modifica ha aiutato.

Quanto costa eseguire l'IA in locale

Acquistare una macchina o pagare un abbonamento

Al 26 ottobre 2026, negli Stati Uniti ChatGPT Plus costa 20 USD e Claude Pro costa 20 USD per persona al mese, mentre una macchina si paga una sola volta e non costa nulla per richiesta. Quattro fattori determinano quale delle due soluzioni sia più economica.

Il prezzo d'acquisto è aumentato nel corso del 2026 perché i chip di memoria scarseggiano: la società di ricerche di mercato TrendForce riporta che i prezzi concordati con i grandi acquirenti per la memoria dinamica ad accesso casuale convenzionale, la memoria principale dei computer, sono aumentati tra il 93 e il 98 per cento rispetto al trimestre precedente nel primo trimestre del 2026. La DGX Spark Founders Edition, lanciata a 3999 USD a ottobre 2025, costava 6950 USD secondo quanto riportato il 2 ottobre 2026.
L'elettricità dipende dall'assorbimento: un assorbimento di 100 W, 24 ore al giorno, consuma 72 chilowattora (kWh) in 30 giorni, e un assorbimento di 240 W, la potenza nominale dell'alimentatore del DGX Spark, consuma 172,8 kWh, da moltiplicare per il prezzo per chilowattora indicato nella Sua bolletta.
Il tempo del personale per installare, aggiornare e riparare la macchina è un costo che un'analisi di convenienza economica deve includere.
Anche la qualità è un costo, perché un modello aperto che richiede più controlli costa tempo; il confronto con ChatGPT mette a confronto le prove pubblicate attività per attività.

Scoprirlo prima dell'acquisto

Acquistare una macchina per rispondere alla domanda è l'approccio costoso. Se la risposta è negativa, Le restano sia la risposta sia l'hardware.

Eseguire il Suo lavoro su una macchina preparata dello stesso tipo risponde alla stessa domanda al costo di poche ore, a condizione che l'hardware, il modello e il software di esecuzione siano quelli che acquisterebbe; chieda quindi la specifica esatta di tutti e tre. Il nostro test drive offre una prova di questo tipo su richiesta tramite il modulo di contatto: noi gestiamo una macchina con il chip GB10 del DGX Spark e un modello aperto, e Lei vi collega i Suoi strumenti.

Se preferisce non rispondere a questa domanda acquistando prima l'hardware, il nostro test drive di IA locale mette a disposizione una macchina con il chip NVIDIA GB10 del DGX Spark e un modello aperto, così che possa collegare i Suoi strumenti, eseguire il Suo carico di lavoro e giudicare il risultato prima di acquistare l'attrezzatura. Il test drive è offerto su richiesta tramite il modulo di contatto. Se sta mettendo a confronto una configurazione locale con ChatGPT o con un altro chatbot di IA, legga private-local.ai vs ChatGPT.

Domande sull'esecuzione dell'IA in locale

Posso scoprire come eseguire l'IA in locale senza acquistare prima l'hardware?

Sì, per la maggior parte della domanda: un modello piccolo sul Suo computer attuale mostra come funziona il software, e la tabella di questa guida mostra quali modelli entrano in quali macchine. Solo l'esecuzione del Suo lavoro su una macchina del tipo che sta valutando mostra se un modello più grande lo svolge abbastanza bene.

Posso eseguire ChatGPT o Claude sulla mia macchina?

No. I file dei loro modelli non sono pubblicati, quindi non esiste una copia locale da installare, e i modelli a pesi aperti gpt-oss di OpenAI sono distinti dai modelli utilizzati da ChatGPT. Se un modello aperto svolga abbastanza bene la Sua attività emerge solo quando lo stesso lavoro reale viene eseguito con entrambi.

Quanta memoria serve per eseguire un modello in locale?

Moltiplichi i parametri in miliardi per i bit per peso e divida per otto per ottenere i gigabyte, quindi aggiunga spazio per il contesto e per il sistema operativo. A ottobre 2026, le versioni a 4 bit di Qwen3.8-27B, con 27,78 miliardi di parametri, vanno da 14,3 a 18 GB, mentre la versione di Inferact in NVFP4, il formato a 4 bit di NVIDIA, è di 26,4 GB.

Una configurazione locale è privata?

Un sistema eseguito su hardware sotto il Suo controllo mantiene il lavoro del modello all'interno della Sua rete, ed è questo il motivo principale per cui le aziende desiderano dotarsene. Da solo, però, non rende sicuro tutto, perché backup, log, gli strumenti intorno al modello e l'accesso alla macchina restano comunque determinanti. La ricerca sul web e i modelli cloud di Ollama, ad esempio, sono servizi online che inviano ciò che Lei inserisce ai server di Ollama.

Posso eseguire l'IA in locale su un laptop?

Sì. Un laptop con 16 GB di memoria contiene modelli fino a circa 10 miliardi di parametri, adatti a redigere bozze, riassumere e rispondere a domande sulle immagini, ma la velocità dipende dalla memoria: It's FOSS ha misurato circa 3 token al secondo per un modello da 8 miliardi di parametri su un laptop meno recente che utilizzava solo il processore (15 maggio 2026). I principali modelli ospitati restano più forti per il lavoro difficile.

Quale modello aperto entra in 16 GB di memoria?

A ottobre 2026, le versioni a 4 bit di Gemma 4 E4B (6,6 GB), Qwen3.5-9B (6,6 GB), Ministral 3 8B (6,0 GB) e Gemma 4 12B (8,0 GB) entrano in memoria lasciando spazio per un documento. gpt-oss-20b (13,8 GB) è progettato per 16 GB, ma lascia poco spazio quando la macchina dispone soltanto di quella memoria.

Che cosa può eseguire un NVIDIA DGX Spark?

Un DGX Spark, con 128 GB di memoria condivisa, esegue i modelli aperti piccoli e medi citati in questa guida e i modelli a miscela di esperti di circa 120 miliardi di parametri a 4 bit, come gpt-oss-120b a 58,72 token al secondo (llama.cpp, febbraio 2026). I modelli aperti più grandi funzionano solo in versioni al di sotto dei 4 bit che richiedono software speciale o leggono parte del modello dal disco, oppure non funzionano affatto.

Posso effettuare il fine-tuning di un modello sulla mia macchina?

Sì, con metodi che addestrano soltanto un piccolo modulo aggiuntivo, noti come adattamento a basso rango (low-rank adaptation, LoRA), o con la loro variante per modelli compressi a 4 bit, l'adattamento a basso rango quantizzato (quantised low-rank adaptation, QLoRA); NVIDIA dichiara che un DGX Spark può effettuare il fine-tuning di modelli fino a 70 miliardi di parametri. Addestrare da zero un modello capace richiede una potenza di calcolo molto superiore a quella di una sola macchina.

Scopra se il Suo lavoro è adatto a una configurazione locale

Scelga una configurazione, esegua un'attività rappresentativa e valuti se il risultato è sufficientemente buono. Se il risultato indica che non dovrebbe acquistare una macchina, il test ha risposto alla domanda altrettanto bene.

Richieda un endpoint