IA locale: che cos'è, come funziona e quando conviene

L'IA locale indica dove viene eseguito un modello, non chi lo ha sviluppato. Un modello aperto di una grande azienda di IA eseguito su una macchina propria è IA locale, mentre lo stesso modello aperto eseguito sui server di un fornitore cloud è IA in cloud. Di norma, inoltre, per IA locale si intende l'esecuzione di un modello già addestrato, detta inferenza, e non l'addestramento di un modello da zero. Eseguire un modello su una macchina propria ha tre conseguenze pratiche.

• I file del modello sono archiviati sul Suo disco. Può fissarne una versione esatta e far sì che funzioni allo stesso modo anche l'anno prossimo, cosa che il modello ospitato da un fornitore non garantisce.
• Su una macchina di Sua proprietà, nessun dato lascia l'edificio per essere elaborato. È questo il motivo principale per cui le aziende prendono in considerazione l'IA locale.
• Una volta installati il software e il modello, la macchina risponde senza connessione a internet.

Eseguire un modello in locale richiede tre passaggi.

1. Lei installa un software che rende disponibile il modello, come Ollama, LM Studio o LocalAI. La maggior parte di questi programmi accetta lo stesso formato di richiesta di OpenAI, quindi a uno strumento esistente basta di solito indicare un nuovo indirizzo.
2. Scarica quindi un modello aperto di dimensioni compatibili con la memoria della Sua macchina. Il modello Qwen3.5-35B-A3B, con 35 miliardi di parametri, richiede 64,6 gigabyte a precisione piena e 12,2 gigabyte in versione compressa, quindi entrambe le versioni trovano posto su un NVIDIA DGX Spark con 128 gigabyte di memoria.
3. Il modello elabora ogni prompt sul Suo processore o sulla Sua scheda grafica e restituisce la risposta senza ricorrere a un servizio cloud. Su un DGX Spark, il modello Qwen compresso produce 74,4 token al secondo, pari a circa 55 parole al secondo.

La guida Come eseguire l'IA in locale spiega ogni passaggio, i requisiti hardware e il modo di valutare i risultati.

L'IA locale si utilizza per lo stesso lavoro dell'IA in cloud, ma le aziende la scelgono quando il materiale è sensibile o quando la stessa attività si ripete in grandi volumi. Gli esempi seguenti illustrano usi tipici, con i risultati pubblicati per i modelli aperti, ove disponibili.

• Un'azienda manifatturiera affida a un modello le risposte alle domande sulla propria documentazione tecnica e sui manuali di manutenzione, così che il personale dell'assistenza tecnica trovi la procedura corretta senza dover consultare migliaia di pagine.
• Uno studio legale o tributario affida a un modello l'estrazione delle parti, delle scadenze e degli importi da contratti e corrispondenza con i clienti, insieme alla redazione di prime sintesi da sottoporre a revisione.
• Un'agenzia di automazione collega un modello locale a un software per flussi di lavoro come n8n, in modo che le email in arrivo vengano smistate e ricevano risposta automaticamente. Su AutomationBench-AA, che simula flussi di lavoro di questo tipo su Gmail, Slack e Salesforce, il modello aperto DeepSeek V4.1 Flash ha completato il 68,9 per cento degli obiettivi, contro il 68,5 per cento di GPT-6 Astra; il confronto con ChatGPT esamina sette attività di questo tipo.
• Un team finanziario affida a un modello l'analisi di fogli di calcolo, esportazioni in formato a valori separati da virgola (CSV) e log nel luogo in cui sono archiviati. Nello studio DSGym, il modello aperto gpt-oss-120b ha risposto correttamente al 71 per cento delle domande semplici di analisi dei dati, contro il 75 per cento di GPT-5. Nel nostro test di IA per la contabilità, il modello aperto GLM-5.3 Flash ha costruito una cartella di lavoro Excel riconciliata a partire da 66 fatture e ha ottenuto 90 punti su 95.
• Una clinica trascrive referti dettati e redige lettere di dimissione sul proprio hardware, in modo che i dati dei pazienti non arrivino a un servizio esterno. Il confronto con la società di anonimizzazione Limina elenca sette situazioni di questo tipo, suddivise per settore.

Per un'azienda, l'IA locale offre quattro vantaggi rispetto all'IA in cloud.

• L'azienda mantiene il controllo sui propri dati e sulla propria proprietà intellettuale: contratti, cartelle cliniche o codice sorgente vengono elaborati all'interno della sua rete. Il confronto con Limina illustra sette situazioni in cui questo aspetto è decisivo.
• Non sono previsti costi per richiesta né per persona. Un team di 20 persone con ChatGPT Business paga 6000 USD all'anno, ogni anno, mentre una macchina si paga una sola volta; il confronto con ChatGPT riporta i prezzi attuali.
• La macchina funziona nei locali dell'azienda e senza connessione a internet, ad esempio in una rete di produzione deliberatamente isolata da internet.
• L'azienda fissa il modello e la sua versione, ad esempio una specifica release di Qwen, DeepSeek o GLM, in modo che un risultato possa essere riprodotto esattamente allo stesso modo l'anno prossimo. Un modello ospitato può cambiare senza preavviso.

Un modello aperto abbastanza piccolo da essere eseguito su una macchina desktop è meno capace dei migliori modelli in cloud, e nessun accorgimento colma del tutto questo divario. Il confronto con ChatGPT misura il divario attività per attività, e la pagina Benchmark dei modelli di IA raccoglie le valutazioni pubbliche.

• I modelli in cloud restano nettamente in vantaggio nella ricerca sul web e nella generazione di immagini. Su BrowseComp, un test che misura la capacità di trovare sul web informazioni difficili da reperire, GPT-6 Astra ottiene il 91,5 per cento, mentre i migliori modelli aperti eseguibili su una singola macchina ottengono tra il 64 e il 68 per cento.
• La memoria limita la dimensione del modello, e questo limite è fissato il giorno dell'acquisto. Un DGX Spark con 128 gigabyte può contenere modelli compressi con diverse decine di miliardi di parametri, ma non i modelli aperti più grandi, che richiedono diverse centinaia di gigabyte.
• Qualcuno deve installare, aggiornare e riparare la macchina, e il tempo di questa persona costituisce di solito un costo maggiore dell'hardware.
• Quando più persone inviano richieste nello stesso momento, condividono la macchina e ciascuna attende più a lungo; per questo una macchina destinata a un team deve essere testata con più utenti contemporaneamente.
• Una macchina che resta inutilizzata per gran parte della giornata è difficile da giustificare rispetto a un abbonamento a ChatGPT Plus da 20 USD per persona al mese.

Il prezzo d'acquisto è la cifra citata più spesso, ma rappresenta la parte minore della risposta. Sono quattro i costi che determinano se una configurazione locale si ripaga.

• La macchina stessa, ad esempio un NVIDIA DGX Spark, è un investimento in beni strumentali di diverse migliaia di euro, pagato una sola volta e ammortizzato come qualsiasi altra attrezzatura.
• Energia e spazio costituiscono il secondo costo. La macchina consuma energia mentre è in uso e molto meno quando è inattiva, e richiede una collocazione adeguatamente ventilata anziché un armadio chiuso.
• La manutenzione è il terzo costo: aggiornamenti, cambi di modello e qualche guasto occasionale. Le valutazioni di convenienza economica la omettono più spesso di qualsiasi altra voce, ed è il costo che con maggiore probabilità viene sottostimato.
• L'alternativa attuale fissa il termine di paragone. ChatGPT Business costa 25 USD per persona al mese, quindi 20 utenti costano 6000 USD all'anno; è questa la cifra che la macchina deve battere, e va calcolata prima di ogni altra cosa.

A questa domanda si può rispondere in gran parte sulla carta, prima ancora di utilizzare qualsiasi hardware. Prenda un'attività reale anziché una categoria di attività e la verifichi alla luce delle quattro domande seguenti.

• Con quale frequenza viene svolta l'attività? Un'attività eseguita centinaia di volte al giorno, come lo smistamento delle email in arrivo, rende conveniente possedere l'attrezzatura; un report redatto una volta al trimestre no.
• Quale qualità deve avere il risultato e chi lo verifica? Definisca lo standard prima di vedere qualsiasi risposta, ad esempio con un campione di dieci-venti casi di cui conosce già il risultato corretto; la guida all'esecuzione dell'IA in locale spiega come procedere.
• Esiste un motivo per cui il materiale non può lasciare l'edificio, come il segreto professionale, i dati dei pazienti o i segreti commerciali? Se esiste, di solito quel motivo basta da solo a decidere la questione.
• Chi gestirà la macchina? Se non è possibile indicare nessuno, l'azienda non è ancora pronta per averne una, qualunque cosa mostrino i risultati dei benchmark.

Per provare adeguatamente l'IA locale occorre di norma possedere già la macchina. Il nostro test drive esiste per colmare questa lacuna.

• Gestiamo un NVIDIA DGX Spark con un modello aperto indicato per nome e mettiamo a disposizione dei Suoi strumenti un endpoint standard, costituito da un indirizzo web e da una chiave di accesso.
• Lei collega lo strumento che già utilizza, ad esempio un flusso di lavoro n8n o un'applicazione sviluppata per l'interfaccia di OpenAI, ed esegue le Sue attività per una o due ore a 10 € all'ora, come indicato nella pagina dei prezzi.
• Conserva le Sue misurazioni: quanto tempo ha richiesto ciascuna attività, che cosa ha restituito il modello e dove ha sbagliato.