Cómo ejecutar IA localmente: configuraciones, modelos y qué combinaciones funcionan
Benjamin Spinola, Fundador
Publicado Actualizado 34 minutos de lectura
La inteligencia artificial (IA) no tiene por qué ejecutarse en los servidores de un proveedor: los modelos abiertos pueden descargarse y ejecutarse en un ordenador de su propiedad. Esta guía explica cómo ejecutar IA localmente a fecha de octubre de 2026: qué implica ejecutar un modelo y qué tiene que funcionar, tres configuraciones de hardware, los modelos abiertos por tamaño y cuáles de ellos funcionan bien en cada máquina; a continuación, trata los primeros pasos, la evaluación de los resultados y los costes. La página sobre IA local explica qué es la IA local y cuándo compensa su coste.
Inferencia y entrenamiento: qué significa ejecutar IA localmente
Inferencia: utilizar un modelo terminado para responder
Un modelo de lenguaje es un gran archivo de números, llamados parámetros o pesos, que su desarrollador calculó de antemano a partir de una enorme cantidad de texto. Utilizar ese archivo terminado para responder a una solicitud se denomina inferencia, y eso es lo que casi siempre significa ejecutar IA localmente.
La inferencia tiene dos fases, y ambas se miden en tokens por segundo, siendo un token una palabra o una parte de una palabra. La lectura de la entrada, llamada procesamiento del prompt, depende sobre todo de la potencia de cálculo. La escritura de la respuesta, llamada generación, depende sobre todo de la rapidez con la que la máquina traslada los pesos de la memoria al procesador, lo que se denomina ancho de banda de memoria.
Entrenamiento y ajuste fino: cambiar lo que sabe un modelo
El entrenamiento es el proceso que calcula los pesos en origen y requiere muchísimo más cálculo: Meta indica 1,46 millones de horas en tarjetas gráficas H100 para Llama 3.1 8B, unos 167 años en una sola tarjeta (según nuestro cálculo). El ajuste fino adapta un modelo existente con sus propios ejemplos para que siga con más precisión un formato, un estilo o una tarea.
Modificar todos los pesos requiere al menos 16 bytes de memoria por parámetro para los pesos y los valores que el entrenamiento guarda sobre cada uno de ellos, según el artículo ZeRO de Microsoft de 2019 sobre el entrenamiento de modelos grandes, lo que supone unos 128 gigabytes (GB) para 8000 millones de parámetros antes de contar los datos de trabajo del entrenamiento. Por ello, una sola máquina suele entrenar únicamente un pequeño complemento, conocido como adaptación de bajo rango (LoRA), a menudo sobre una copia del modelo comprimida a 4 bits por peso, lo que se denomina adaptación de bajo rango cuantizada (QLoRA); para 8000 millones de parámetros, la herramienta de ajuste fino Unsloth indica 6 GB de memoria gráfica como mínimo para QLoRA.
Lo que una máquina local puede hacer y lo que no
- Una máquina local puede ejecutar modelos abiertos cuyos archivos y cuya memoria de trabajo quepan en su memoria y cuyo formato admita su software, y puede realizar el ajuste fino de modelos con LoRA o QLoRA.
- No puede entrenar desde cero un modelo capaz: el cálculo que Meta indica para su mayor modelo Llama 3 llevaría unos 1200 años incluso al rendimiento máximo teórico del DGX Spark de NVIDIA, una máquina de sobremesa que se describe más adelante (según nuestro cálculo).
- No iguala a los principales modelos alojados en todas las tareas: en BrowseComp, una prueba que consiste en encontrar en la web datos difíciles de localizar, OpenAI indica un 91,5 por ciento para GPT-6 Astra, mientras que los mejores modelos abiertos que caben en una sola máquina obtuvieron entre un 64 y un 68 por ciento en la clasificación Steel del 4 de septiembre de 2026, como expone nuestra comparativa con ChatGPT.
Qué tiene que funcionar
Una instalación operativa tiene tres capas: los archivos del modelo, el programa que los ejecuta y las aplicaciones a través de las cuales las personas los utilizan. La mayoría de los problemas surgen en los puntos donde se conectan las capas, así que compruebe cuanto antes sus propias herramientas.
Los archivos del modelo
Un modelo se distribuye como archivos que contienen sus pesos y que se descargan de Hugging Face, el principal sitio web público de modelos, o de los catálogos de Ollama y LM Studio, normalmente en varias variantes que almacenan cada peso con un número distinto de bits. Almacenar los pesos con menos bits, lo que se denomina cuantización, hace que un modelo sea más pequeño y más rápido, pero puede restarle precisión.
El tamaño de una variante puede estimarse de antemano: los parámetros en miles de millones, multiplicados por los bits por peso y divididos entre ocho, dan los gigabytes. Qwen3.8-27B, con 27.780 millones de parámetros, necesita 55,6 GB a 16 bits, y sus variantes de 4 bits superan los 13,9 GB de la fórmula porque algunas partes se mantienen con mayor precisión: el 26 de octubre de 2026 iban desde 14,3 GB en Unsloth hasta 18 GB en Ollama, y la variante de Inferact en NVFP4, el formato de 4 bits de NVIDIA, ocupaba 26,4 GB.
Ollama y LM Studio también incluyen en sus catálogos modelos en la nube, que se ejecutan en los servidores del proveedor; el 26 de octubre de 2026, ofrecían GLM-5.3-Flash y DeepSeek-V4.1-Flash solo de esta forma.
El entorno de ejecución de inferencia (Ollama, LM Studio, llama.cpp, vLLM)
El entorno de ejecución de inferencia carga el modelo, realiza el cálculo y ofrece una dirección para las solicitudes, normalmente en el formato de la interfaz de programación de aplicaciones (API) de OpenAI, de modo que las herramientas escritas para OpenAI puedan utilizar un modelo local en su lugar.
- Ollama es el punto de partida más sencillo: se instala como aplicación de escritorio en macOS y Windows o con un solo comando en Linux, y su biblioteca incluía 260 familias de modelos el 26 de octubre de 2026.
- LM Studio es una aplicación de escritorio que estima la memoria que necesita un modelo antes de cargarlo; su uso en el trabajo es gratuito desde el 8 de julio de 2025, pero no es de código abierto.
- llama.cpp es el motor de código abierto sobre el que funcionan muchas herramientas de escritorio, y su propio servidor, llama-server, procesa varias solicitudes conjuntamente.
- vLLM sirve un modelo a muchos usuarios, sobre todo en tarjetas gráficas de NVIDIA, y publica paquetes de software listos para usar, conocidos como contenedores, para los sistemas Grace Blackwell de NVIDIA, incluido el DGX Spark, pero requiere más configuración.
El software en torno al modelo: memoria, búsqueda web y herramientas
Un modelo por sí solo no recuerda nada entre conversaciones y no puede buscar ni actuar. Esas funciones las aporta el software que lo rodea.
- Aplicaciones de chat como Open WebUI, AnythingLLM y Jan ofrecen a los modelos locales una ventana de chat; Open WebUI añade memoria entre conversaciones y búsqueda en los documentos cargados, mientras que el 26 de octubre de 2026 Jan presentaba la memoria como una función de próxima aparición.
- La búsqueda web nunca es local, porque la consulta se envía a un servicio de búsqueda; la búsqueda web de Ollama, por ejemplo, es un servicio en la nube que requiere una cuenta de Ollama.
- Las herramientas permiten a un modelo leer archivos, consultar bases de datos o ejecutar programas, normalmente a través del Model Context Protocol (MCP). Los agentes de programación, programas con los que un modelo planifica y lleva a cabo varios pasos de un trabajo de programación, como OpenCode, Cline y Aider, se conectan a un modelo local a través de la misma dirección compatible con OpenAI que cualquier otra aplicación.
Tres configuraciones para ejecutar IA localmente
Las tres configuraciones se diferencian sobre todo en la memoria, que determina qué modelos caben, y en el ancho de banda de memoria, que determina la velocidad a la que escribe un modelo.
Configuración 1: un ordenador convencional
Un ordenador convencional es el portátil o el equipo de sobremesa que usted ya tiene; en la Steam Hardware Survey de septiembre de 2026, la mayoría de los ordenadores tenían 16 o 32 GB de memoria. Los Mac con Apple silicon comparten una única reserva de memoria entre el procesador y el procesador gráfico, por ejemplo de 16 a 32 GB a 153 gigabytes por segundo (GB/s) en un MacBook Air con M5. Una tarjeta gráfica de sobremesa como una RTX 5060 Ti con 16 GB o una RTX 5090 con 32 GB es mucho más rápida, pero solo con modelos que caben en su propia memoria.
Configuración 2: una máquina de gama alta dedicada
Una máquina de gama alta dedicada se compra para la IA y da servicio a una o a varias personas. Las máquinas de memoria compartida admiten modelos grandes a una velocidad moderada: las máquinas con el Ryzen AI Max+ 395 de AMD, como el Framework Desktop, tienen hasta 128 GB a 256 GB/s, y el Mac Studio con M5 Ultra, hasta 512 GB a 1,2 terabytes por segundo (TB/s), aunque el 26 de octubre de 2026 Apple indicaba que la opción de 512 GB llegaría a finales de octubre.
Las estaciones de trabajo gráficas tienen menos memoria por tarjeta, pero son mucho más rápidas: la RTX PRO 6000 Blackwell de NVIDIA tiene 96 GB a 1792 GB/s, y cuatro de sus ediciones Max-Q, que están limitadas a un consumo eléctrico menor, caben en una sola estación de trabajo.
Configuración 3: un NVIDIA DGX Spark
El NVIDIA DGX Spark es un pequeño ordenador de sobremesa construido en torno al chip GB10, que combina un procesador Arm de 20 núcleos y un procesador gráfico Blackwell con memoria compartida, 128 GB a 273 GB/s en la versión original; funciona con DGX OS, la versión de Ubuntu Linux de NVIDIA. Otros siete fabricantes venden máquinas con el mismo chip, seis de ellos ofrecen una versión de 64 GB desde el 23 de octubre de 2026, y NVIDIA afirma que una máquina de 128 GB admite modelos de hasta 200.000 millones de parámetros.
Su punto fuerte es la memoria, y su punto débil, el ancho de banda: en la prueba de LMSYS de octubre de 2025, que utilizó Ollama, gpt-oss-20b escribió 49,7 tokens por segundo en un DGX Spark y 205 en una RTX 5090, mientras que llama.cpp alcanzó 83,43 con el mismo modelo en el DGX Spark en febrero de 2026, por lo que las cifras obtenidas con software distinto no son directamente comparables. Por ello, es adecuado para modelos de unos 65 a 100 GB, que ninguna tarjeta gráfica de consumo puede alojar; la sección sobre costes describe cómo probar uno antes de comprarlo.
Comparativa de las tres configuraciones
| Configuración | Memoria | Ancho de banda de memoria | Precio | Consumo eléctrico | Usuarios atendidos a la vez |
|---|---|---|---|---|---|
| Configuración 1: un ordenador convencional | La mayoría tienen 16 o 32 GB de memoria del sistema y 8 o 16 GB en la tarjeta gráfica. | El ancho de banda va desde 153 GB/s en un MacBook Air con M5 hasta 1792 GB/s en una RTX 5090. | Un MacBook Air con M5 cuesta desde 1299 US$. El 22 de octubre de 2026, el precio más bajo en Estados Unidos de una RTX 5060 Ti con 16 GB era de 789 US$, y en agosto de 2026 el precio mediano de una RTX 5090 en el minorista Newegg era de aproximadamente 4700 US$. | NVIDIA indica para la RTX 5060 Ti un consumo nominal de 180 vatios (W) y para la RTX 5090, uno de 575 W. | Es adecuada para una persona; no hemos encontrado ninguna medición con varios usuarios. |
| Configuración 2: una máquina de gama alta dedicada | Las máquinas de memoria compartida tienen hasta 128 GB con un Ryzen AI Max+ 395 o un M5 Max y 96, 256 o 512 GB con un M5 Ultra, y una estación de trabajo tiene 96 GB por tarjeta gráfica. | El ancho de banda va desde 256 GB/s en un Ryzen AI Max+ 395 hasta 1792 GB/s en una RTX PRO 6000. | Un Framework Desktop con 128 GB figura a 3449 US$, pero está agotado; un Mac Studio con M5 Ultra y 96 GB cuesta desde 5499 US$, y una sola tarjeta RTX PRO 6000 figuraba a 16.000 US$ el 12 de agosto de 2026, cuando estaba agotada. | Signal65 midió 196 W en el enchufe para el Ryzen AI Halo de AMD, una pequeña máquina de sobremesa con un procesador Ryzen AI Max+, al ejecutar gpt-oss-120b; Apple indica para el Mac Studio un máximo de 480 W, y NVIDIA indica para la RTX PRO 6000 un máximo de 600 W, o de 300 W en la edición Max-Q. | Da servicio a una persona o a un equipo pequeño, y una estación de trabajo gráfica atiende a más personas a la vez. |
| Configuración 3: un NVIDIA DGX Spark | Tiene 128 GB, o 64 GB en la versión más pequeña. | La versión de 128 GB transfiere 273 GB/s; NVIDIA no ha indicado el ancho de banda de la versión de 64 GB. | Según la prensa, la Founders Edition de la propia NVIDIA con 128 GB costaba 6950 US$, la versión de 64 GB cuesta desde 4999 US$, y Dell ofrece su máquina de 128 GB con el mismo chip a 6593 US$. | ServeTheHome midió entre 60 y 90 W en muchas cargas de trabajo con modelos de lenguaje, y la fuente de alimentación tiene una potencia nominal de 240 W. | vLLM lo considera un equipo pensado para un usuario o para unas pocas solicitudes procesadas conjuntamente, y limitó su propia prueba a cuatro solicitudes simultáneas. |
Modelos de pesos abiertos por tamaño
Los modelos de pesos abiertos son modelos cuyos desarrolladores publican los archivos entrenados para que cualquiera pueda descargarlos. En un modelo denso, todos los parámetros intervienen en cada token; en un modelo de mezcla de expertos, los parámetros se dividen en grupos llamados expertos, de los que solo unos pocos intervienen en cada token, de modo que el modelo completo debe caber en la memoria, pero escribe casi tan rápido como uno mucho más pequeño. Un nombre como Qwen3.5-35B-A3B significa 35.000 millones de parámetros en total, de los que 3000 millones están activos. Los tamaños que se indican a continuación corresponden a descargas de 4 bits de Ollama, LM Studio o Hugging Face, consultadas el 26 de octubre de 2026.
Modelos pequeños (hasta unos 10.000 millones de parámetros)
Los modelos pequeños caben en casi cualquier ordenador actual, pero son la categoría menos capaz, por lo que son adecuados para tareas breves y bien definidas, como resumir, redactar borradores, clasificar textos y responder preguntas sobre imágenes.
- Gemma 4 E2B y E4B de Google (31 de marzo de 2026) aceptan texto, imágenes y audio, y sus descargas ocupan 4,6 y 6,6 GB.
- Qwen3.5-4B y Qwen3.5-9B (27 de febrero de 2026) ocupan 3,3 y 6,6 GB en la descarga y abarcan 201 idiomas.
- La descarga de Ministral 3 8B de Mistral AI (2 de diciembre de 2025) ocupa 6,0 GB, y la de Phi-4-mini de Microsoft, 2,5 GB.
- Nemotron 3.5 Bolt E4B de NVIDIA (23 de octubre de 2026) tiene 8000 millones de parámetros, 4000 millones de ellos efectivos, y su descarga ocupa 7,9 GB.
Modelos medianos (de unos 12.000 a 40.000 millones de parámetros)
Los modelos medianos son los más grandes que caben en una tarjeta gráfica con 24 o 32 GB, y sus desarrolladores los describen como adecuados para la programación, el trabajo con agentes y los documentos más largos.
- Qwen3.8-27B (14 de agosto de 2026) es un modelo denso que Qwen describe como sólido en tareas de programación y de agentes; su descarga ocupa 18 GB.
- Gemma 4 se ofrece como 12B con entrada de audio (8,0 GB), como el modelo de mezcla de expertos 26B A4B (18 GB) y como el modelo denso 31B (20 GB).
- gpt-oss-20b de OpenAI (5 de agosto de 2025) tiene 3600 millones de parámetros activos y se publica con 13,8 GB, de modo que funciona con 16 GB de memoria.
- Muse Glimmer-30B de Meta (agosto de 2026) está diseñado para agentes de programación en una sola tarjeta gráfica de consumo, y su descarga ocupa 18 GB.
Modelos grandes de mezcla de expertos (de unos 80.000 a 250.000 millones de parámetros)
Los modelos grandes de mezcla de expertos necesitan entre unos 65 y 120 GB a 4 bits: las variantes de hasta unos 100 GB son adecuadas para una máquina de 128 GB, las de hasta unos 80 GB, para una estación de trabajo con una tarjeta de 96 GB, y las variantes mayores necesitan dos tarjetas. Con entre 5000 y 12.000 millones de parámetros activos, en esas máquinas escriben a una velocidad utilizable.
- gpt-oss-120b de OpenAI tiene 117.000 millones de parámetros, 5100 millones de ellos activos, y su descarga ocupa 65 GB.
- Mistral Small 4 (16 de marzo de 2026) tiene 119.000 millones de parámetros a pesar de su nombre; ni la biblioteca de Ollama ni el catálogo de LM Studio lo incluían el 26 de octubre de 2026, y la variante de Unsloth en Hugging Face ocupa 73,8 GB.
- Nemotron 3.5 Super VL de NVIDIA (15 de octubre de 2026, 120.000 millones de parámetros) lee texto, imágenes y vídeo, y su variante NVFP4 ocupa 75,0 GB.
- Qwen3.8-Flash-Next (agosto de 2026) almacena 176.000 millones de parámetros, de los que 51.000 millones forman una tabla de consulta de secuencias de palabras, una tabla de embeddings de n-gramas, que puede leerse del disco a medida que se necesita. Unsloth indica entre 96 y 114 GB de memoria para sus variantes de 4 bits, sumando la memoria del sistema y la memoria gráfica, y 75 GB para su variante de 1 bit; la variante NVFP4 de NVIDIA ocupa 132,7 GB.
- Mistral Medium 3.5 (80 GB a 4 bits) es denso, por lo que todos sus pesos se leen para cada token, y, según el cálculo de la sección siguiente, un DGX Spark escribe con él como máximo unos 3,4 tokens por segundo.
Los modelos abiertos más grandes y por qué no caben en una sola máquina de sobremesa
Los modelos abiertos más grandes son los que más se acercan a los principales modelos alojados: el 28 de septiembre de 2026, Artificial Analysis situó a GLM-5.3-Flash por encima de GPT-6 Astra en GDPval-AA, una valoración de trabajo profesional terminado (1641 frente a 1542), pero por debajo en su Intelligence Index, una puntuación combinada de muchas pruebas (42 frente a 53), como expone nuestra página de pruebas de rendimiento de modelos de IA. Ninguno de ellos cabe a 4 bits en 128 GB, y los más grandes superan incluso los 512 GB del Mac Studio más grande.
Cada forma de sortear el límite tiene un coste: conectar varias máquinas multiplica el precio, las variantes con 1 a 3 bits por peso pueden perder precisión, y leer parte de un modelo del disco ralentiza la primera respuesta, como muestra nuestra medición de la sección siguiente.
- GLM-5.3-Flash de Z.ai (26 de agosto de 2026, 320.000 millones de parámetros) ocupa 156,8 GB en su variante de 4 bits más pequeña; las variantes de Unsloth con menos bits, por ejemplo la de 108,7 GB a 2 bits, caben en 128 GB, pero solo funcionan con el software propio de Unsloth, porque el cambio de llama.cpp que necesitan se cerró sin incorporarse el 1 de octubre de 2026.
- DeepSeek-V4.1-Flash (10 de septiembre de 2026, actualizado el 17 de octubre de 2026 como DeepSeek-V4.1-Flash-1017) tiene unos pesos oficiales de 510,3 GB; Unsloth indica que su variante de 1 bit de la actualización funciona con entre 128 y 145 GB de memoria, pero solo porque una gran tabla del modelo se lee de la unidad de estado sólido.
- Muse Spark Open de Meta necesita al menos 700 GB a 4 bits, según Meta, y los pesos oficiales de Kimi K3 de Moonshot AI ocupan 1560,9 GB.
Longitud de contexto: por qué los documentos largos necesitan memoria adicional
La ventana de contexto es la cantidad de texto que un modelo tiene en cuenta a la vez. Para cada token que contiene, el modelo conserva una memoria de trabajo, la caché de claves y valores, cuyo tamaño por token es 2 multiplicado por el número de capas, el número de cabezas de claves y valores, el tamaño de cada cabeza y los bytes por número; el archivo de configuración del modelo indica las tres cifras intermedias. Según nuestro cálculo, Llama 3.1 8B necesita 4,19 GB para 32.000 tokens y 16,78 GB para 128.000 tokens a 16 bits; la segunda cifra es más del triple de su modelo de 4 bits, que ocupa 4,9 GB en Ollama.
Almacenar la caché a 8 bits la reduce a la mitad con una pérdida de precisión muy pequeña, según Ollama, cuya documentación fija el contexto predeterminado en solo 4000 tokens por debajo de 24 gibibytes (GiB, unidades algo mayores que los gigabytes) de memoria gráfica y recomienda al menos 64.000 tokens para agentes y herramientas de programación.
Más allá del chat: modelos de voz, de imagen y de índices de búsqueda
- Para el reconocimiento de voz, Whisper large-v3-turbo de OpenAI (99 idiomas) es la opción consolidada, mientras que Cohere Transcribe (14 idiomas) obtuvo una tasa media de error por palabra más baja, es decir, una menor proporción de palabras mal transcritas, en la Open ASR Leaderboard el 26 de octubre de 2026: un 5,42 frente a un 7,83 por ciento.
- Para la generación de imágenes, FLUX.2 [klein] 4B de Black Forest Labs funciona con unos 13 GB de memoria gráfica, y Z-Image-Turbo de Tongyi cabe en 16 GB.
- Para buscar en sus propios documentos, los modelos de embeddings convierten el texto en números que recogen su significado; la descarga de EmbeddingGemma 2 de Google (6 de octubre de 2026) ocupa entre 304 megabytes y 1,3 GB, según su tamaño.
Licencias para uso comercial
Un modelo de pesos abiertos no es automáticamente libre para cualquier uso comercial; los resúmenes siguientes están abreviados y reflejan la situación a 26 de octubre de 2026, y lo que decide es el texto de la licencia.
- Las licencias Apache 2.0 y MIT, que permiten el uso comercial con pocas condiciones, cubren Gemma 4, Qwen3.5, Qwen3.8-27B, gpt-oss, Mistral Small 4, GLM-5.3-Flash y DeepSeek-V4.1-Flash.
- La Qwen Community License de Qwen3.8-Flash-Next exige una licencia aparte para ofrecer el modelo como servicio y para productos creados principalmente para la programación o el trabajo de oficina asistidos por IA, mientras que el uso puramente interno está exento.
- NVIDIA publica sus modelos Nemotron 3.5 bajo la OpenMDW License 1.1, que según NVIDIA permite el uso comercial, y su variante NVFP4 de Qwen3.8-Flash-Next se rige tanto por la NVIDIA Open Model License como por la Qwen Community License, según la ficha del modelo consultada el 15 de octubre de 2026.
- Mistral Medium 3.5 concede derechos comerciales solo a empresas con unos ingresos mensuales de 20 millones de dólares estadounidenses como máximo.
Qué modelos funcionan bien en cada máquina
| Máquina | Modelos pequeños, de hasta unos 10.000 millones de parámetros | Modelos medianos, de unos 12.000 a 40.000 millones de parámetros | Modelos grandes de mezcla de expertos, de unos 80.000 a 250.000 millones de parámetros | Los modelos abiertos más grandes, de unos 280.000 millones de parámetros o más |
|---|---|---|---|---|
| Un portátil con 16 GB de memoria | Gemma 4 E4B y Qwen3.5-9B caben y son adecuados para redactar borradores, resumir, traducir y responder preguntas sobre imágenes. It's FOSS midió unos 3 tokens por segundo para un modelo de 8000 millones de parámetros en un portátil antiguo que solo utilizaba su procesador, y, según el cálculo que figura más abajo, un MacBook Air con M5 escribe como máximo unos 23 con un modelo de 6,6 GB, un límite aproximado porque las partes destinadas a imágenes y audio no se leen en cada token. | Gemma 4 12B cabe y resuelve tareas de redacción y de imagen algo más difíciles, mientras que gpt-oss-20b está diseñado para 16 GB, pero deja poco espacio para el sistema operativo y los documentos. Los modelos de 27.000 a 31.000 millones de parámetros no caben. | Estos modelos no caben, porque incluso gpt-oss-120b necesita 65 GB. | Estos modelos no caben: incluso la variante de 2 bits de GLM-5.3-Flash de Unsloth ocupa 108,7 GB. |
| Un equipo de sobremesa con una tarjeta gráfica de 16 a 32 GB | Estos modelos funcionan con rapidez: Llama 2 7B a 4 bits (unos 3,8 GB), el pequeño modelo de prueba de las tablas de resultados de llama.cpp, escribió unos 93 tokens por segundo en una RTX 5060 Ti y unos 300 en una RTX 5090. Los modelos pequeños actuales de 6,6 GB escriben más despacio, aproximadamente en proporción a su tamaño, lo que sigue siendo adecuado para el chat interactivo. | Una tarjeta de 16 GB admite gpt-oss-20b, que la guía de llama.cpp midió a 111,5 tokens por segundo en una RTX 5060 Ti y a 282,5 en una RTX 5090. Los modelos de 27.000 a 31.000 millones de parámetros necesitan 24 o 32 GB, o bien dejar parte del modelo en la memoria del sistema, algo que Unsloth describe para Qwen3.8-27B en tarjetas de 16 GB y que lo ralentiza. | Estos modelos superan la memoria de la tarjeta, pero parte de un modelo puede permanecer en la memoria del sistema: la guía de llama.cpp sobre gpt-oss indica unos 30 tokens por segundo para gpt-oss-120b en una RTX 5090 con parte de sus expertos en la memoria del sistema, al inicio de una conversación. | Estos modelos no caben. |
| Una máquina con 128 GB de memoria compartida, como un Mac Studio con M5 Max o una máquina con Ryzen AI Max+ 395 | Caben varios modelos pequeños a la vez, por ejemplo para chat, voz y búsqueda en documentos. El pequeño modelo de prueba escribió unos 54 tokens por segundo en la parte gráfica de la serie Ryzen AI Max+ 300 y unos 120 en un M5 Max. | Estos modelos caben incluso a 16 bits, pero los densos escriben despacio: Signal65 midió el modelo denso Qwen3.6-27B a 13 tokens por segundo en el Ryzen AI Halo de AMD, frente a 63,6 del modelo de mezcla de expertos Qwen3.6-35B-A3B, que por ello es más adecuado para el trabajo interactivo. | gpt-oss-120b, Nemotron 3.5 Super VL y Mistral Small 4 caben. Signal65 midió gpt-oss-120b a 56,2 tokens por segundo en el Ryzen AI Halo, que leyó los prompts a 809 tokens por segundo, 0,45 veces la velocidad del DGX Spark en la misma prueba; esto es adecuado para el trabajo de programación y con documentos de una persona. No hemos encontrado ninguna velocidad publicada para los otros dos. | GLM-5.3-Flash solo cabe en las variantes de Unsloth de menos de 4 bits, como la de 108,7 GB a 2 bits, que solo funcionan con el software propio de Unsloth, y Unsloth indica que su variante de 1 bit de DeepSeek-V4.1-Flash-1017 funciona en máquinas de 128 GB si una gran tabla se lee del disco. Ambos pueden perder precisión con tan pocos bits, y no hemos encontrado ninguna velocidad publicada. |
| Una estación de trabajo gráfica con 96 GB o más de memoria de vídeo | Estos modelos funcionan aproximadamente igual de rápido que en una RTX 5090: el pequeño modelo de prueba escribió unos 281 tokens por segundo en una RTX PRO 6000 Blackwell. | Estos modelos caben incluso a 16 bits, y LMSYS midió gpt-oss-20b a 215 tokens por segundo en una RTX PRO 6000 Blackwell. | gpt-oss-120b cabe en una sola tarjeta de 96 GB con unos 30 GB libres para el contexto y escribió 170,62 tokens por segundo en una RTX PRO 6000 Max-Q en la guía de llama.cpp. Qwen3.8-Flash-Next no cabe a 4 bits en una sola tarjeta de 96 GB, porque Unsloth indica entre 96 y 114 GB para esas variantes, por lo que necesita dos tarjetas. | Cuatro tarjetas RTX PRO 6000 Max-Q con 384 GB admiten la variante de 4 bits de GLM-5.3-Flash de NVIDIA (204,4 GB) y, según nuestra comparación con los 305 GB que Unsloth indica para su variante de 4 bits, DeepSeek-V4.1-Flash-1017 con una gran tabla leída del disco; no hemos encontrado ninguna velocidad publicada. |
| Un NVIDIA DGX Spark con 128 GB de memoria compartida | Estos modelos escriben más despacio que en una tarjeta gráfica: el pequeño modelo de prueba alcanzó unos 57 tokens por segundo, frente a unos 93 en una RTX 5060 Ti. Para utilizar solo modelos pequeños, una tarjeta gráfica es la mejor compra. | Estos modelos caben incluso a 16 bits. El proyecto llama.cpp midió gpt-oss-20b a 83,43 tokens por segundo y Qwen3-Coder-30B-A3B a 61,06, una velocidad suficiente para programar de forma interactiva, y Signal65 midió el modelo denso Qwen3.6-27B a 11,9. | Esta es la categoría para la que está diseñada la máquina: en la prueba de rendimiento de llama.cpp, gpt-oss-120b escribió 58,72 tokens por segundo y leyó los prompts a 2443,91 tokens por segundo, y en la prueba de vLLM del 1 de junio de 2026, la variante NVFP4 de NVIDIA de Nemotron 3 Super, el predecesor de Nemotron 3.5 Super VL, escribió entre 22,7 y 23,7. En nuestra única prueba en una máquina de Lenovo con el mismo chip, la variante NVFP4 de NVIDIA de Qwen3.8-Flash-Next, con una parte leída del disco, escribió 16,5 con el razonamiento y la predicción de múltiples tokens desactivados y leyó texto nuevo a solo unos 100, como se describe debajo de la tabla. | Al igual que en las demás máquinas de 128 GB, GLM-5.3-Flash y DeepSeek-V4.1-Flash-1017 solo caben en las variantes de Unsloth de menos de 4 bits, con las limitaciones que se describen en esa fila. NVIDIA afirma que dos máquinas conectadas admiten hasta 400.000 millones de parámetros, algo que no hemos medido. |
Cómo hemos rellenado la matriz
Cada celda indica si las variantes de 4 bits de los modelos típicos caben con espacio para el sistema operativo y un documento, y a qué velocidad funcionó la combinación en una medición publicada o en la nuestra, según las fuentes consultadas el 26 de octubre de 2026 y enumeradas en la nota.
Cuando una celda ofrece una estimación, se trata de un cálculo señalado como tal: un modelo lee sus pesos activos de la memoria una vez por cada token que escribe, por lo que el ancho de banda de memoria dividido entre su tamaño es un límite superior de la velocidad de generación. Las cifras medidas dependen del software, de la configuración y de la longitud de la conversación: en un DGX Spark, gpt-oss-120b escribió 58,72 tokens por segundo al inicio y 42,76 tras 32.768 tokens en la prueba de rendimiento de llama.cpp, y 57,8 en la prueba de Signal65.
Lo que hemos medido nosotros mismos en una máquina GB10
Nuestro laboratorio ejecuta modelos abiertos en máquinas de 128 GB con el chip GB10 de NVIDIA, el chip del DGX Spark, fabricadas por ASUS y Lenovo. Cada una de las cifras siguientes procede de una única ejecución fechada.
- El 12 de octubre de 2026, la variante NVFP4 de NVIDIA de Qwen3.8-Flash-Next, servida con vLLM 0.30.0 en la máquina de Lenovo, escribió 16,5 tokens por segundo en una respuesta de 600 tokens, con el primer token al cabo de 1,19 segundos, en una única prueba con dos funciones desactivadas: el razonamiento, en el que el modelo escribe pasos intermedios antes de responder, y la predicción de múltiples tokens, que propone varios tokens a la vez.
- Esta variante, de 132,7 GB, funciona en una sola máquina de 128 GB únicamente porque su tabla de embeddings de n-gramas se lee del disco a medida que se necesita. El 14 de octubre de 2026, el texto que la máquina no había leído antes se procesó a solo unos 100 tokens por segundo, muy probablemente por este motivo, de modo que un prompt de 16.000 tokens esperó 148 segundos hasta el primer token, frente a 7,3 segundos una vez leído el texto.
- En nuestra prueba de IA en contabilidad, que utiliza una tarea de GDPval, el conjunto de tareas profesionales reales de OpenAI, una versión anterior de Qwen3.8-Flash-Next obtuvo 80 de 95 puntos el 21 de septiembre de 2026, con 46 de 264 saldos por factura erróneos, y Qwen3.8-27B sin razonamiento obtuvo 39, 35 y 9 puntos el 15 de septiembre de 2026 en tres intentos detenidos a los 30 minutos. Los revisores sabían qué modelo había elaborado cada libro de Excel, la revisión no es una evaluación oficial de GDPval, y una sola tarea no constituye una clasificación.
Cómo ejecutar su primer modelo, paso a paso
En un ordenador convencional: instale Ollama o LM Studio y elija un modelo que quepa
- Averigüe cuánta memoria tiene el ordenador y si dispone de una tarjeta gráfica con memoria propia; en un Mac, ambos comparten una única reserva de memoria.
- Instale Ollama desde ollama.com o LM Studio desde lmstudio.ai; en un Mac, LM Studio requiere Apple silicon.
- Elija un modelo cuya descarga sea claramente menor que la memoria libre, como Gemma 4 E4B con 16 GB; el comando ollama run gemma4:e4b lo descarga y lo inicia.
- Aumente la longitud de contexto hasta acercarla a la de su documento real más largo, en la configuración de Ollama o con su variable OLLAMA_CONTEXT_LENGTH, porque su valor predeterminado por debajo de 24 GiB de memoria gráfica es de unos 4000 tokens; cada token de contexto necesita memoria, así que auméntela solo hasta donde lo permita la memoria.
- Ejecute una de sus propias tareas y anote la espera hasta la primera palabra, la velocidad de escritura y si la respuesta es correcta.
En una máquina de gama alta dedicada: sirva un modelo a un equipo
- Elija un modelo para el equipo y deje memoria para varias conversaciones, cada una de las cuales necesita su propia caché de claves y valores.
- Elija un entorno de ejecución que procese varias solicitudes conjuntamente, como vLLM, llama-server o llmster, el servicio en segundo plano de LM Studio.
- Abra el entorno de ejecución a la red de forma deliberada: Ollama solo escucha en la propia máquina hasta que se cambia su ajuste OLLAMA_HOST y no tiene claves de acceso propias, por lo que el acceso debe controlarse delante de él, por ejemplo con una regla del cortafuegos o con un servidor web que compruebe una clave antes de reenviar las solicitudes, lo que se conoce como proxy inverso.
- Proporcione al equipo una aplicación de chat como Open WebUI y realice pruebas con varias personas que envíen solicitudes al mismo tiempo.
En un DGX Spark
- Actualice primero DGX OS; la actualización de octubre de 2026 incorpora la versión 7.6.0 con el CUDA Toolkit 13.0.3 de NVIDIA, el software a través del cual los programas utilizan el procesador gráfico.
- Siga una de las guías prácticas de NVIDIA (playbooks) en build.nvidia.com/spark; NVIDIA calcula entre 15 y 30 minutos para configurar vLLM.
- Dé preferencia a las variantes en el formato NVFP4 de NVIDIA, que utilizan la aritmética de 4 bits del chip.
- Mantenga en funcionamiento un modelo grande en lugar de volver a cargarlo: en nuestra máquina GB10, iniciar vLLM con la variante NVFP4 de 132,7 GB de Qwen3.8-Flash-Next llevó unos 15 minutos el 12 de octubre de 2026, incluido un paso de preparación que solo se ejecuta en el primer arranque.
Cómo conectar sus propias herramientas
Las herramientas escritas para OpenAI pueden utilizar un modelo local una vez cambiados la dirección base y el nombre del modelo; cuando una herramienta exige una clave de acceso, con Ollama sirve cualquier valor.
- Ollama responde en http://localhost:11434/v1 y LM Studio en http://localhost:1234/v1.
- llama-server responde en http://127.0.0.1:9931/v1 en las versiones publicadas desde el 9 de octubre de 2026 y en el puerto 8080 en las versiones anteriores y en la documentación, y vLLM utiliza el puerto 8000.
- Claude Code utiliza un modelo local a través de Ollama cuando ANTHROPIC_BASE_URL se establece en http://localhost:11434 y ANTHROPIC_AUTH_TOKEN en ollama, y Ollama recomienda para ello un contexto de al menos 64.000 tokens.
Cuando es demasiado lento, no cabe u olvida el principio de un documento
- Si el modelo no se carga o la máquina se vuelve extremadamente lenta, el modelo no cabe, así que elija menos bits, un modelo más pequeño, un contexto más corto o una caché de claves y valores de 8 bits.
- Si la escritura es lenta, compruebe que todo el modelo está en la memoria gráfica, o elija un modelo de mezcla de expertos.
- Si la primera palabra tarda en aparecer con documentos largos, el cuello de botella es la lectura de la entrada, así que mantenga el mismo documento al principio del prompt para que el entorno de ejecución pueda reutilizarlo.
- Si el modelo olvida el principio de un documento, la ventana de contexto es demasiado pequeña, así que aumente la longitud de contexto dentro de lo que permitan el modelo y la memoria.
Cómo juzgar los resultados con trabajo real
Una demostración casi siempre resulta convincente; solo su propio trabajo constituye una prueba significativa. Decida qué cuenta como una buena respuesta antes de ver ninguna respuesta, para que la evaluación no dependa de lo persuasivas que suenen.
Utilice una tarea representativa de la última semana, con su extensión real y su complejidad real, porque un prompt breve y cuidadosamente elaborado no demuestra nada sobre una jornada de trabajo.
Anote primero cómo es un buen resultado: qué tiene que ser correcto, qué no debe inventarse y qué tiene que estar presente. Entre diez y veinte ejemplos cuya respuesta correcta ya conozca aportan más información que una conversación larga.
Cuente también el trabajo que viene después de la respuesta. Si alguien tiene que revisar y corregir cada resultado, ese tiempo forma parte del coste, y un modelo que requiere menos revisión puede ser la mejor opción aunque parezca más débil.
Anote la configuración exacta que ha probado: el modelo y su versión, la variante y su número de bits, el software que sirve el modelo y los ajustes, incluida la longitud de contexto. Cambie una sola cosa cada vez; de lo contrario, no sabrá qué cambio ha ayudado.
Cuánto cuesta ejecutar IA localmente
Comprar una máquina frente a pagar una suscripción
ChatGPT Plus cuesta 20 US$ y Claude Pro 20 US$ por persona y mes en Estados Unidos, a 26 de octubre de 2026, mientras que una máquina se paga una sola vez y no cobra nada por solicitud. Cuatro factores deciden qué opción resulta más barata.
- El precio de compra ha subido durante 2026 porque los chips de memoria escasean: la empresa de estudios de mercado TrendForce indica que los precios pactados con los grandes compradores de memoria dinámica de acceso aleatorio convencional, la memoria principal de los ordenadores, subieron entre un 93 y un 98 por ciento respecto al trimestre anterior en el primer trimestre de 2026. Según la prensa, la Founders Edition del DGX Spark, lanzada a 3999 US$ en octubre de 2025, costaba 6950 US$ el 2 de octubre de 2026.
- La electricidad depende del consumo: un consumo de 100 W durante las 24 horas del día supone 72 kilovatios hora (kWh) en 30 días, y un consumo de 240 W, la potencia nominal de la fuente de alimentación del DGX Spark, supone 172,8 kWh, cifras que deben multiplicarse por el precio del kilovatio hora de su propia factura.
- El tiempo del personal para instalar, actualizar y reparar la máquina es un coste que todo análisis de rentabilidad debe incluir.
- La calidad también es un coste, porque un modelo abierto que requiere más revisión cuesta tiempo; la comparativa con ChatGPT compara los datos publicados tarea por tarea.
Cómo averiguarlo antes de comprar
Comprar una máquina para responder a la pregunta es el camino caro. Si la respuesta es negativa, usted se queda con la respuesta y también con el hardware.
Ejecutar su propio trabajo en una máquina preparada del mismo tipo responde a la misma pregunta por el coste de unas pocas horas, siempre que el hardware, el modelo y el software que sirve el modelo sean los que usted compraría, así que pida la especificación exacta de los tres. Nuestra prueba ofrece esta comprobación previa solicitud a través del formulario de contacto: operamos una máquina con el chip GB10 del DGX Spark y un modelo abierto, y usted conecta a ella sus propias herramientas.
Si prefiere no responder a esta pregunta comprando primero el hardware, nuestra prueba de IA local pone a su disposición una máquina con el chip NVIDIA GB10 del DGX Spark y un modelo abierto, para que pueda conectar sus propias herramientas, ejecutar su propia carga de trabajo y juzgar el resultado antes de comprar el equipo. La prueba se ofrece previa solicitud a través del formulario de contacto. Si está comparando una instalación local con ChatGPT u otro chatbot de IA, lea private-local.ai vs ChatGPT.
Preguntas sobre cómo ejecutar IA localmente
¿Puedo averiguar cómo ejecutar IA localmente sin comprar primero el hardware?
Sí, en la mayor parte de la cuestión: un modelo pequeño en su ordenador actual muestra cómo funciona el software, y la tabla de esta guía muestra qué modelos caben en cada máquina. Solo ejecutar su propio trabajo en una máquina del tipo que está valorando muestra si un modelo más grande lo hace lo bastante bien.
¿Puedo ejecutar ChatGPT o Claude en mi propia máquina?
No. Sus archivos de modelo no están publicados, por lo que no existe ninguna copia local que instalar, y los modelos de pesos abiertos gpt-oss de OpenAI son distintos de los modelos que utiliza ChatGPT. Si un modelo abierto realiza su tarea lo bastante bien solo se aprecia cuando el mismo trabajo real se ejecuta con ambos.
¿Cuánta memoria necesito para ejecutar un modelo localmente?
Multiplique los parámetros en miles de millones por los bits por peso y divida el resultado entre ocho para obtener los gigabytes; después, añada espacio para el contexto y el sistema operativo. A octubre de 2026, las variantes de 4 bits de Qwen3.8-27B, con 27.780 millones de parámetros, ocupan entre 14,3 y 18 GB, mientras que la variante de Inferact en NVFP4, el formato de 4 bits de NVIDIA, ocupa 26,4 GB.
¿Es privada una instalación local?
Un sistema que funciona en hardware que usted controla mantiene el trabajo del modelo dentro de su propia red, que es el principal motivo por el que las empresas quieren uno. Eso no hace que todo sea seguro por sí solo, porque las copias de seguridad, los registros, las herramientas que rodean al modelo y el acceso a la máquina siguen siendo importantes. La búsqueda web y los modelos en la nube de Ollama, por ejemplo, son servicios en línea que envían lo que usted introduce a los servidores de Ollama.
¿Puedo ejecutar IA localmente en un portátil?
Sí. Un portátil con 16 GB de memoria admite modelos de hasta unos 10.000 millones de parámetros, que son adecuados para redactar borradores, resumir y responder preguntas sobre imágenes, pero la velocidad depende de la memoria: It's FOSS midió unos 3 tokens por segundo para un modelo de 8000 millones de parámetros en un portátil antiguo que solo utilizaba su procesador (15 de mayo de 2026). Los principales modelos alojados siguen siendo más potentes para el trabajo difícil.
¿Qué modelo abierto cabe en 16 GB de memoria?
A octubre de 2026, las variantes de 4 bits de Gemma 4 E4B (6,6 GB), Qwen3.5-9B (6,6 GB), Ministral 3 8B (6,0 GB) y Gemma 4 12B (8,0 GB) caben con espacio para un documento. gpt-oss-20b (13,8 GB) está diseñado para 16 GB, pero deja poco espacio cuando esa es toda la memoria disponible.
¿Qué puede ejecutar un NVIDIA DGX Spark?
Un DGX Spark, con 128 GB de memoria compartida, ejecuta los modelos abiertos pequeños y medianos mencionados en esta guía y modelos de mezcla de expertos de unos 120.000 millones de parámetros a 4 bits, como gpt-oss-120b a 58,72 tokens por segundo (llama.cpp, febrero de 2026). Los modelos abiertos más grandes solo funcionan en variantes de menos de 4 bits que necesitan software especial o leen parte del modelo del disco, o no funcionan en absoluto.
¿Puedo realizar el ajuste fino de un modelo en mi propia máquina?
Sí, con métodos que solo entrenan un pequeño complemento, conocido como adaptación de bajo rango (LoRA), o con su variante para modelos comprimidos a 4 bits, la adaptación de bajo rango cuantizada (QLoRA); NVIDIA afirma que un DGX Spark puede realizar el ajuste fino de modelos de hasta 70.000 millones de parámetros. Entrenar un modelo capaz desde cero requiere mucho más cálculo del que proporciona una sola máquina.
Averigüe si su trabajo se adapta a una instalación local
Elija una configuración, ejecute una tarea representativa y juzgue si el resultado es lo bastante bueno. Si el resultado muestra que no debería comprar una máquina, la prueba habrá respondido igualmente a la pregunta.
Solicitar un endpoint