Qué LLM abiertos y sin censura caben en 20, 24 o 96 GB de VRAM

Si buscas los requisitos de VRAM de casi cualquier LLM, encontrarás un solo número: el tamaño del archivo del modelo. En un servidor, eso es solo el mínimo. La tarjeta gráfica también guarda una caché para cada conversación activa, además del software que sirve el modelo. Esta guía reparte los modelos abiertos y sin censura de nuestro catálogo entre tres tamaños de GPU: 20, 24 y 96 GB.

La respuesta corta: en 20 GB cabe un modelo de 14B, o Gemma 4 26B a 4 bits. Con 24 GB entra la clase de 27B a 35B a 4 bits, con sitio para conversaciones largas. Con 96 GB funcionan gpt-oss-120b en su formato nativo y todos los modelos de la clase de 30B con precisión completa. La calculadora de VRAM hace las cuentas con tu modelo, tu contexto y tu número de usuarios.

Qué ocupa la VRAM: pesos, caché KV y motor

Los pesos son el modelo en sí. Lo normal es usar un archivo comprimido (cuantizado) con 4 u 8 bits por peso en lugar de los 16 originales. Como regla general, cuenta de 0,6 a 0,7 GB por cada mil millones de parámetros a 4 bits, 1,1 GB a 8 bits y 2 GB a 16 bits.

La caché KV es la memoria de trabajo del modelo en una conversación, y la parte que casi todos olvidan. Cada token, una palabra o un trozo de palabra, deja una entrada en cada capa. Una conversación de 32 000 tokens con Qwen3-14B necesita 5,4 GB de caché.

El motor es el software que sirve el modelo, como vLLM, llama.cpp u Ollama. Necesita sitio para sus búferes, y la entrada de imágenes añade un módulo de visión de 1 GB más o menos. Además, vLLM reserva al arrancar una parte fija de la tarjeta y la llena de caché, así que un servidor en marcha parece más lleno de lo que el modelo necesita. Ollama o vLLM explica la diferencia.

El catálogo: requisitos de VRAM modelo a modelo

Estos modelos salen de nuestro catálogo de IA privada. Todos tienen licencia Apache 2.0 o MIT, así que puedes usarlos con fines comerciales y ajustarlos con tus propios datos. Casi todas las variantes sin censura nacen de eliminar los rechazos de los pesos, como explica Cómo pierde un modelo su «no».

Tamaños de archivo según Hugging Face. MoE significa mezcla de expertos; un modelo denso usa todos sus parámetros en cada token.

La mezcla de expertos ahorra cálculo, no memoria

Gemma 4 26B A4B usa 3800 millones de parámetros por token y aun así necesita los 25 200 millones en memoria, porque elige expertos distintos para cada token. Tener menos parámetros activos hace que un modelo vaya más rápido. No lo hace más pequeño.

Lo que sí permite es partir el modelo. llama.cpp puede dejar los pesos de los expertos en la memoria principal del servidor y el resto en la GPU. Así se puede usar el archivo de 156 GB de DeepSeek V4 Flash a 4 bits con una tarjeta de 96 GB: el GEX131 de Hetzner tiene 256 GB de RAM para los expertos.

Caché KV: contexto por usuarios

Lo que cuesta cada token en caché depende más del diseño del modelo que de su tamaño. Los modelos más nuevos solo guardan el contexto completo en una parte de sus capas, o lo guardan de forma compacta.

Y después hay que multiplicar por usuarios. Cinco conversaciones así con Qwen3-14B necesitan casi 27 GB de caché, más de lo que tiene una tarjeta de 24 GB antes de cargar el modelo. Tres ajustes lo mantienen a raya: un límite de contexto, un límite de peticiones simultáneas y una caché de 8 bits, que ocupa más o menos la mitad.

Los mejores LLM para 20, 24 y 96 GB de VRAM

Qué tarjeta gráfica necesita un LLM local depende sobre todo de la VRAM. Calculado para llama.cpp, con 32 000 tokens por conversación y un 5 % de la tarjeta libre como margen, Gemma 4 26B A4B admite dos conversaciones en 20 GB, Qwen3.8 27B dos en 24 GB y gpt-oss-120b 25 en 96 GB.

20 GB: un modelo de 14B, o Gemma 4 26B para uno o dos usuarios

Es la RTX 4000 SFF Ada del GEX44 de Hetzner. Da para un modelo de 14B con varios chats en paralelo, o para Gemma 4 26B A4B a 4 bits: dos conversaciones largas, o una con imágenes. Qwen3.8 27B cabe para un solo usuario con menos contexto, por eso nuestro catálogo lo pone a partir de 24 GB.

24 GB: la clase de 27B a 35B a 4 bits

Es el tamaño de tarjetas como la RTX PRO 4000 Blackwell. Qwen3.8 27B funciona aquí a 4 bits con 32 000 tokens de contexto, y Qwen3.6 35B-A3B con un contexto moderado. El archivo de 18,7 GB de Gemma 4 31B deja poco sitio para el contexto, así que lo ponemos a partir de 96 GB. gpt-oss-120b no cabe: unas dos terceras partes de sus 65 GB tendrían que ir a la RAM.

96 GB: modelos de 30B sin cuantizar, gpt-oss-120b y DeepSeek a 2 bits

Es la RTX PRO 6000 Blackwell del GEX131 de Hetzner, en Falkenstein (Alemania), con 256 GB de RAM. Aquí todos los modelos de la clase de 30B funcionan sin cuantizar, con la precisión completa de 16 bits. gpt-oss-120b funciona con todo su contexto, y un modelo denso de 70B, a 8 bits. DeepSeek V4 Flash cabe entero a 2 bits (86,7 GB), o a 4 bits con los expertos en la RAM. El mismo servidor tiene sitio para ajustar el modelo con tus propios datos.

Si quieres uno de estos modelos en un servidor propio sin hacer tú las cuentas, para eso está IA privada. Elegimos el tamaño adecuado, instalamos el modelo y lo probamos con tus propias preguntas antes de ponerlo en marcha.