Calculadora de VRAM
¿Qué LLM cabe en tu GPU? Calculadora de VRAM con contexto y usuarios
Elige un modelo, la longitud de contexto y cuántas peticiones van a la vez. La calculadora suma pesos, caché KV y entorno de ejecución, y te muestra qué tamaños de GPU y qué servidores GPU de Hetzner tienen sitio para ello. El cálculo se hace en tu navegador. Lo que escribes no se envía a ningún sitio.
En marchaCalibrada con nuestro propio servidor GPU: con la misma configuración, da los 31 920 tokens de caché KV que registró allí vLLM.
Calculadora
Resultado
Necesita 12,6 GiB. Con 0,75, vLLM reserva 15,0 GiB de tu tarjeta de 20 GB y dedica 4,9 GiB a la caché KV (31 920 tokens): da para 3,90 peticiones de 8192 tokens a la vez.
La tarjeta más pequeña de la tabla en la que cabe: 20 GB.
- Pesos
- 9,3 GiB
- Caché KV
- 2,5 GiB
- Entorno
- 850 MiB
- Proyector de visión
- Extra
- Pool KV sin usar
- 2,4 GiB
- Libre
- Fuera de la parte de vLLM
- 5,0 GiB
- Pesos: archivo de 9,98 GB en Hugging Face (Qwen/Qwen3-14B-AWQ) = 9,3 GiB
- Caché KV: 160 KiB por token × 8192 tokens × 2 peticiones = 2,5 GiB
- Entorno: 400 MiB + 450 MiB para activaciones, escalado por la dimensión oculta 5120 = 850 MiB
- vLLM: 0,75 × 20 475 MiB = 15,0 GiB reservados; pool de 4,9 GiB = 31 920 tokens, 3,90× con 8192.
Comando de arranque para esta configuración
vllm serve Qwen/Qwen3-14B-AWQ \
--max-model-len 8192 \
--max-num-seqs 2 \
--max-num-batched-tokens 2048 \
--gpu-memory-utilization 0.75 \
--enforce-eagerOllama: la memoria crece con el contexto que configures multiplicado por el número de peticiones en paralelo.
Todos los tamaños de GPU con tu configuración
| Tarjeta | Con tu configuración | Pool KV | Contexto máximo, 2 a la vez | Peticiones de 8192 tokens |
|---|---|---|---|---|
| 8 GB | no cabe | faltan 4,1 GiB | sin sitio | 0 |
| 12 GB | no cabe | faltan 1,1 GiB | sin sitio | 0 |
| 16 GB | menos a la vez | 1,9 GiB | 6k | 1,50× |
| 20 GBHetzner GEX44 · nuestro servidor | cabe | 4,9 GiB | 15k | 3,90× |
| 24 GBHetzner GEX45 · Helsinki | cabe | 7,9 GiB | 25k | 6,30× |
| 32 GB | cabe | 13,9 GiB | 40k (máx. del modelo) | 11,10× |
| 48 GB | cabe | 25,9 GiB | 40k (máx. del modelo) | 20,70× |
| 80 GB | cabe | 49,9 GiB | 40k (máx. del modelo) | 39,90× |
| 96 GBHetzner GEX131 · Falkenstein | cabe | 61,6 GiB | 40k (máx. del modelo) | 49,26× |
Servidores GPU de Hetzner: GEX44 (20 GB, nuestro servidor), GEX45 (24 GB, Helsinki) y GEX131 (96 GB, Falkenstein). Cómo montamos uno: vLLM en un servidor GPU de Hetzner.
¿Quieres uno de estos modelos en un servidor propio, dimensionado y gestionado por nosotros? Para eso está IA privada.
Longitud de contexto y caché KV
Mientras dura una petición, el modelo guarda claves y valores de cada token en cada capa de atención. Eso es la caché KV: 160 KiB por token en Qwen3-14B, 5,0 GiB con 32 768 tokens. Los modelos nuevos necesitan mucho menos. En Qwen3.8 27B solo 16 de las 64 capas tienen una caché que crece, y en Gemma 4 31B 50 de las 60 capas solo ven los últimos 1024 tokens.
Por eso Qwen3.8 27B en Q4_K_M con 32k de contexto cabe en una tarjeta de 24 GB, y sobran unos 4,6 GiB, aunque una fórmula que cuenta todas las capas diga lo contrario. Una caché de 8 bits ocupa más o menos la mitad.
Varios usuarios a la vez
Cada petición que se atiende a la vez necesita su propia caché, así que la memoria crece con el contexto multiplicado por las peticiones. Lo que cuenta es cuántas respuestas se escriben a la vez. Diez personas en un chat rara vez envían algo en el mismo instante, y las peticiones que pasan del límite esperan en una cola. Nuestro servidor de 20 GB atiende 2 peticiones de 8192 tokens a la vez y tendría sitio para 3,9.
vLLM, llama.cpp y Ollama no reservan igual
vLLM se queda al arrancar con una parte fija de la tarjeta y convierte en caché KV todo lo que dejan libre los pesos. Por eso nvidia-smi muestra la reserva, no lo que necesita el modelo. llama.cpp y Ollama dimensionan la caché según el contexto que configures, así que muestran lo que de verdad se usa. La calculadora muestra las dos cosas.
Modelos MoE: todos los expertos ocupan memoria
Un modelo de mezcla de expertos (MoE) calcula con unos pocos expertos por token, pero los mantiene todos en memoria, porque cualquiera puede ser el siguiente. gpt-oss-120b usa 5,1 mil millones de parámetros por token y aun así necesita su archivo completo de 65,3 GB. Menos parámetros activos hacen un modelo más rápido, no más pequeño.
¿Qué LLM puedo ejecutar con 8, 16, 24 o 96 GB?
Los modelos más grandes que caben en cada tarjeta con su archivo de 4 bits, 8192 tokens de contexto y un solo usuario, con al menos un 5 % de margen. La cifra es la memoria total que necesitan. DeepSeek V4 Flash aparece con su archivo de 2 bits, porque sus archivos de 4 bits no caben en una sola tarjeta. Cada modelo se abre en la calculadora.
24 GB
Los modelos que desplegamos, según el tamaño de GPU: nuestro catálogo de IA privada.
Cómo calculamos la estimación
pesos = tamaño del archivo en Hugging Face, o parámetros × bits ÷ 8
caché KV = KV por token × contexto × peticiones (capas que crecen)
+ por petición: capas de ventana deslizante (ventana más tokens en proceso), estado de atención lineal
entorno = 400 MiB + 450 MiB × dimensión oculta ÷ 5120
llama.cpp: como mínimo 400 MiB + logits de 512 tokens (vocabulario × 512 × 4 bytes)
total = pesos + caché KV + entorno (+ proyector de visión, + extra)
vLLM = proporción × tarjeta − pesos − entorno = pool KV; pool ÷ caché por petición = peticiones a la vezCalibración con nuestro servidor
| Valor | Calculado | Medido |
|---|---|---|
| Caché KV (tokens) | 31 920 | 31 920 |
| Peticiones de 8192 tokens a la vez | 3,90× | 3,90× |
| Motor en nvidia-smi (MiB) | 14 905 | 14 898 |
Medido con vLLM en una RTX 4000 SFF Ada con Qwen3-14B AWQ. La configuración completa: vLLM en un servidor GPU de Hetzner.
Los tamaños de archivo y la estructura de los modelos salen de Hugging Face. Si no hay archivo para una cuantización, el tamaño es una estimación y se marca como tal. Hugging Face da los archivos en GB decimales y la calculadora trabaja en GiB: un archivo de 24,0 GB son 22,4 GiB. Modelo a modelo: qué LLM caben en 20, 24 o 96 GB de VRAM.
Lo que no cubre
- Una GPU por modelo: sin descarga a la RAM ni a la CPU y sin repartir el modelo entre varias GPU.
- Solo memoria, sin estimar la velocidad.
- Los Mac con memoria unificada y el ajuste fino (fine-tuning).
Preguntas
VRAM para LLM: preguntas frecuentes.
¿Cuánta VRAM necesito para un LLM local?
Pesos más caché KV más entorno de ejecución. Los pesos son el tamaño del archivo: 9,98 GB para Qwen3-14B en AWQ de 4 bits, 17,6 GB para Qwen3.8 27B en Q4_K_M, 65,3 GB para gpt-oss-120b. La caché crece con el contexto y con las peticiones simultáneas, y el entorno de ejecución ocupa entre 0,6 y 1,1 GiB. Como regla rápida, un GGUF de 4 bits necesita de 0,6 a 0,7 GB por cada mil millones de parámetros, más el contexto.
¿La longitud de contexto aumenta la VRAM?
Sí, de forma lineal. Qwen3-14B necesita 160 KiB por token, es decir, 5 GiB con 32 768 tokens. Qwen3.8 27B necesita 64 KiB y Qwen3.6 35B-A3B solo 20 KiB, porque la mayoría de sus capas no crecen con el contexto. Cada petición simultánea necesita su propia parte, y con la caché a 8 bits las cifras se quedan más o menos en la mitad.
¿Cuántos usuarios aguanta una GPU a la vez?
Divide la memoria que queda después de los pesos y el entorno entre la caché de una petición. Nuestro servidor de 20 GB con Qwen3-14B a 8192 tokens tiene sitio para 3,9 peticiones completas, y admitimos dos. Diez usuarios rara vez son diez peticiones a la vez, y las demás esperan en una cola.
¿Por qué vLLM ocupa casi toda la VRAM?
La reserva a propósito, por defecto el 92 % de la tarjeta. En nuestra tarjeta de 20 GB la tenemos al 75 %, que son 15 356 MiB: unos 9515 para los pesos, unos 4988 para una caché de 31 920 tokens y el resto para el entorno y las activaciones. Por eso nvidia-smi muestra la reserva, no lo que necesita el modelo.
¿Qué modelo de IA puedo ejecutar en mi GPU?
Con 8 GB, modelos de 8B a 4 bits. Con 16 GB, hasta 14B o gpt-oss-20b. Con 24 GB, de 27B a 35B a 4 bits, y con 96 GB, gpt-oss-120b, modelos de 70B a 8 bits y DeepSeek V4 Flash a 2 bits. En Alemania, Hetzner alquila un servidor GPU de 96 GB, el GEX131, en Falkenstein.