Ollama o vLLM: cuál usar para un LLM en tu propio servidor, y cuándo conviene más llama.cpp

Ollama y vLLM ejecutan modelos de pesos abiertos en hardware que controlas tú, y los dos responden a los clientes de OpenAI. Ollama está pensado para una persona con un modelo en su propio equipo; vLLM, para un servidor con GPU que usan a la vez muchas personas, aplicaciones o agentes.

Ollama, vLLM o llama.cpp: la tabla para decidir

Qué es Ollama y para qué sirve

Ollama es una herramienta gratuita con licencia MIT para macOS, Windows, Linux y Docker. Un comando como ollama run gemma4 descarga un modelo y abre un chat, y un servidor en segundo plano responde en el puerto 11434, también en formato OpenAI. Ollama usa modelos en GGUF, el formato compacto de un solo archivo del proyecto llama.cpp, sobre el que está construido.

Qué es vLLM

vLLM es una biblioteca para servir modelos de lenguaje rápido en GPU. Guarda la caché KV, es decir, los datos intermedios de cada conversación, en bloques pequeños, un método llamado PagedAttention, así que apenas se desperdicia memoria. Un solo comando, vllm serve, arranca un servidor compatible con OpenAI.

Rendimiento de Ollama y vLLM: un usuario frente a muchos

En una sola conversación, el ritmo lo marca la velocidad de la memoria de la GPU, sea cual sea el motor: cada token nuevo (una palabra o un trozo de palabra) obliga a leer casi todo el modelo. En nuestro servidor de 20 GB, vLLM ya se queda cerca de ese límite, así que con un solo usuario otro motor tiene poco que ganar.

La diferencia empieza con la segunda petición. Por defecto, Ollama atiende una petición por modelo cada vez y las demás esperan en cola; un ajuste sube ese límite. vLLM mete cada petición nueva en el lote en marcha, y todas comparten cada pasada por el modelo. En nuestro servidor, una petición va a 28,8 tokens por segundo, y dos a la vez, a 28,3 cada una.

Con muchos usuarios, la distancia crece. En una prueba de Red Hat de agosto de 2025 con hasta 256 usuarios a la vez en una GPU A100, vLLM llegó a un máximo de 793 tokens por segundo y Ollama, a 41.

En un chat ayuda además una caché: cada mensaje reenvía la conversación entera, y vLLM reutiliza lo que ya ha calculado. En nuestro servidor, un prompt largo repetido empieza a responderse a los 0,06 segundos en lugar de a los 1,09.

Memoria: según la petición o reservada de antemano

Ollama carga un modelo cuando lo pides y lo descarga tras cinco minutos sin uso, con lo que la memoria queda libre. vLLM lo hace al revés: al arrancar reclama una parte fija de la tarjeta, el 92 % por defecto, y convierte todo lo que no ocupa el modelo en una única caché para todas las peticiones. Mantiene esa memoria mientras está en marcha, así que vLLM quiere la GPU para él solo. La calculadora de VRAM te dice cuánta necesita tu modelo.

Seguridad por defecto: puertos abiertos y API keys

En un servidor con IP pública, los dos parten de extremos opuestos. Ollama solo escucha en la propia máquina y su API local no tiene inicio de sesión. Si lo abres a la red, cualquiera que llegue al puerto puede usar, descargar y borrar modelos. vLLM escucha por defecto en toda la red, y su opción de clave API no cubre todas las rutas.

La solución segura es la misma para los dos: deja el servidor del modelo en local y pon delante un proxy inverso o un túnel con inicio de sesión. Si trabajas con datos reales, desactiva también los modelos en la nube de Ollama, porque funcionan en los servidores de Ollama. Más sobre protección de datos: IA privada y RGPD.

Modelos y formatos: GGUF o safetensors

Muchas veces el formato del archivo decide antes que la velocidad. Ollama y llama.cpp cargan GGUF; vLLM carga safetensors y los formatos comprimidos (cuantizados) AWQ, GPTQ y FP8.

Los modelos sin censura y abliterados, es decir, versiones a las que se les han quitado las negativas, suelen publicarse como archivos GGUF, y Ollama los carga directamente desde Hugging Face. La propia documentación de vLLM describe su soporte de GGUF como muy experimental, así que antes de planificar el servidor comprueba si hay una versión en safetensors, AWQ o GPTQ. Qué modelos caben en cada GPU: requisitos de VRAM de un LLM.

Ollama o vLLM en un Mac, en la CPU o con una GPU NVIDIA

Ollama funciona en casi todo el hardware que ya tienes: Macs con Apple Silicon, tarjetas gráficas de NVIDIA y AMD y CPU normales. vLLM está hecho para GPU de NVIDIA, AMD e Intel y en un Mac solo funciona de forma experimental; ahí lo práctico es Ollama o llama.cpp.

Por qué usamos vLLM en nuestro propio servidor GPU

Nuestro propio modelo funciona en un GEX44 de Hetzner con una tarjeta gráfica de 20 GB: Qwen3-14B, comprimido a 4 bits y servido por vLLM. Un chat genera justo las peticiones en paralelo y repetidas que hemos medido arriba. El servidor solo escucha en local y no registra las peticiones. Para una persona con un Mac, Ollama es la mejor herramienta. La configuración en detalle: cómo ejecutamos un LLM con vLLM en un servidor GPU de Hetzner.

Si quieres un modelo de pesos abiertos, estándar o sin censura, en un servidor GPU dedicado en Alemania sin montarlo tú, para eso está IA privada. Instalamos, adaptamos y gestionamos el modelo por ti, con una interfaz de chat privada y una API. Las preguntas y las respuestas no se registran salvo que tú decidas otra cosa, y cada cliente recibe un contrato de encargo del tratamiento.