Anleitung
Ollama oder vLLM: womit Sie ein LLM auf dem eigenen Server betreiben und wann llama.cpp besser passt
Mit Ollama spricht ein Modell nach einem einzigen Befehl auf dem Laptop. vLLM ist dafür gebaut, viele Anfragen von einem GPU-Server aus zu bedienen. Dieser Ratgeber zeigt, was zu Ihrem Fall passt, mit Messwerten von dem vLLM-Server, den wir selbst betreiben.
Ollama und vLLM bringen beide Open-Weight-Sprachmodelle auf Hardware, die Sie selbst kontrollieren, und beide beantworten Aufrufe von OpenAI-Clients. Ollama ist für eine Person gebaut, die ein Modell auf dem eigenen Rechner nutzt, vLLM für einen GPU-Server, den viele Menschen, Anwendungen oder Agenten zugleich verwenden.
Ollama, vLLM oder llama.cpp: die Entscheidungstabelle
| Ihre Ausgangslage | Nehmen Sie | Warum |
|---|---|---|
| Laptop oder Mac, eine Person probiert Modelle aus | Ollama | Ein Befehl pro Modell, ungenutzte Modelle geben Speicher frei |
| Nur CPU, oder ein Modell größer als Ihr GPU-Speicher | Ollama oder llama.cpp | GGUF läuft auf der CPU oder verteilt auf CPU und GPU |
| GPU-Server für ein Team, Anwendungen oder Agenten | vLLM | Bedient viele Anfragen gleichzeitig |
| Das Modell gibt es nur als GGUF | Ollama oder llama.cpp | vLLM kann GGUF nur experimentell |
| Das Modell liegt als Safetensors, AWQ, GPTQ oder FP8 vor | vLLM | Seine nativen Formate |
| GGUF auf einem Server, ohne Desktop-App | llama.cpp (llama-server) | Standardmäßig nur lokal, API-Key eingebaut |
Was ist Ollama?
Ollama ist ein kostenloses Werkzeug unter MIT-Lizenz für macOS, Windows, Linux und Docker. Ein Befehl wie ollama run gemma4 lädt ein Modell herunter und öffnet einen Chat; ein Dienst im Hintergrund antwortet auf Port 11434, auch im OpenAI-Format. Ollama nutzt Modelle im GGUF-Format, dem kompakten Ein-Datei-Format des Projekts llama.cpp, auf dem es aufbaut.
Was ist vLLM?
vLLM ist eine Bibliothek, die Sprachmodelle schnell auf GPUs bereitstellt. Den KV-Cache, also die Zwischenergebnisse jedes Gesprächs, legt sie in kleinen Blöcken ab, ein Verfahren namens PagedAttention, sodass kaum Speicher verloren geht. Ein Befehl, vllm serve, startet einen OpenAI-kompatiblen Server.
Ollama vs. vLLM: Performance mit einem Nutzer und mit vielen
Bei einem einzelnen Gespräch bestimmt die Geschwindigkeit des GPU-Speichers das Tempo, gleich welche Engine: Für jedes neue Token (ein Wort oder ein Wortteil) liest das Modell fast seine gesamten Gewichte. Auf unserem 20-GB-Server kommt vLLM schon nah an diese Grenze, für einen einzelnen Nutzer kann eine andere Engine also wenig herausholen.
Der Unterschied beginnt mit der zweiten Anfrage. Standardmäßig bearbeitet Ollama pro Modell eine Anfrage nach der anderen, weitere warten in einer Warteschlange; eine Einstellung hebt die Grenze an. vLLM nimmt jede neue Anfrage in den laufenden Batch auf, und alle teilen sich jeden Durchgang durch das Modell. Auf unserem Server läuft eine Anfrage mit 28,8 Token pro Sekunde, zwei gleichzeitig mit je 28,3.
Mit vielen Nutzern wächst der Abstand. In einem Test von Red Hat vom August 2025 mit bis zu 256 gleichzeitigen Nutzern auf einer A100-GPU kam vLLM in der Spitze auf 793 Token pro Sekunde, Ollama auf 41.
Im Chat hilft zusätzlich ein Cache: Jede Nachricht schickt das ganze Gespräch erneut mit, und vLLM nutzt, was es schon berechnet hat. Auf unserem Server beginnt die Antwort auf einen wiederholten langen Prompt nach 0,06 statt nach 1,09 Sekunden.
Speicher: nach Bedarf bemessen oder vorab reserviert
Ollama lädt ein Modell, wenn Sie es aufrufen, und entlädt es nach fünf Minuten ohne Anfrage; der Speicher ist dann wieder frei. vLLM geht umgekehrt vor: Beim Start beansprucht es einen festen Anteil der Karte, standardmäßig 92 %, und macht aus allem, was das Modell selbst nicht braucht, einen gemeinsamen Cache für alle Anfragen. Diesen Speicher hält es, solange es läuft, deshalb will vLLM die GPU für sich. Was Ihr Modell braucht, zeigt der VRAM-Rechner.
Sicherheit ab Werk: offene Ports und API-Keys
Auf einem Server mit öffentlicher IP-Adresse starten die beiden an entgegengesetzten Enden. Ollama lauscht nur auf dem Rechner selbst, und seine lokale API hat keine Anmeldung. Sobald Sie es im Netzwerk freigeben, kann jeder, der den Port erreicht, Modelle nutzen, herunterladen und löschen. vLLM lauscht standardmäßig im ganzen Netzwerk, und seine API-Key-Option schützt nicht alle Routen.
Die sichere Lösung ist für beide gleich: Halten Sie den Modell-Server lokal und setzen Sie einen Reverse Proxy oder Tunnel mit Anmeldung davor. Bei echten Daten schalten Sie außerdem die Cloud-Modelle von Ollama ab, denn die laufen auf Ollamas Servern. Mehr zum Datenschutz: Eigener KI-Server und DSGVO.
Modelle und Formate: GGUF oder Safetensors
Oft entscheidet das Dateiformat noch vor der Geschwindigkeit. Ollama und llama.cpp laden GGUF, vLLM lädt Safetensors und die komprimierten (quantisierten) Formate AWQ, GPTQ und FP8.
Unzensierte und abliterierte Modelle, also Fassungen ohne die üblichen Verweigerungen, erscheinen oft als GGUF-Dateien, und Ollama lädt sie direkt von Hugging Face. vLLM nennt seine eigene GGUF-Unterstützung hochgradig experimentell; prüfen Sie also vor der Planung, ob es eine Fassung in Safetensors, AWQ oder GPTQ gibt. Welche Modelle auf welche GPU passen: VRAM-Bedarf von LLMs.
Ollama und vLLM auf dem Mac, auf der CPU oder mit NVIDIA-GPU
Ollama läuft auf der meisten Hardware, die schon im Büro steht: Macs mit Apple Silicon, Grafikkarten von NVIDIA und AMD und ganz normale CPUs. vLLM ist für GPUs von NVIDIA, AMD und Intel gebaut und läuft auf dem Mac nur experimentell; dort sind Ollama oder llama.cpp die praktische Wahl.
Warum wir vLLM auf unserem eigenen GPU-Server betreiben
Unser eigenes Modell läuft auf einem Hetzner GEX44 mit einer 20-GB-Grafikkarte: Qwen3-14B, auf 4 Bit komprimiert, bereitgestellt von vLLM. Ein Chat erzeugt genau die parallelen und wiederholten Anfragen, die wir oben gemessen haben. Der Server lauscht nur lokal und protokolliert keine Anfragen. Für eine Person am Mac ist Ollama das bessere Werkzeug. Der Aufbau im Detail: LLM selbst hosten mit vLLM auf einem Hetzner-GPU-Server.
Wenn Sie ein Open-Weight-Modell, Standard oder unzensiert, auf einem dedizierten GPU-Server in Deutschland nutzen wollen, ohne es selbst einzurichten, gibt es dafür Private AI. Wir installieren das Modell, passen es an und betreiben es für Sie, mit privater Chat-Oberfläche und API. Prompts und Antworten werden nicht protokolliert, solange Sie es nicht anders entscheiden, und jeder Kunde bekommt einen Auftragsverarbeitungsvertrag.
Häufige Fragen
Ollama oder vLLM: Was ist besser?
Das hängt von der Aufgabe ab. Ollama passt zu einer Person am Laptop, am Mac oder an einem Rechner ohne GPU: ein Befehl pro Modell, und ungenutzte Modelle geben ihren Speicher frei. vLLM passt zu einem GPU-Server, den mehrere Personen, Anwendungen oder Agenten gleichzeitig nutzen, weil es deren Anfragen gemeinsam bedient. Für GGUF-Modelle auf einem Server ist llama-server von llama.cpp eine dritte Option.
Ist vLLM schneller als Ollama?
Bei vielen gleichzeitigen Nutzern ja, und zwar deutlich. Im Test von Red Hat vom August 2025 kam vLLM in der Spitze auf 793 Token pro Sekunde, Ollama auf 41. Bei einem einzelnen Nutzer bremst bei beiden die Geschwindigkeit des GPU-Speichers, eine andere Engine bringt dann wenig. Auf unserem 20-GB-Server schreibt vLLM 28,8 Token pro Sekunde bei einer Anfrage und zusammen 56,4 bei zwei.
Braucht Ollama einen API-Key?
Für den lokalen Server nicht. Die API auf Port 11434 hat keine Anmeldung und lauscht nur auf dem Rechner selbst. Geben Sie Ollama im Netzwerk frei, kann jeder, der den Port erreicht, Modelle nutzen, herunterladen und löschen. Setzen Sie deshalb einen Reverse Proxy mit Anmeldung davor. vLLM hat eine API-Key-Option, die aber nicht alle Routen schützt, also gilt dort derselbe Rat.
Kann vLLM GGUF-Modelle laden?
Nur über ein separates Plugin, und die vLLM-Dokumentation nennt die GGUF-Unterstützung hochgradig experimentell. Für vLLM suchen Sie das Modell besser als Safetensors oder in AWQ, GPTQ oder FP8. GGUF ist das native Format von Ollama und llama.cpp.
Was ist der Unterschied zwischen Ollama und llama.cpp?
llama.cpp ist die Engine, die GGUF-Modelle ausführt, und bringt mit llama-server einen eigenen Server mit, den Sie über die Kommandozeile einrichten. Ollama baut auf llama.cpp auf und ergänzt eine Modellbibliothek, Downloads mit einem Befehl, Desktop-Apps für macOS und Windows und Cloud-Modelle.
Quellen
- Ollama auf GitHub github.com
- Ollama-Dokumentation: FAQ docs.ollama.com
- vLLM-Dokumentation: Security docs.vllm.ai
- llama.cpp: README zu llama-server github.com
- Red Hat Developer: Ollama vs. vLLM, Performance-Benchmark (August 2025, englisch) developers.redhat.com
vLLM, Ollama, Hugging Face, NVIDIA und Hetzner sind Marken ihrer jeweiligen Inhaber. Die Nennung bedeutet keine Empfehlung durch und keine Geschäftsbeziehung mit OCTOO AI.