VRAM-Rechner

Welches LLM passt auf Ihre Grafikkarte? VRAM-Rechner mit Kontext und Nutzern

Wählen Sie ein Modell, die Kontextlänge und wie viele Anfragen gleichzeitig laufen. Der Rechner addiert Gewichte, KV-Cache und Runtime und zeigt, welche GPU-Größen und welche GPU-Server von Hetzner dafür reichen. Die Rechnung läuft in Ihrem Browser. Ihre Eingaben werden nirgendwohin gesendet.

In BetriebKalibriert an unserem eigenen GPU-Server: Gleich eingestellt, ergibt der Rechner die 31.920 Token KV-Cache, die vLLM dort gemeldet hat.

Modell und Datei Modell Quantisierung

Last

Kontext pro Anfrage (Token) Gleichzeitige Anfragen

1k = 1.024 Token. Antworten, die gleichzeitig entstehen, nicht Nutzer insgesamt.

Engine

vLLMreserviert einen Anteil der Karte llama.cpp oder Ollamanach Ihrem Kontext bemessen

Anteil am GPU-Speicher

Standard in vLLM ist 0,92, unser Server läuft mit 0,75.

Genauigkeit des KV-Cache

16 Bit 8 Bit

fp8 in vLLM, q8_0 in llama.cpp

Karte und Zusätze

Ihre GPU

Zusätzlicher Bedarf (GiB)

Andere Prozesse, ein Desktop, CUDA-Graphen.

Ergebnis

Kleinste Karte in der Tabelle, auf die es passt: 20 GB.

Gewichte: 9,3 GiB
KV-Cache: 2,5 GiB
Runtime: 850 MiB
Vision-Projektor
Zusatz
Ungenutzter KV-Pool: 2,4 GiB
Frei
Außerhalb des vLLM-Anteils: 5,0 GiB

Gewichte: Datei mit 9,98 GB auf Hugging Face (Qwen/Qwen3-14B-AWQ) = 9,3 GiB
KV-Cache: 160 KiB pro Token × 8.192 Token × 2 Anfragen = 2,5 GiB
Runtime: 400 MiB + 450 MiB für Aktivierungen, skaliert mit Hidden Size 5.120 = 850 MiB
vLLM: 0,75 × 20.475 MiB = 15,0 GiB reserviert; Pool 4,9 GiB = 31.920 Token, 3,90× bei 8.192.

Startbefehl für dieses Setup

vllm serve Qwen/Qwen3-14B-AWQ \
  --max-model-len 8192 \
  --max-num-seqs 2 \
  --max-num-batched-tokens 2048 \
  --gpu-memory-utilization 0.75 \
  --enforce-eager

Zurück zum Setup unseres Servers

Alle GPU-Größen bei Ihren Einstellungen

Karte	Bei Ihren Einstellungen	KV-Pool	Größter Kontext, 2 gleichzeitig	Anfragen mit 8.192 Token
8 GB	zu groß	es fehlen 4,1 GiB	kein Platz	0
12 GB	zu groß	es fehlen 1,1 GiB	kein Platz	0
16 GB	weniger parallel	1,9 GiB	6k	1,50×
20 GBHetzner GEX44 · unser Server	passt	4,9 GiB	15k	3,90×
24 GBHetzner GEX45 · Helsinki	passt	7,9 GiB	25k	6,30×
32 GB	passt	13,9 GiB	40k (Modellmaximum)	11,10×
48 GB	passt	25,9 GiB	40k (Modellmaximum)	20,70×
80 GB	passt	49,9 GiB	40k (Modellmaximum)	39,90×
96 GBHetzner GEX131 · Falkenstein	passt	61,6 GiB	40k (Modellmaximum)	49,26×

GPU-Server bei Hetzner: GEX44 (20 GB, unser Server), GEX45 (24 GB, Helsinki), GEX131 (96 GB, Falkenstein). So richten wir einen ein: vLLM auf einem Hetzner-GPU-Server.

Sie möchten eines dieser Modelle auf einem eigenen Server betreiben, passend dimensioniert und von uns betreut? Dafür gibt es Private AI.

Kontextlänge und KV-Cache

Solange eine Anfrage läuft, hält das Modell für jedes Token in jeder Attention-Schicht Keys und Values im Speicher. Das ist der KV-Cache: 160 KiB pro Token bei Qwen3-14B, 5,0 GiB bei 32.768 Token. Neuere Modelle brauchen deutlich weniger. Bei Qwen3.8 27B führen nur 16 von 64 Schichten einen wachsenden Cache, bei Gemma 4 31B sehen 50 von 60 Schichten nur die letzten 1.024 Token.

Deshalb passt Qwen3.8 27B in Q4_K_M mit 32k Kontext auf eine 24-GB-Karte, mit etwa 4,6 GiB Reserve, obwohl eine Formel, die jede Schicht zählt, das Gegenteil sagt. Ein Cache in 8 Bit braucht etwa halb so viel Speicher.

Mehrere Nutzer gleichzeitig

Jede gleichzeitig laufende Anfrage braucht ihren eigenen Cache, der Speicherbedarf wächst also mit Kontext mal Anfragen. Entscheidend ist, wie viele Antworten gleichzeitig entstehen. Zehn Personen in einem Chat-Tool schicken selten im selben Moment etwas ab, und Anfragen über dem Limit warten in einer Warteschlange. Unser 20-GB-Server bearbeitet 2 Anfragen mit je 8.192 Token gleichzeitig und hätte Platz für 3,9.

vLLM, llama.cpp und Ollama rechnen unterschiedlich

vLLM nimmt sich beim Start einen festen Anteil der Karte und macht aus allem, was die Gewichte übrig lassen, KV-Cache. nvidia-smi zeigt deshalb die Reservierung, nicht den Bedarf des Modells. llama.cpp und Ollama bemessen den Cache nach dem Kontext, den Sie einstellen, ihre Anzeige ist also das, was das Setup wirklich belegt. Der Rechner zeigt beides.

MoE-Modelle: Alle Experten bleiben im Speicher

Ein Mixture-of-Experts-Modell (MoE) rechnet pro Token nur mit wenigen Experten, hält aber alle im Speicher, weil jeder als Nächster drankommen kann. gpt-oss-120b nutzt 5,1 Mrd. Parameter pro Token und braucht trotzdem seine ganze Datei mit 65,3 GB. Weniger aktive Parameter machen ein Modell schneller, nicht kleiner.

Welche Grafikkarte für welches LLM: 8, 16, 24 oder 96 GB

Die größten Modelle, die mit ihrer 4-Bit-Datei, 8.192 Token Kontext und einem Nutzer auf die jeweilige Karte passen, mit mindestens 5 % Reserve. Die Zahl ist der gesamte Speicherbedarf. DeepSeek V4 Flash steht mit seiner 2-Bit-Datei in der Liste, weil seine 4-Bit-Dateien für eine Karte zu groß sind. Jeder Eintrag öffnet sich im Rechner.

8 GB

16 GB

24 GB

96 GB

Die Modelle, die wir einsetzen, nach GPU-Größe: unser Katalog von Private AI.

So rechnet der VRAM-Rechner

Gewichte = Dateigröße auf Hugging Face, sonst Parameter × Bit ÷ 8
KV-Cache = KV pro Token × Kontext × Anfragen (wachsende Schichten)
         + pro Anfrage: Sliding-Window-Schichten (Fenster plus Token in Arbeit), Zustand der Linear Attention
Runtime  = 400 MiB + 450 MiB × Hidden Size ÷ 5.120
           llama.cpp: mindestens 400 MiB + Logits von 512 Token (Vokabular × 512 × 4 Byte)
Summe    = Gewichte + KV-Cache + Runtime (+ Vision-Projektor, + Zusatz)
vLLM     = Anteil × Karte − Gewichte − Runtime = KV-Pool; Pool ÷ Cache pro Anfrage = gleichzeitige Anfragen

An unserem Server kalibriert

Wert	Berechnet	Gemessen
KV-Cache (Token)	31.920	31.920
Gleichzeitige Anfragen mit 8.192 Token	3,90×	3,90×
Engine in nvidia-smi (MiB)	14.905	14.898

Gemessen mit vLLM auf einer RTX 4000 SFF Ada mit Qwen3-14B AWQ. Das ganze Setup: vLLM auf einem Hetzner-GPU-Server.

Dateigrößen und Aufbau der Modelle stammen von Hugging Face. Gibt es für eine Quantisierung keine Datei, ist die Größe geschätzt und so markiert. Hugging Face gibt Dateien in dezimalen GB an, der Rechner arbeitet in GiB: Eine Datei mit 24,0 GB hat 22,4 GiB. Modell für Modell: Welche LLMs in 20, 24 oder 96 GB VRAM passen.

Was der Rechner nicht abdeckt

Eine GPU pro Modell: kein Auslagern in den Arbeitsspeicher oder auf die CPU, kein Aufteilen auf mehrere GPUs.
Nur Speicher, keine Schätzung der Geschwindigkeit.
Macs mit Unified Memory und Fine-Tuning.

Fragen

VRAM für LLMs: häufige Fragen.

Wie viel VRAM braucht ein LLM?

Gewichte plus KV-Cache plus Runtime. Die Gewichte sind die Dateigröße: 9,98 GB für Qwen3-14B in 4-Bit-AWQ, 17,6 GB für Qwen3.8 27B in Q4_K_M, 65,3 GB für gpt-oss-120b. Der Cache wächst mit dem Kontext und mit der Zahl gleichzeitiger Anfragen, die Runtime belegt etwa 0,6 bis 1,1 GiB. Faustregel: Ein GGUF in 4 Bit braucht 0,6 bis 0,7 GB pro Milliarde Parameter, plus Kontext.

Wie stark erhöht die Kontextlänge den VRAM-Bedarf?

Linear. Qwen3-14B braucht 160 KiB pro Token, also 5 GiB bei 32.768 Token. Qwen3.8 27B braucht 64 KiB und Qwen3.6 35B-A3B nur 20 KiB, weil die meisten ihrer Schichten nicht mit dem Kontext wachsen. Jede gleichzeitige Anfrage braucht ihren eigenen Anteil, und ein Cache in 8 Bit halbiert die Werte ungefähr.

Wie viele Nutzer kann eine GPU gleichzeitig bedienen?

Teilen Sie den Speicher, der nach Gewichten und Runtime übrig bleibt, durch den Cache einer Anfrage. Unser 20-GB-Server mit Qwen3-14B bei 8.192 Token hat Platz für 3,9 volle Anfragen, wir lassen zwei zu. Zehn Nutzer bedeuten selten zehn gleichzeitige Anfragen, und weitere Anfragen warten in einer Warteschlange.

Warum belegt vLLM fast den ganzen Grafikspeicher?

Es reserviert ihn absichtlich, standardmäßig 92 % der Karte. Auf unserer 20-GB-Karte haben wir 75 % eingestellt, das sind 15.356 MiB: etwa 9.515 für die Gewichte, etwa 4.988 für einen Cache mit 31.920 Token, der Rest für Runtime und Aktivierungen. nvidia-smi zeigt deshalb die Reservierung, nicht den Bedarf des Modells.

Welche Grafikkarte brauche ich für ein lokales LLM?

8 GB reichen für 8B-Modelle in 4 Bit, 16 GB für Modelle bis 14B oder gpt-oss-20b. Mit 24 GB laufen 27B- bis 35B-Modelle in 4 Bit, mit 96 GB gpt-oss-120b, 70B-Modelle in 8 Bit und DeepSeek V4 Flash in 2 Bit. In Deutschland vermietet Hetzner einen GPU-Server mit 96 GB, den GEX131 in Falkenstein.