Welche offenen und unzensierten LLMs in 20, 24 oder 96 GB VRAM passen

Wer den VRAM-Bedarf eines LLM nachschlägt, bekommt fast immer eine einzige Zahl: die Größe der Modelldatei. Auf einem Server ist das nur die Untergrenze. Die Grafikkarte hält außerdem einen Cache für jedes Gespräch, das gerade läuft, und dazu die Software, die das Modell ausliefert. Dieser Ratgeber ordnet die offenen und unzensierten Modelle aus unserem Katalog drei GPU-Größen zu: 20, 24 und 96 GB.

Die Kurzfassung: 20 GB reichen für ein 14B-Modell oder für Gemma 4 26B in 4 Bit. Mit 24 GB kommt die Klasse von 27B bis 35B dazu, in 4 Bit und mit Platz für lange Gespräche. 96 GB tragen gpt-oss-120b im nativen Format und jedes Modell der 30B-Klasse in voller Präzision. Der VRAM-Rechner rechnet das für Ihr eigenes Modell, Ihren Kontext und Ihre Nutzerzahl nach.

Was VRAM belegt: Gewichte, KV-Cache und Runtime

Die Gewichte sind das Modell selbst. Meist läuft eine komprimierte (quantisierte) Datei mit 4 oder 8 Bit pro Gewicht statt der ursprünglichen 16 Bit. Als Faustregel gelten etwa 0,6 bis 0,7 GB pro Milliarde Parameter in 4 Bit, 1,1 GB in 8 Bit und 2 GB in 16 Bit.

Der KV-Cache ist das Arbeitsgedächtnis des Modells für ein Gespräch, und genau diesen Teil vergessen viele. Jedes Token, also ein Wort oder Wortteil, hinterlässt in jeder Schicht einen Eintrag. Ein Gespräch mit 32.000 Tokens braucht bei Qwen3-14B 5,4 GB Cache.

Die Runtime ist die Software, die das Modell ausliefert, etwa vLLM, llama.cpp oder Ollama. Sie braucht Platz für ihre eigenen Puffer, und für Bildeingabe kommt ein Vision-Modul von rund 1 GB dazu. vLLM reserviert außerdem beim Start einen festen Anteil der Karte und füllt ihn mit Cache, deshalb wirkt ein laufender Server voller, als das Modell es braucht. Ollama und vLLM im Vergleich erklärt den Unterschied.

Der Katalog: VRAM-Bedarf Modell für Modell

Diese Modelle stammen aus unserem Katalog für Private AI. Alle stehen unter Apache 2.0 oder MIT, Sie dürfen sie also kommerziell nutzen und per Fine-Tuning an Ihre Daten anpassen. Die meisten unzensierten Varianten sind entstanden, indem die Verweigerungen aus den Gewichten herausgerechnet wurden. Wie das geht, steht in Wie ein Modell sein „Nein“ verliert.

Dateigrößen laut Hugging Face. MoE steht für Mixture-of-Experts, Dense für ein Modell, das bei jedem Token alle Parameter nutzt.

Mixture-of-Experts spart Rechenaufwand, keinen Speicher

Gemma 4 26B A4B nutzt pro Token 3,8 Milliarden Parameter und braucht trotzdem alle 25,2 Milliarden im Speicher, weil es für jedes Token andere Experten wählt. Weniger aktive Parameter machen ein Modell schneller. Kleiner machen sie es nicht.

Was Mixture-of-Experts erlaubt, ist das Aufteilen. llama.cpp kann die Experten-Gewichte im Arbeitsspeicher des Servers halten, während der Rest auf der GPU bleibt. So lässt sich die 156 GB große 4-Bit-Datei von DeepSeek V4 Flash mit einer 96-GB-Karte nutzen: Hetzners GEX131 hat 256 GB Arbeitsspeicher für die Experten.

KV-Cache: Kontext mal Nutzer

Was ein Token im Cache kostet, hängt mehr von der Bauweise des Modells ab als von seiner Größe. Neuere Modelle halten den vollen Kontext nur in einem Teil ihrer Schichten oder speichern ihn kompakt.

Dann kommen die Nutzer dazu. Fünf solche Gespräche auf Qwen3-14B brauchen fast 27 GB Cache, mehr als eine 24-GB-Karte hat, bevor überhaupt das Modell geladen ist. Drei Einstellungen halten das in Grenzen: eine Obergrenze für die Kontextlänge, eine für die Zahl gleichzeitiger Anfragen und ein Cache in 8 Bit, der etwa halb so viel Platz braucht.

Die besten LLMs für 20, 24 und 96 GB VRAM

Welche Grafikkarte ein lokales LLM braucht, ist im Kern eine Frage des VRAM. Berechnet für llama.cpp, mit 32.000 Tokens pro Gespräch und 5 % der Karte als Reserve, schafft Gemma 4 26B A4B auf 20 GB zwei Gespräche, Qwen3.8 27B auf 24 GB zwei und gpt-oss-120b auf 96 GB 25.

20 GB: ein 14B-Modell oder Gemma 4 26B für ein bis zwei Nutzer

Das ist die RTX 4000 SFF Ada in Hetzners GEX44. Sie reicht für ein 14B-Modell, das einige Chats parallel bedient, oder für Gemma 4 26B A4B in 4 Bit: zwei lange Gespräche, mit Bildeingabe eines. Qwen3.8 27B passt für einen einzelnen Nutzer mit kürzerem Kontext, deshalb führt unser Katalog es erst ab 24 GB.

24 GB: die Klasse von 27B bis 35B in 4 Bit

Das ist die Größe von Karten wie der RTX PRO 4000 Blackwell. Qwen3.8 27B läuft hier in 4 Bit mit 32.000 Tokens Kontext, Qwen3.6 35B-A3B mit mittlerem Kontext. Neben der 18,7 GB großen Datei von Gemma 4 31B bleibt wenig Platz für Kontext, deshalb führen wir es ab 96 GB. gpt-oss-120b passt nicht: Rund zwei Drittel seiner 65 GB müssten in den Arbeitsspeicher.

96 GB: unquantisierte 30B-Modelle, gpt-oss-120b, DeepSeek in 2 Bit

Das ist die RTX PRO 6000 Blackwell in Hetzners GEX131 am Standort Falkenstein in Sachsen, mit 256 GB Arbeitsspeicher. Jedes Modell der 30B-Klasse läuft hier unquantisiert, also in voller 16-Bit-Präzision. gpt-oss-120b läuft mit vollem Kontext, ein 70B-Dense-Modell in 8 Bit. DeepSeek V4 Flash passt in 2 Bit komplett auf die Karte (86,7 GB), in 4 Bit mit den Experten im Arbeitsspeicher. Derselbe Server hat auch Platz für Fine-Tuning mit Ihren eigenen Daten.

Wenn Sie eines dieser Modelle auf einem eigenen Server betreiben möchten, ohne die Größen selbst durchzurechnen, ist Private AI genau dafür da. Wir wählen die passende Größe, installieren das Modell und testen es mit Ihren eigenen Fragen, bevor es live geht.