Wie ein Modell sein „Nein“ verliert: Abliteration, Heretic und unzensierte LLMs

Ein abliteriertes Modell (englisch „abliterated“) ist ein Open-Weight-LLM, dem man das Neinsagen aus den Gewichten entfernt hat, ohne es neu zu trainieren. Jemand hat gemessen, wo das Modell „das lehne ich besser ab“ repräsentiert, genau diese eine Richtung herausgerechnet und das Ergebnis als neues Modell gespeichert. Der Eingriff heißt Abliteration, ein Kofferwort aus ablation und obliterate. Mit Heretic, dem Open-Source-Werkzeug, das ihn automatisiert, sind bereits weit über 5.000 veröffentlichte Modelle entstanden.

Warum eine KI die Antwort verweigert: Das „Nein“ ist antrainiert

Ein Chat-Modell lehnt nicht ab, weil ein Filter davorsitzt. Das Ablehnen lernt es in dem Training, das aus einem rohen Sprachmodell einen Assistenten macht, und jeder Hersteller zieht die Grenze an einer anderen Stelle. Manche Verweigerungen schützen Menschen. Andere blockieren eine Penetrationstesterin, einen Arzt, der nach Schwellenwerten für eine Überdosis fragt, oder eine Krimiautorin, die einen Mord glaubwürdig beschreiben will. Abliteration legt diese Entscheidung vom Hersteller in die Hände dessen, der das Modell betreibt.

Die Verweigerungsrichtung: Ein Vektor trägt das „Nein“

2024 haben Arditi und Kollegen 128 schädliche und 128 harmlose Anweisungen durch 13 offene Chat-Modelle geschickt und aufgezeichnet, was dabei in ihnen passiert. Die Differenz der beiden Mittelwerte wirkt wie ein Schalter. Nimmt man sie heraus, lehnt das Modell schädliche Anfragen nicht mehr ab. Addiert man sie, lehnt es plötzlich harmlose ab. In jedem getesteten Modell genügte diese eine Richtung.

Damit die Änderung bleibt, wird die Richtung einmal aus den Gewichten herausgerechnet. Übrig bleibt eine gewöhnliche Modelldatei. In den Tests der Autoren hielten die meisten bearbeiteten Modelle ihre Werte in gängigen Wissens- und Mathe-Benchmarks.

Heretic: Abliteration auf Autopilot

2024 machte Maxime Labonne die Methode zu einem Rezept, das jeder nachbauen kann. Heretic, ein Open-Source-Werkzeug von Philipp Emanuel Weidmann, geht einen Schritt weiter und übernimmt die Feinarbeit selbst. Ein Optimierer probiert Schicht für Schicht verschiedene Einstellungen aus und bewertet jeden Versuch nach zwei Zielen: möglichst wenige Verweigerungen bei schädlichen Prompts und möglichst wenig Veränderung bei harmlosen. Die zweite Zahl heißt KL-Divergenz. Sie misst, wie weit die Wortwahl des Modells vom Original abweicht.

Man installiert Heretic, nennt ihm ein Modell und wartet. Für ein Modell mit 4 Milliarden Parametern dauert ein Lauf auf einer einzelnen RTX 3090, einer Gaming-Grafikkarte, 20 bis 30 Minuten.

Macht Abliteration ein Modell dümmer?

Grob gemacht, kann sie das. Sorgfältig gemacht, behält das Modell das meiste oder alles von dem, was es weiß. Das deutlichste Beispiel ist Gemma 3 12B. Die Heretic-Dokumentation vergleicht drei Bearbeitungen, die alle die Verweigerungen von 97 auf 3 von 100 senken. Beim Wissenswert des UGI-Leaderboards (NatInt) landen sie genau in der Reihenfolge ihrer Abweichung: Die Bearbeitung mit der größten Abweichung verlor mehr als die Hälfte der 18,72 des Originals, die Heretic-Version behielt den größten Teil.

Bei gpt-oss-120b zeigt sich dasselbe Bild. Eine einfache Abliteration fiel von 33,68 auf 16,72, die Heretic-Version kam auf 33,41. Neuere Verfahren gehen noch weiter: Eine normerhaltende Bearbeitung von Gemma 3 12B liegt sogar über dem Original.

Daraus folgt eine einfache Regel: Bewerten Sie das fertige Modell, nicht den Namen der Methode.

Die unzensierten Modelle in unserem Katalog

Der Modellkatalog auf unserer Seite Private AI führt Open-Weight-Modelle, deren Lizenz kommerziellen Betrieb und Fine-Tuning erlaubt, die meisten als unzensierte Varianten. Im UGI-Leaderboard antworten die Heretic-Versionen deutlich bereitwilliger und behalten ihr Wissen:

Jeweils Originalmodell → Heretic-Variante. Welches dieser Modelle auf eine Grafikkarte mit 20, 24 oder 96 GB passt, steht in unserem VRAM-Ratgeber.

Abliteriert oder unzensiert: vier Wege, Verweigerungen zu entfernen

„Unzensiert“ ist der Oberbegriff, Abliteration ist ein Weg dorthin. Der ältere führt über Training: Eric Hartford strich die Verweigerungen aus einem Datensatz mit Anweisungen und trainierte auf dem Rest eine unzensierte Version von WizardLM.

Funktioniert Abliteration auch auf Deutsch?

Ja. Ein Team der LMU München hat gezeigt, dass eine Verweigerungsrichtung aus englischen Prompts die Verweigerungen auch in den anderen Sprachen abschaltet, für die die Modelle ein Sicherheitstraining hatten, Deutsch und Spanisch eingeschlossen. Wer ein Modell für deutschsprachige Nutzer abliteriert, braucht dafür keine eigenen deutschen Prompt-Sets.

So lesen Sie das UGI-Leaderboard

UGI steht für Uncensored General Intelligence. Das Leaderboard ist ein Hugging Face Space von DontPlanToEnd, und seine Testfragen bleiben unveröffentlicht, damit niemand ein Modell gezielt darauf trainiert. Zwei Spalten zählen am meisten. W/10 ist die Antwortbereitschaft auf einer Skala von 0 bis 10: wie weit sich ein Modell treiben lässt, bevor es ablehnt oder ausweicht. NatInt misst das Allgemeinwissen.

Lesen Sie beide zusammen und immer neben der Zeile des Originalmodells. Hohe Bereitschaft bei eingebrochenem NatInt heißt: ein gefügiges Modell, das in allem anderen schlechter geworden ist.

Unzensiert heißt: Die Regeln bestimmen Sie

Ohne eingebaute Verweigerungen wandern die Regeln vom Modell in den Betrieb: in den Systemprompt, in die Frage, wer das Modell erreicht, und in das, was protokolliert wird. Ein Modell, das frei von den Richtlinien eines Herstellers ist, braucht Ihre eigenen.

Mit Private AI betreiben wir solche Modelle für Sie: ein Open-Weight-Modell, auf Wunsch unzensiert, auf einem eigenen GPU-Server in Deutschland. Prompts und Antworten werden auf Ihrem Server verarbeitet. Lehnt ein Modell für Ihre Arbeit noch zu viel ab, entfernen wir die Verweigerungen per Abliteration. Vor dem Livegang beantwortet es Ihre eigenen Fragen und Grenzfälle, direkt neben dem Original.