Lokale KI-Agenten für Unternehmen: was sie sind und was sie auf dem eigenen Server leisten

Ein KI-Agent soll im Unternehmen Alltagsarbeit erledigen: Mails sortieren, Dokumente durchsuchen, Tickets anlegen. Ein lokaler KI-Agent tut das auf einem Server, den Sie kontrollieren, und Ihre Daten landen bei keinem Modellanbieter.

Was ein KI-Agent ist und wie er funktioniert

Ein KI-Agent ist ein Sprachmodell, das in einer Schleife Werkzeuge benutzt. In einem Workflow legt Ihr Code fest, welcher Schritt als Nächstes kommt. Ein Agent entscheidet über seine Schritte und Werkzeuge selbst und hat dafür vier Bausteine:

1. Das Modell bestimmt den nächsten Schritt.
2. Die Werkzeuge schlagen etwas nach oder ändern etwas: eine Datenbankabfrage, eine Datei, eine Mail.
3. Die Schleife führt die Werkzeuge aus und gibt die Ergebnisse zurück.
4. Die Grenzen: Höchstzahl an Schritten, erlaubte Werkzeuge, Rechte, Freigabe durch einen Menschen.

KI-Agent oder Workflow: Beispiele für Ihr Unternehmen

Die einfachste Lösung, die funktioniert, ist meist die richtige, denn jeder zusätzliche Schritt kostet GPU-Zeit und Wartezeit. Unsere Faustregeln:

KI-Agent lokal laufen lassen: was auf den eigenen Server passt

Alle vier Bausteine passen auf eine eigene Maschine:

• Das Modell. Offene Modelle wie Qwen3 und gpt-oss bringen Tool Calling mit, also das Aufrufen von Werkzeugen.
• Der Modellserver. vLLM und Ollama reichen Werkzeugaufrufe über ihre Schnittstellen durch (Ollama oder vLLM).
• Die Werkzeuge. Datenbank, Dateiserver, Ticketsystem und Dokumentensuche sind ohnehin intern. Über das Model Context Protocol (MCP) lassen sie sich einheitlich anbinden.
• Die Schleife ist gewöhnlicher Code, der jeden Aufruf prüft, bevor er ihn ausführt.

Wie Ihre Daten im Haus bleiben

Ein Agent ist so lokal wie seine Werkzeuge. Modell, Schleife, Protokoll und Ihre internen Werkzeuge laufen auf Ihrem Server. Auch die Suche in Ihren eigenen Dokumenten bleibt im Haus, wenn sie ein lokales Embedding-Modell nutzt, also das kleine Modell, das Text durchsuchbar macht.

Werkzeuge, die nach außen zeigen, etwa Websuche oder Mail, schicken hinaus, was ihre Aufgabe braucht: die Suchanfrage, die Nachricht. Zwei Regeln halten das im Rahmen:

1. Der Server baut nur zu einer festen Liste von Adressen Verbindungen auf, damit ein manipulierter Agent Daten nicht anderswohin schicken kann.
2. Werkzeuge nach außen bekommen nur knappe Eingaben: Eine Suche, die bloß einen kurzen Suchbegriff annimmt, kann kein Dokument hinaustragen.

Risiken von KI-Agenten und die Kontrollen dagegen

Zwei Risiken wiegen am schwersten, und beide stehen in der OWASP-Top-10-Liste der Risiken für LLM-Anwendungen. Prompt Injection: Anweisungen, versteckt in einer Mail, einer Webseite oder einer Datei, die der Agent liest. Übermäßige Handlungsmacht (Excessive Agency): mehr Werkzeuge, Rechte oder Autonomie, als die Aufgabe braucht. In OWASPs Beispiel kann das Mail-Werkzeug eines Assistenten, der Mails zusammenfasst, auch senden, und eine präparierte Mail bringt ihn dazu, sensible Mails an den Angreifer weiterzuleiten. Ein Werkzeug, das nur lesen kann, hätte das verhindert.

Diese Kontrollen gehören in jeden Agenten, die meisten in die Schritte 03, 04 und 06 der Schleife oben:

1. Nur die nötigen Werkzeuge, mit den Rechten des Menschen, für den der Agent arbeitet.
2. Rechte im Zielsystem prüfen, nicht im Modell. Ein Nein des Modells ist keine Sicherheitsmaßnahme.
3. Freigabe durch einen Menschen vor allem Unumkehrbaren: senden, löschen, bezahlen, veröffentlichen.
4. Ein Schrittlimit und Ratenlimits für Werkzeuge.
5. Zuerst eine abgeschottete Testumgebung, weil sich Fehler über viele Schritte aufaddieren können.
6. Ein schlankes Protokoll: welches Werkzeug wann lief, ob es geklappt hat, wer es freigegeben hat. Vollständige Inhalte nur mit klarem Zweck und Löschfrist.

KI-Agenten und DSGVO

Auf dem eigenen Server werden Prompts, Dokumente und Antworten ohne Modellanbieter dazwischen verarbeitet, und damit ist die größte Datenschutzfrage geklärt. Mit jedem Kunden schließen wir einen Auftragsverarbeitungsvertrag. Drei Regeln gelten, egal wo das Modell läuft: Entscheidungen mit Rechtswirkung, etwa über Bewerbungen, treffen Menschen, der Agent bereitet sie vor. Menschen sollten wissen, wann sie es mit einer KI zu tun haben. Und viele KI-Projekte brauchen eine Datenschutz-Folgenabschätzung, binden Sie Ihre Datenschutzbeauftragten also früh ein. Mehr dazu in Eigener KI-Server und DSGVO.

Welche Hardware ein lokaler KI-Agent braucht

Vor allem Grafikspeicher (VRAM). Ein Agent schickt bei jedem Schritt den ganzen bisherigen Verlauf samt Werkzeugergebnissen erneut mit, braucht also mehr Kontext als ein Chat, und Kontext kostet Speicher.

Ein GPU-Server mit 20 GB betreibt schnelle mittelgroße Modelle. Für Agenten, die lange Dokumente lesen, bietet der 96-GB-Server mehr Platz: Auf ihm läuft Qwen3.6 35B-A3B, das unser Modellkatalog für Agenten, Werkzeuge und langen Kontext führt, und gpt-oss-120b passt vollständig darauf. Mehr in Welche LLMs in 20, 24 oder 96 GB VRAM passen und im VRAM-Rechner.

Sie möchten einen Agenten, der auf einem eigenen Server mit Ihren Daten arbeitet? Genau das bauen wir mit Private AI: Ihr Modell auf einem dedizierten GPU-Server in Deutschland, eine API für Ihre Werkzeuge, Automationen und Agenten, die darauf aufbauen, dazu ein Auftragsverarbeitungsvertrag. Das erste Gespräch ist kostenlos.