KI-Agenten sicher betreiben · in Entwicklung
Was durfte Ihr Agent? Und was hat er getan?
Ich entwickle gerade das Agent Control Center, kurz ACC. Es ist eine Kontrollebene für KI-Agenten und beantwortet die Frage: Welcher Agent durfte wann, warum und mit welchen Rechten auf welches System zugreifen? Was hat er tatsächlich getan, wurde das Ergebnis bestätigt, und lässt er sich sofort stoppen?
Mehr als 30 Jahre IT- und Projekterfahrung · eigene KI-Entwicklung aus der Praxis · ITIL Foundation zertifiziert · 123Support GmbH, Nürnberg
01 / Das Problem
Ein Chatbot antwortet. Ein Agent handelt.
Ein KI-Agent liest nicht nur, er tut etwas: Er öffnet Postfächer, legt Dateien ab, schreibt in Fachprogramme, verschickt Nachrichten. Damit stellen sich andere Fragen als beim Chatfenster im Browser.
- Zu viele Rechte. Der Einfachheit halber bekommt ein Agent Zugriff auf alles, obwohl er für seine Aufgabe nur einen Ordner braucht.
- Versteckte Befehle. Das BSI nennt das Prompt Injection: Angreifer verbergen Anweisungen in Webseiten, Dokumenten oder E-Mails, die ein Agent liest.
- Keine Spur. Ohne Protokoll lässt sich hinterher nicht sagen, welcher Agent was getan hat und in wessen Auftrag.
- Kein Halt. Ein Agent, der falsche Aktionen ausführt, muss sofort angehalten werden können. Das BSI warnt ausdrücklich vor Kettenreaktionen.
02 / Was das ACC beantwortet
Sechs Fragen, eine Stelle.
Das ACC soll die Antworten auf diese Fragen an einer Stelle bündeln. Wer einen Agenten im Betrieb verantwortet, soll sie jederzeit nachsehen können.
- Welcher Agent? Nicht „die KI“, sondern genau der Agent, der zugegriffen hat.
- Wann und warum? Zu welchem Zeitpunkt und aus welchem Auftrag heraus der Zugriff stattfand.
- Mit welchen Rechten, auf welches System? Welche Berechtigung der Agent dafür hatte und wo er sie genutzt hat.
- Was hat er tatsächlich getan? Nicht, was er tun sollte, sondern was er getan hat.
- Wurde das Ergebnis bestätigt? Ob das Ergebnis bestätigt ist oder noch offen.
- Lässt er sich sofort stoppen? Ein Agent, der falsch läuft, muss sofort anzuhalten sein.
03 / Das Fundament
In Verbindung mit NVIDIA OpenShell
OpenShell ist eine quelloffene Laufzeitumgebung von NVIDIA, in der Agents abgeschottet arbeiten. Sie setzt Regeln dort durch, wo der Agent selbst nicht herankommt. Die Angaben unten stammen von NVIDIA.
- Jeder Agent läuft in einer eigenen, abgeschotteten Umgebung ohne direkten Netzzugang.
- Daten verlassen diese Umgebung nur, wenn eine Regel es ausdrücklich erlaubt.
- Die Regeln werden auf Systemebene durchgesetzt, außerhalb des Agenten. Er kann sie nicht selbst aufheben.
- Zugangsdaten bekommt ein Agent nur im Rahmen seiner Berechtigungen. Jede Entscheidung wird protokolliert.
- OpenShell unterstützt unter anderem Claude Code, Codex, GitHub Copilot CLI und LangChain.
- OpenShell sorgt für die Abschottung und setzt die Regeln durch. Das ACC ist die Kontrollebene darüber, die die sechs Fragen beantwortet.
04 / Was Sie heute schon tun können
Vier Empfehlungen vom BSI, ohne neue Software.
Die Empfehlungen stammen von der Seite des BSI zu KI-Agenten. Sie gelten unabhängig davon, welches Werkzeug Sie einsetzen.
-
Rechte knapp halten
Erlauben Sie einem Agenten nur die Zugriffe, die er für seine Aufgabe wirklich braucht. Ein Agent, der Rechnungen einsammelt, braucht kein Recht, Überweisungen auszulösen.
-
Wichtige Aktionen bestätigen
Wo es die Einstellung gibt, führt der Agent wichtige Aktionen erst nach Ihrer Bestätigung aus. Besonders bei allem mit finanziellen oder persönlichen Folgen.
-
Protokolle lesen
Schauen Sie regelmäßig in den Verlauf, was der Agent getan hat. Ungewöhnliches fällt so früh auf.
-
Bei Unerwartetem abbrechen
Handelt ein Agent anders als erwartet, brechen Sie ab und prüfen Sie, bevor es weitergeht.
05 / Für wen
Für wen das ACC gedacht ist
Passt, wenn
- in Ihrem Betrieb Agents laufen oder bald laufen sollen, die selbstständig auf Postfach, Ablage oder Fachprogramme zugreifen
- Sie im Zweifel nachweisen wollen, welcher Agent was getan hat
- Sie einen Agenten jederzeit anhalten können wollen
Passt nicht, wenn
- Sie KI nur im Chatfenster nutzen und kein Agent selbstständig handelt
- Sie heute ein fertiges Produkt brauchen. Das ACC ist in Entwicklung.
06 / Wer das entwickelt
KI-Strategieberater mit mehr als 30 Jahren IT-Erfahrung
Thomas Dillmann
Geschäftsführer der 123Support GmbH, Nürnberg
Ich betreibe selbst einen Agenten im eigenen Büro: Er sammelt Rechnungen aus dem Postfach und aus eingescannten Belegen ein und sortiert sie (der Praxisfall). Genau dabei stellen sich die Fragen, die das ACC beantworten soll.
Ich arbeite seit mehr als 30 Jahren in der IT: als Projektleiter, im IT-Management und bei Rollouts in gewachsenen Betrieben. Ich bin ITIL Foundation zertifiziert.
07 / Häufige Fragen
Was Sie zum ACC wissen sollten
Was ist das Agent Control Center?
Eine Kontrollebene für KI-Agenten. Sie beantwortet, welcher Agent wann, warum und mit welchen Rechten auf welches System zugegriffen hat, was er tatsächlich getan hat, ob das Ergebnis bestätigt wurde und ob er sich sofort stoppen lässt.
Kann ich das ACC schon einsetzen?
Noch nicht, es ist in Entwicklung. Einen Termin nenne ich erst, wenn er feststeht. Bis dahin helfen die Empfehlungen des BSI weiter oben auf dieser Seite.
Was ist der Unterschied zwischen einem Chatbot und einem KI-Agenten?
Ein Chatbot antwortet auf Fragen. Ein Agent führt Schritte selbstständig aus: Er liest Postfächer, legt Dateien ab, füllt Formulare aus oder schreibt in Fachprogramme. Deshalb braucht ein Agent Rechte, und deshalb muss jemand wissen, was er damit tut.
Was ist Prompt Injection?
Ein Angriff, bei dem jemand Anweisungen in Webseiten, Dokumenten oder E-Mails versteckt. Liest ein Agent diese Inhalte, kann er die versteckten Anweisungen für einen Auftrag halten. Das BSI nennt das als eines der Risiken bei KI-Agenten.
Was ist NVIDIA OpenShell?
Eine quelloffene Laufzeitumgebung von NVIDIA für KI-Agenten. Jeder Agent läuft darin abgeschottet, Regeln legen fest, worauf er zugreifen darf, und durchgesetzt werden sie außerhalb des Agenten. Das ACC entsteht in Verbindung damit.
Ist OpenShell ein Produkt der 123Support GmbH?
Nein. OpenShell ist ein Projekt von NVIDIA. Das ACC ist meine Entwicklung und nutzt OpenShell als Fundament.
Ich nutze nur ChatGPT im Browser. Betrifft mich das?
Solange kein Agent selbstständig in Ihren Systemen handelt, kaum. Das ändert sich, sobald ein Werkzeug eigenständig Mails verschickt, Dateien ablegt oder in Fachprogramme schreibt.
Sie setzen KI-Agenten ein oder planen es?
Dann lohnt sich die Frage, wer sie kontrolliert, bevor etwas passiert. Die Vorbesprechung kostet nichts und dauert 30 Minuten.