Kurz gesagt
Wie viel Befugnis sollte ein KI-Agent bekommen?
Ein Unternehmens-KI-Agent muss innerhalb von vier Grenzen laufen: Zugriff nur auf die Werkzeuge seiner Aufgabe, eine Berechtigungsprüfung bei jedem Werkzeugaufruf, Obergrenzen für Schritte und Ausgaben sowie menschliche Freigabe bei unumkehrbaren Aktionen. Ohne sie ist ein Agent keine Automatisierung, sondern ein Risiko — denn anders als ein Modell hat ein Agent Nebenwirkungen, und ein falscher Werkzeugaufruf verändert Daten.
Der häufigste Fehler in der Agentenarchitektur ist, sie als Problem eines "schlaueren Modells" zu behandeln. In Produktion ist das eigentliche Problem, was in dem Moment passiert, in dem das Modell falsch liegt.
Warum ist der Werkzeugkatalog eine Sicherheitsgrenze?
Das Werkzeugset jedes Agenten muss explizit sein, und jedes Werkzeug muss seinen eigenen Berechtigungsumfang tragen. "Rechnung lesen" und "Rechnung stornieren" dürfen niemals auf derselben Rechtestufe liegen, auch nicht innerhalb desselben Agenten.
- Trennen Sie Lese- von Schreibwerkzeugen.
- Sichern Sie jede irreversible Aktion durch eine menschliche Freigabe ab.
- Versehen Sie jeden Werkzeugaufruf mit Budget und Rate-Limit.
- Validieren und bereinigen Sie Werkzeugausgaben, bevor sie zurück ins Modell fließen.
Was passiert, wenn ein Agent einen Schritt nicht abschließen kann?
Was ein Agent tut, wenn er etwas nicht lösen kann, zählt genauso viel wie das, was er tut, wenn er es kann. Der deterministische Pfad, der jenseits einer Unsicherheitsschwelle greift, bestimmt die Zuverlässigkeit des Systems.
“Eine gute Agentenarchitektur bemisst sich nicht daran, wie gut das Modell ist, sondern daran, wie ruhig das System bleibt, wenn das Modell falsch liegt.”
Wie prüft man die Entscheidung eines Agenten im Nachhinein?
Jeder Schritt — Reasoning, Werkzeugaufruf, Ergebnis, Entscheidung — muss strukturiert protokolliert werden. Wenn Sie drei Monate später nicht erklären können, warum ein Agent so entschieden hat, können Sie diesen Agenten in einem regulierten Umfeld nicht betreiben.
| Grenze | Was sie leistet | Ohne sie |
|---|---|---|
| Werkzeug-Scope | Begrenzt den Agenten auf die nötigen Werkzeuge | Er handelt in einem System ohne Berechtigung |
| Budgetgrenze | Deckelt Schritte, Werkzeugaufrufe und Ausgaben | Ein schleifender Agent läuft stundenlang |
| Menschliche Freigabe | Sperrt unumkehrbare Aktionen | Eine falsche Entscheidung wird direkt angewendet |
| Deterministischer Rückfall | Schließt den Ablauf, wenn das Modell nicht antwortet | Der Agent bleibt undefiniert stehen |
| Unveränderliches Log | Macht jeden Schritt wiederabspielbar | Die Entscheidung ist nicht nachprüfbar |
Quellen
- 01OWASP Top 10 for Large Language Model ApplicationsOWASP Foundation · 2025
- 02NIST AI 600-1 — Generative AI ProfileNIST · 2024
- 03Regulation (EU) 2024/1689 — Artificial Intelligence ActAvrupa Birliği Resmî Gazetesi · 2024