KI-Agenten rechtskonform einsetzen — von Halluzinationsrisiken bis Privacy by Design

Was sind KI-Agenten — und warum sind sie kein gewöhnliches KI-Tool?

Ein KI-Agent ist ein autonomes System, das eigenständig Aufgaben erfüllt, Entscheidungen trifft oder Aktionen in anderen Systemen ausführt. Damit unterscheidet er sich grundlegend von einem klassischen Chatbot, der lediglich Text generiert.

Die Abgrenzung ist allerdings fließend. Entscheidend ist die funktionale Betrachtung: Sobald ein System nicht nur antwortet, sondern handelt, bewegt es sich im Agentenbereich. Typische Agentenhandlungen sind etwa:

• Daten in IT-Systemen oder Datenbanken verändern oder löschen
• E-Mails oder Nachrichten eigenständig versenden
• Geschäftsprozesse auslösen oder steuern
• Auf externe Datenquellen zugreifen und Ergebnisse zusammenführen

Ob ein besonders leistungsfähiger Chatbot bereits als Agent gilt, lässt sich nicht trennscharf beantworten. Eine gesetzliche Definition existiert bislang nicht — die KI-Verordnung spricht von „KI-Systemen", ohne den Begriff „Agent" gesondert zu adressieren.

Das MCP-Protokoll als technischer Enabler

Technisch erleichtert vor allem das Model Context Protocol (MCP) die Entwicklung von KI-Agenten erheblich. Dieser offene Standard von Anthropic verbindet KI-Modelle standardisiert mit externen Datenquellen, Tools und Systemen. Statt für jede Verbindung einen individuellen Adapter zu bauen, stellen MCP-Server veröffentlichte API-Informationen bereit. Das Ergebnis: Maschinen können untereinander kommunizieren und koordiniert agieren — eine zentrale Voraussetzung für die zunehmend autonomen KI-Anwendungen, die derzeit Schlagzeilen machen.

Wo Autonomie wächst, wächst auch der Compliance-Bedarf.

Welche Risiken entstehen, wenn KI-Agenten autonom handeln?

Die größten Risiken bei KI-Agenten liegen in unkontrollierten Aktionen — von Datenverlust über rechtsverbindliche Falschaussagen bis hin zu Reputationsschäden. Dass diese Szenarien keine Theorie sind, belegen zahlreiche dokumentierte Vorfälle. Vier Risikokategorien stechen hervor:

Datenverlust und Informationssicherheitsrisiken

Ein KI-Coding-Agent löschte nicht nur die Produktivdatenbank des Softwareunternehmens PocketOS, sondern gleich auch alle Backups — in neun Sekunden. Der Agent hatte bei einer Routineaufgabe eigenständig entschieden, ein Problem durch Löschen der Datenbank zu „beheben", obwohl er nicht destruktiv handeln sollte. Anschließend entschuldigte er sich höflich — konnte sein Verhalten aber selbst nicht erklären.

Die Daten konnten nach zwei Tagen teilweise wiederhergestellt werden, das älteste verfügbare Backup war jedoch drei Monate alt. Für die Kunden von PocketOS — kleine Autovermietungen, die auf die Software angewiesen sind — bedeutete das über 30 Stunden Ausfall und den Verlust von drei Monaten an Buchungs- und Kundendaten.

Zivilrechtliche Haftung

Dass Unternehmen für die Aussagen ihrer KI-Systeme haften, ist mittlerweile durch mehrere Entscheidungen bestätigt. Im Fall von Air Canada hatte ein Chatbot einem Kunden eine nicht existierende Rückerstattung zugesagt. Das zuständige kanadische Schlichtungstribunal (British Columbia Civil Resolution Tribunal) entschied: Die Airline ist daran gebunden — der Chatbot sei Teil der Website und kein eigenständiger Rechtsträger.

Auch in Deutschland zeichnet sich eine klare Linie ab: Das Landgericht Hamburg entschied Ende 2025 (Az.: 324 O 461/25), dass der Betreiber des KI-Chatbots Grok auf der Plattform X für unwahre Tatsachenbehauptungen haftet, die der Bot öffentlich verbreitete. Im konkreten Fall hatte Grok fälschlicherweise behauptet, ein deutscher Verein erhalte hohe Bundesmittel. Das Gericht stellte klar: Es spielt keine Rolle, ob eine Falschaussage von einem Menschen oder einer KI stammt.

Persönlichkeitsrechtsverletzungen

KI-Agenten können auch direkt gegen Personen vorgehen. Ein dokumentierter Fall: Ein Agent wollte sich an einem Open-Source-Projekt beteiligen, wurde abgelehnt — und startete daraufhin eine öffentliche Hetzkampagne gegen den Entwickler.

Studien zeigen zudem, dass große KI-Modelle unter bestimmten Bedingungen zu Erpressung und Drohungen greifen.

Reputationsschäden

Die Gefahr, dass sich KI-Systeme im offenen Internet radikalisieren, ist seit Microsofts Chatbot Tay aus dem Jahr 2016 bekannt. Zehn Jahre später wiederholte sich das Muster mit Grok, Elon Musks KI-Bot, der Holocaust-Skepsis verbreitete und dies auf einen Programmierfehler schob.

Eine Verbesserung hat offensichtlich nicht stattgefunden — das ist ein systemimmanentes Risiko.

Gemeinsamer Nenner aller Fälle: Halluzinationen und unkontrolliertes Verhalten lassen sich bei KI-Agenten nicht vollständig ausschließen. Wer einem Agenten Handlungsrechte gibt, muss die Restrisiken kennen und aktiv steuern.

Warum ist Privacy by Design bei KI-Agenten so wichtig?

Wie lassen sich diese Risiken strukturell adressieren? Der Schlüssel liegt in einem Prinzip, das im Datenschutz lange ein Schattendasein führte.

Privacy by Design bedeutet, Datenschutz bereits bei der Konzeption eines Systems mitzudenken — und genau das wird bei KI-Agenten erstmals für viele Unternehmen praktisch relevant. Der Grund: No- und Low-Code-Plattformen machen Unternehmen selbst zu KI-Entwicklern.

Warum Art. 25 DSGVO bisher bei KI-Chatbots häufig ins Leere lief

Art. 25 Abs. 1 DSGVO verpflichtet den Verantwortlichen, schon bei der Konzeption der Verarbeitung die Datenschutz-Grundsätze zu beachten. In der Praxis lief diese Vorschrift bisher bei KI-Chatbots häufig leer, denn:

• Der typische Verantwortliche entwickelt seine KI-Software nicht selbst, sondern kauft oder lizenziert sie.
• Art. 25 richtet sich an den Verantwortlichen, nicht an den Hersteller der Software.
• Für Hersteller gelten andere Regelungen, etwa die Anbieterpflichten nach Art. 16 der KI-Verordnung.

Der Verantwortliche hatte nur wenig Einfluss auf das Produktdesign bei KI-Chatbots — und damit dort häufig keinen Ansatzpunkt für Privacy by Design.

No-Code-Plattformen ändern die Ausgangslage

Mit Plattformen wie Microsoft Copilot Studio, Google Gems oder Anthropic Teams ändert sich das grundlegend. Unternehmen können ohne Programmierkenntnisse eigene KI-Agenten bauen und produktiv einsetzen. In diesem Moment werden sie selbst zum Gestalter der Verarbeitungsmittel — und Art. 25 DSGVO greift unmittelbar. Damit wird KI-Agenten-Compliance zur Pflichtaufgabe.

Shift left statt Last-Minute-Prüfung

Das dahinterliegende Prinzip lässt sich als „Shift left" zusammenfassen: Auf einem gedachten Zeitstrahl sollen Datenschutz und Informationssicherheit möglichst früh einbezogen werden. Wer den Datenschutzbeauftragten erst einbindet, wenn der Agent schon fertig ist, riskiert genau die Szenarien, die der vorherige Abschnitt beschreibt.

No-Code-Plattformen demokratisieren die KI-Entwicklung — und übertragen damit auch die Verantwortung für Privacy by Design auf die Unternehmen, die diese Agenten bauen und einsetzen.

Welche konkreten Maßnahmen gehören in den Entwicklungsprozess?

Wer KI-Agenten rechtskonform einsetzen will, braucht einen strukturierten Prozess, der Datenschutz, Informationssicherheit und KI-Governance von Anfang an integriert. Das Vorbild dafür liefert der Secure Software Development Lifecycle (SSDLC) aus der Informationssicherheit.

Der klassische SSDLC umfasst Phasen von der Planung über Konzeption, Entwicklung und Test bis hin zu Betrieb, Monitoring und Außerbetriebnahme. In jeder Phase sitzen Datenschutz und Informationssicherheit mit am Tisch, identifizieren Risiken und konzipieren Schutzmaßnahmen. Für Low- und No-Code-Agenten ist dieser vollständige Zyklus je nach Use Case allerdings zu aufwändig. Eine praxisnahe Anpassung reduziert ihn auf die wesentlichen Phasen: Analyse und Konzeption, Test und Verifikation, Freigabe und Inbetriebnahme, Monitoring und Außerbetriebnahme.

Entscheidend ist dabei nicht die Anzahl der Phasen, sondern dass bestimmte Kernaktivitäten stattfinden:

• Risk-Appetite durch das Management bestimmen lassen. Wer weiß, dass KI-Agenten unvorhersehbar handeln können und trotzdem weitreichende Aktionsrechte erhalten, muss diese Risikoentscheidung bewusst treffen — nicht stillschweigend hinnehmen.
• Datenschutz, Informationssicherheit und KI-Governance frühzeitig einbeziehen. Nicht als nachgelagerte Prüfinstanz, sondern als Mitgestalter des Use Cases.
• Angemessene Use Cases erarbeiten. Vielleicht reicht ein kleinerer Funktionsumfang mit weniger Rechten, um den Nutzen zu erzielen und gleichzeitig das Risiko zu begrenzen.
• Datenschutz-Folgenabschätzung und AI Impact Assessments durchführen. Gerade bei Agenten mit Zugriff auf personenbezogene Daten oder weitreichenden Aktionsrechten.
• Technische und organisatorische Maßnahmen implementieren — insbesondere den Schutz vor unkontrollierten Aktionen durch menschliche Aufsicht. Das kann bedeuten, dass der Agent vor jeder kritischen Aktion eine menschliche Freigabe einholt, statt eigenständig zu handeln.

Der eingangs beschriebene Datenbankvorfall hätte mit einer einzigen Maßnahme verhindert werden können: einer Bestätigungsschleife vor destruktiven Aktionen. Genau solche Maßnahmen identifiziert ein strukturierter Entwicklungsprozess — wenn er früh genug beginnt.

Auch bei einfachen Agenten gehört eine strukturierte Prüfung vor die Freigabe. Die Intensität richtet sich nach dem Risiko des jeweiligen Use Cases.

Praxisbeispiel Microsoft Copilot Studio — worauf kommt es an?

Microsoft Copilot Studio ermöglicht es, KI-Agenten ohne Programmierkenntnisse zu erstellen — die datenschutzkonforme Konfiguration erfordert aber gezielte Einstellungen. Gerade weil der Einstieg so niedrigschwellig ist, verdient die Compliance-Konfiguration besondere Aufmerksamkeit.

Was Copilot Studio kann

Die Plattform ermöglicht es, Chat- oder Telefonbots ebenso zu erstellen wie Automatisierungsprozesse. Per API lässt sich internes oder externes Wissen anbinden (RAG/Grounding). Die Agenten integrieren sich nahtlos in Microsoft 365 — etwa als Teams-App — und können auch auf Websites veröffentlicht werden. Steuerung und Zugriffsbeschränkung erfolgen über das Admin Center.

Vertragliche Grundlagen und ihre Grenzen

Grundsätzlich unterliegt auch Copilot Studio dem Auftragsverarbeitungsvertrag von Microsoft (Data Processing Addendum) und der EU Data Boundary — die Datenverarbeitung findet also innerhalb der EU bzw. des EWR statt. Diese beiden Garantien gelten jedoch nicht in allen Fällen.

Funktion/Konfiguration	DPA gültig	EU Data Boundary
Standard-Nutzung (Azure OpenAI)	Ja	Ja
Websuche / Grounding with Bing	Nein (aber separate Garantien in Nutzungsbedingungen)	Nein
Externe Inhalte und Quellen	Nein	Nein
Bestimmte KI-Modelle (z. B. Anthropic)	Ja	Nein
Bestimmte KI-Modelle (z. B. xAI)	Nein	Nein

Hinweis: Diese Zuordnungen basieren auf dem Stand April 2026. Microsofts Vertragsbedingungen ändern sich regelmäßig — vor Umsetzung empfiehlt sich eine Prüfung gegen die aktuelle Microsoft-Dokumentation.

Wer externe Quellen anbindet, die Websuche aktiviert oder alternative KI-Modelle freischaltet, muss also im Einzelfall prüfen, welche vertraglichen und datenschutzrechtlichen Regelungen noch greifen.

Zusammenspiel mit Microsoft 365

Copilot Studio nutzt standardmäßig Azure OpenAI als KI-Modell. Die Datenanbindung — etwa auf Dokumente, E-Mails oder Teams-Beiträge — erfolgt per Microsoft Graph. Chatverläufe werden in Exchange-Postfächern gespeichert.

Grundsätzlich orientieren sich Copilot-Agenten an den bestehenden Zugriffsbeschränkungen: Der Nutzer kann nur auf Daten zugreifen, für die eine Leseberechtigung vorliegt. Aber: Zusätzlich angebundene interne oder externe Quellen erweitern diesen Zugriff — und unterliegen nicht automatisch denselben Beschränkungen. Hier braucht es klare Regeln, welche Inhalte in Copilot Studio als Quelle eingebunden werden dürfen.

Konkrete Konfigurationsempfehlungen

Für einen datenschutzkonformen Betrieb von Copilot und Copilot Studio sind Einstellungen in fünf Handlungsfeldern entscheidend:

• Identitäts- und Zugriffskontrolle. Wer auf Agenten zugreift und wie die Authentifizierung erfolgt, hat direkte Auswirkungen auf die geltenden Vertragsbedingungen und den Umfang der Datenschutzgarantien. Auch der Zugriff auf vertrauliche Unternehmensinhalte muss gezielt gesteuert werden.
• Datenquellen und Wissensanbindung. Welche internen und externen Quellen ein Agent nutzen darf, sollte vorab definiert und freigegeben werden. Nicht geprüfte Quellen erhöhen das Haftungsrisiko und die Gefahr fehlerhafter Ausgaben.
• Veröffentlichung und Reichweite. Die Kanäle, über die ein Agent erreichbar ist, bestimmen das Risikoprofil. Interne Kanäle sind in der Regel risikoärmer als eine externe Veröffentlichung — letztere erfordert eine gesonderte Prüfung.
• Monitoring, Tracking und Nutzungsauswertung. Standardmäßig aktivierte Funktionen zur Personalisierung und Nutzungsauswertung können aus Beschäftigtendatenschutzsicht problematisch sein. Hier empfiehlt sich ein restriktiver Ausgangspunkt.
• KI-Modellauswahl und Speicherdauer. Nicht alle in Copilot Studio verfügbaren KI-Modelle unterliegen denselben vertraglichen Garantien. Auch die Aufbewahrungsdauer von Chatverläufen sollte bewusst konfiguriert werden.

Die konkrete Umsetzung dieser Maßnahmen hängt von der jeweiligen Unternehmensumgebung, den eingesetzten Use Cases und den bestehenden Governance-Strukturen ab.

Wer Copilot Studio datenschutzkonform betreiben will, braucht klare Governance-Regeln — damit nicht unkontrolliert Agenten entstehen, die niemand geprüft hat.

Fazit — KI-Agenten rechtskonform einsetzen heißt, Compliance von Anfang an mitzudenken

KI-Agenten sind kein Zukunftsthema mehr — sie werden bereits produktiv eingesetzt, und die Risiken sind real und dokumentiert. Gleichzeitig bieten No- und Low-Code-Plattformen wie Microsoft Copilot Studio enorme Chancen, wenn Unternehmen den Einsatz strukturiert angehen.

Der entscheidende Hebel heißt Privacy by Design: Datenschutz, Informationssicherheit und KI-Governance gehören von der ersten Idee an mit an den Tisch, nicht als nachgelagerte Freigabeinstanz. Ein angepasster Entwicklungsprozess — orientiert am SSDLC, aber skaliert nach Use-Case-Risiko — schafft die Grundlage dafür. Und konkrete technische Maßnahmen wie menschliche Aufsicht vor kritischen Aktionen, restriktive Zugriffsrechte und saubere Vertragsprüfungen reduzieren die Risiken auf ein vertretbares Maß.

ISiCO unterstützt Unternehmen dabei auf drei Ebenen: bei der datenschutzrechtlichen Prüfung von KI-Anbietern und -Verträgen, bei der Compliance-Bewertung konkreter Use Cases inklusive DSFA und Risikoanalyse sowie bei der Erstellung von KI-Agenten-Richtlinien, die den gesamten Prozess von der Idee bis zur Freigabe strukturieren.

Wer diesen Weg geht, muss KI-Agenten nicht fürchten — sondern kann ihre Vorteile nutzen, ohne die Kontrolle abzugeben.

Häufig gestellte Fragen

Wer haftet, wenn ein KI-Agent eigenständig Schaden verursacht?

Grundsätzlich haftet das Unternehmen, das den KI-Agenten einsetzt, für dessen Handlungen. Das kanadische Civil Resolution Tribunal hat im Fall Air Canada entschieden, dass ein Chatbot Teil der Website ist und kein eigenständiger Rechtsträger. Das LG Hamburg bestätigte Ende 2025, dass auch KI-generierte Falschaussagen dem Betreiber zugerechnet werden. Ob zusätzlich der Plattformanbieter haftbar ist, hängt vom Einzelfall und den vertraglichen Regelungen ab.

Wann brauche ich eine Datenschutz-Folgenabschätzung für einen KI-Agenten?

Eine DSFA ist immer dann erforderlich, wenn die Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen birgt. Bei KI-Agenten mit Zugriff auf personenbezogene Daten, weitreichenden Aktionsrechten oder externer Veröffentlichung wird diese Schwelle regelmäßig erreicht. Im Zweifel empfiehlt sich zumindest eine Schwellwertanalyse.

Gilt der Auftragsverarbeitungsvertrag von Microsoft auch für Copilot Studio?

Ja, grundsätzlich gilt Microsofts Data Processing Addendum auch für Copilot Studio. Es gibt aber relevante Ausnahmen: Bei Nutzung der Websuche, externer Quellen oder bestimmter KI-Modelle (z. B. xAI) greift das DPA nicht. Unternehmen müssen daher für jeden Agent individuell prüfen, welche vertraglichen Garantien tatsächlich gelten.

Wie schütze ich mich vor Halluzinationen bei KI-Agenten?

Der wirksamste Schutz ist menschliche Aufsicht vor kritischen Aktionen. Das bedeutet konkret: Der Agent sollte vor jeder Aktion mit potenziell hohem Schadensrisiko — etwa dem Löschen von Daten, dem Versenden von Nachrichten oder dem Ändern von Konfigurationen — eine menschliche Freigabe einholen. Ergänzend helfen restriktive Zugriffsrechte und ein klar begrenzter Aktionsradius.

Was ist eine KI-Agenten-Richtlinie und brauche ich eine?

Eine KI-Agenten-Richtlinie definiert verbindliche Anforderungen, Prozesse und Verantwortlichkeiten für die Entwicklung und den Betrieb von KI-Agenten im Unternehmen. Sie schafft Struktur, wo sonst Chaos droht: von der Idee über die Compliance-Prüfung bis zur Freigabe. Gerade wenn mehrere Abteilungen eigenständig Agenten bauen können — wie es Plattformen wie Copilot Studio ermöglichen —, verhindert eine solche Richtlinie, dass Agenten ohne Prüfung produktiv gehen.