Ob bei der Kreditvergabe, der Bewerberauswahl, der Festlegung von Versicherungsprämien oder dem Bonitätsscoring – immer häufiger treffen nicht mehr Menschen, sondern Systeme Entscheidungen mit unmittelbaren Auswirkungen auf das Leben der Betroffenen. Was technisch als Effizienzgewinn erscheint, ist rechtlich hochsensibel, denn sobald eine Entscheidung ausschließlich automatisiert erfolgt und rechtliche oder ähnlich erhebliche Folgen hat, greift ein scharfes Instrument der DSGVO: Art. 22.

Viele Unternehmen unterschätzen die Tragweite dieser Vorschrift. Automatisierte Prozesse gelten intern oft als „IT-Thema“ oder als Frage der KI-Strategie. Tatsächlich handelt es sich jedoch um eine zentrale datenschutzrechtliche Weichenstellung mit erheblichem Bußgeld- und Reputationsrisiko. Spätestens mit dem EU AI Act, dessen zentrale Vorgaben ab 2026 voll zur Anwendung kommen, verschärft sich der regulatorische Rahmen zusätzlich.

Automatisierte Entscheidungen sind damit kein Randthema mehr. Sie stehen im Zentrum einer neuen Phase digitaler Compliance, in der Effizienz, Innovation und Grundrechtsschutz neu austariert werden müssen.

Art. 22 DSGVO – Das Verbot mit Erlaubnisvorbehalt

Art. 22 DSGVO enthält eine der weitreichendsten Schutzvorschriften des europäischen Datenschutzrechts. Der Grundsatz ist klar formuliert:

Was ist eine automatisierte Entscheidung?

Zentral sind drei Voraussetzungen:

1. Ausschließliche Automatisierung – Es findet kein relevantes menschliches Eingreifen statt.
2. Entscheidung – Das System trifft eine Bewertung oder Auswahl.
3. Erhebliche Auswirkungen – Etwa Vertragsablehnung, Kündigung, Bonitätsherabstufung oder ähnliche spürbare Konsequenzen.

Nicht jede algorithmische Unterstützung fällt darunter. Entscheidend ist, ob ein Mensch die Entscheidung tatsächlich prüft und inhaltlich beeinflussen kann – oder ob er lediglich formell „abnickt“.

Wann sind solche Entscheidungen zulässig?

Art. 22 DSGVO enthält keinen absoluten Verbotsmechanismus, sondern ein Verbot mit Erlaubnisvorbehalt. Zulässig sind automatisierte Entscheidungen nur, wenn sie:

• für den Abschluss oder die Erfüllung eines Vertrags erforderlich sind,
• auf einer ausdrücklichen Einwilligung beruhen oder
• auf einer gesetzlichen Grundlage beruhen.

Selbst dann gelten zusätzliche Schutzpflichten. Unternehmen müssen insbesondere gewährleisten:

• das Recht auf menschliches Eingreifen,
• die Möglichkeit, den eigenen Standpunkt darzulegen,
• die Möglichkeit, die Entscheidung anzufechten,
• transparente Informationen über die Logik der Verarbeitung.

Art. 22 DSGVO ist damit weit mehr als eine formale Vorschrift. Er zwingt Unternehmen, ihre Entscheidungsarchitekturen rechtlich zu reflektieren.

Warum KI-Systeme das Risiko verschärfen

Durch den Einsatz von KI-Systemen verschärfen sich die Risiken automatisierter Entscheidungen erheblich. Klassische regelbasierte Systeme waren in der Regel gut nachvollziehbar strukturiert. Moderne Machine-Learning-Modelle sind hingegen hochkomplex.

Black Box und Erklärbarkeit

Viele KI-Modelle, insbesondere im Bereich des Deep Learnings, produzieren Ergebnisse, deren interne Entscheidungslogik selbst für die Entwickler schwer nachvollziehbar ist. Für die DSGVO ergibt sich daraus ein Spannungsfeld: Betroffene haben das Recht auf „aussagekräftige Informationen über die involvierte Logik“. Doch wie transparent kann ein System sein, das auf Millionen von Parametern basiert?

Unternehmen stehen somit vor der Herausforderung, technische Komplexität in rechtlich tragfähige Erklärbarkeit zu übersetzen.

Scheinbare menschliche Beteiligung

In der Praxis kommt häufig das Modell „Human in the Loop“ zum Einsatz. Dabei wird formal eine Person in den Entscheidungsprozess eingebunden. Tatsächlich fehlt jedoch oft eine echte inhaltliche Prüfung. Wenn ein Mitarbeiter lediglich eine automatisiert generierte Entscheidung bestätigt, ohne dass es eine realistische Möglichkeit zur Abweichung gibt, bleibt die Entscheidung faktisch automatisiert.

Aufsichtsbehörden werden wahrscheinlich zunehmend prüfen, ob menschliche Eingriffe substantiell oder nur kosmetisch sind.

Skalierung von Fehlern

KI-Systeme wirken skalierend. Eine fehlerhafte Modellannahme oder ein von Vorurteilen geprägter Datensatz kann Tausende oder Millionen Entscheidungen beeinflussen. Während menschliche Fehlentscheidungen punktuell bleiben, können automatisierte Systeme Fehler systematisch reproduzieren.

Gerade in sensiblen Bereichen wie dem Recruiting, der Kreditvergabe oder dem Versicherungswesen können Diskriminierungseffekte erhebliche rechtliche und gesellschaftliche Folgen haben.

Der EU AI Act: Neue Spielregeln für automatisierte Entscheidungen

Mit dem EU AI Act entsteht erstmals ein eigenständiger Rechtsrahmen für KI-Systeme. Er ersetzt die DSGVO nicht, sondern ergänzt sie – und erhöht insbesondere bei automatisierten Entscheidungen den regulatorischen Druck.

Risikobasierter Ansatz

Der AI Act unterscheidet zwischen:

• verbotenen KI-Praktiken,
• Hochrisiko-KI-Systemen,
• KI-Systemen mit Transparenzpflichten,
• sowie Systemen mit geringem Risiko.

Automatisierte Entscheidungsprozesse im Bereich Beschäftigung, Kreditwürdigkeit, Zugang zu Bildung oder essenziellen Dienstleistungen werden regelmäßig als Hochrisiko-Systeme eingestuft.

Neue Pflichten für Hochrisiko-KI

Für solche Systeme gelten umfassende Anforderungen:

• Risikomanagementsysteme,
• Daten-Governance-Vorgaben,
• Technische Dokumentation,
• Protokollierung,
• Transparenzanforderungen,
• Menschliche Aufsicht („Human Oversight“),
• Qualitäts- und Überwachungspflichten.

Unternehmen müssen künftig also nicht nur datenschutzrechtlich prüfen, ob Art. 22 DSGVO greift, sondern zusätzlich AI-Act-konforme Governance-Strukturen implementieren.

Zusammenspiel mit der DSGVO

Die Regulierung wirkt kumulativ. Ein KI-System kann zugleich:

• eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO erfordern,
• unter Art. 22 DSGVO fallen,
• und als Hochrisiko-KI dem AI Act unterliegen.

Die Herausforderung besteht darin, diese Anforderungen integriert umzusetzen. Wer isoliert denkt – etwa Datenschutz ohne KI-Compliance oder umgekehrt – läuft Gefahr, regulatorische Lücken zu erzeugen.

Typische Compliance-Fehler in der Praxis

In der Beratungspraxis zeigen sich wiederkehrende Muster, die erhebliche Risiken bergen.

Fehlende Art.-22-Prüfung

Viele Organisationen prüfen nicht systematisch, ob eine automatisierte Entscheidung im Sinne der DSGVO vorliegt. Prozesse entwickeln sich technologisch schneller als ihre rechtliche Bewertung.

Unzureichende Information

Datenschutzhinweise bleiben häufig allgemein („Wir nutzen automatisierte Verfahren“), ohne konkrete Erläuterung der Entscheidungslogik oder der Auswirkungen für Betroffene.

Formale statt substanzielle Kontrolle

Der Mensch im Prozess verfügt oft weder über ausreichende Fachkenntnis noch über Entscheidungsspielraum. Eine echte Überprüfung findet nicht statt.

Keine oder mangelhafte Datenschutz-Folgenabschätzung

Gerade bei Scoring- oder KI-Systemen mit erheblichen Auswirkungen ist eine Datenschutz-Folgenabschätzung regelmäßig erforderlich. Sie wird jedoch nicht selten verspätet oder unvollständig durchgeführt.

Fehlende Dokumentation von Trainingsdaten

Bias-Risiken entstehen häufig aus intransparenten oder unausgewogenen Trainingsdaten. Ohne strukturierte Dokumentation fehlt die Grundlage für eine rechtssichere Bewertung.

Diese Fehler sind selten Ausdruck bösen Willens – vielmehr zeigen sie, dass technologische Innovation und rechtliche Governance nicht synchron wachsen.

Fazit

Automatisierte Entscheidungen sind ein Beispiel für die neue Realität der digitalen Regulierung. Was als Effizienzmaßnahme beginnt, kann sich schnell zu einem komplexen Rechtsregime entwickeln. Art. 22 DSGVO setzt klare Grenzen und der EU AI Act verschärft die Anforderungen, insbesondere für Hochrisikosysteme.

Automatisierte Entscheidungen werden bestehen bleiben, doch dafür sind klare Governance-Strukturen, interdisziplinäre Zusammenarbeit und das Bewusstsein, dass Technologie nicht außerhalb des Rechts steht, erforderlich.

Maschinen dürfen entscheiden. Aber in Grenzen.

—

Pyngu Digital