From Brussels with love: Wie schlimm ist Art. 5 KI-VO?

Vieles ist verboten und vieles bleibt erlaubt

Die EU KI-Verordnung ist besser als ihr Ruf. Sie soll unter anderem sicherstellen, dass KI-Systeme nicht zu erheblichen Schäden für Einzelpersonen oder die Gesellschaft führen. Artikel 5 der KI-VO regelt daher Praktiken, die ein unannehmbares Risiko bergen und daher seit Februar 2025 verboten sind. Vieles bleibt aber erlaubt, sogar mehr als man auf den ersten Blick glaubt. Da sich für Unternehmen, Behörden und weitere Anwender:innen weitreichende Konsequenzen ergeben, lohnt sich ein Blick aufs Detail. Im Folgenden werden die wesentlichen Inhalte von Art. 5 EU KI-VO zusammengefasst und die die praktischen Auswirkungen, Verbote und Verbotsausnahmen erläutert.

Verbotene und nicht verbotene Praktiken und deren Bedeutung

1. Verhaltensbeeinflussung und Manipulation

Unterschwellige Beeinflussung

KI-Systeme, die unterschwellige Reize einsetzen, dürfen nicht so eingesetzt werden, dass sie unmerklich das Verhalten von Nutzer:innen in eine Richtung lenken, die nicht mit deren eigentlichen Präferenzen übereinstimmt. Dabei geht es insbesondere um manipulative Techniken wie Dark Patterns oder Nudging, die darauf abzielen, dass Entscheidungen getroffen werden, die die betroffenen Personen bei bewusster Wahrnehmung der Beeinflussung nicht vorgenommen hätten. Ein solcher Eingriff ist allerdings nur dann verboten, wenn er zu einem tatsächlichen physischen, psychischen oder wirtschaftlichen Schaden führt.

Ist nachweisbar, dass durch den Einsatz solcher Techniken z.B. im Rahmen eines Vertragsabschlusses kein Schaden entsteht und die ansonsten geltenden rechtlichen Grenzen (z.B. unangemessene Benachteiligung) gewahrt bleiben, bleibt deren Anwendung zulässig. Das gilt z.B. für Dark Patterns bei Angeboten, die zu einem angemessenen Verhältnis von Leistung und Gegenleistungen führen.

Ausnutzung von Vulnerabilitäten

Art. 5 KI-VO verbietet auch den Einsatz von KI-Systemen, die gezielt die Schwächen oder die Schutzbedürftigkeit bestimmter vulnerabler Gruppen – ältere Menschen, Menschen mit Behinderung oder Personen in prekären sozialen Situationen – ausnutzen. Auch hier gilt: das Verbot gilt, wenn die Ausnutzung zu einem tatsächlichen Schaden führt.

Wie bei der unterschwelligen Beeinflussung muss die benachteiligende Wirkung nicht beabsichtigt sein. Es genügt, wenn deren Eintritt als wahrscheinlich erkannt werden kann.

2. Social Scoring und prädiktive Polizeiarbeit            

Social Scoring                                                             

Das Bewerten von Personen (-gruppen) aufgrund ihres sozialen Verhaltens oder persönlicher Eigenschaften ist zulässig, wenn diese Bewertung in einem direkten Zusammenhang mit den erhobenen Daten steht und keine unverhältnismäßige Benachteiligung entsteht. Wird beispielsweise das Social-Media-Verhalten herangezogen, um Kreditwürdigkeit oder Versicherungsrisiken einzuschätzen, ohne dass diese Daten ursprünglich dafür erhoben wurden, ist dies künftig unzulässig. Eine solche Bewertung bleibt aber möglich, wenn sie auf Daten beruht, die ursprünglich für die Beurteilung der Zahlungsfähigkeit erhoben wurden, der Bewertungsprozess transparent und nachvollziehbar erfolgt und der Kreditkunde nicht unverhältnismäßig benachteiligt wird. Es ist also nicht grundsätzlich das Konzept des Social Scoring verboten.

Predictive Policing

Prädiktive Polizeiarbeit durch KI-Systeme, also der Versuch, zukünftige Straftaten anhand von sozialen oder demografischen Merkmalen vorherzusagen, ist einerseits grundsätzlich verboten. Andererseits ist nur ein rein automatisiertes Profiling ohne menschliche Überprüfung untersagt. Wenn eine ergänzende menschliche Einschätzung, beispielsweise in Form einer Zweitmeinung erfolgt oder das KI-Systeme quasi beratend eingesetzt wird, kann die Anwendung solcher Systeme zulässig sein. Ziel ist es, strukturelle Diskriminierungen durch KI-Systeme ohne menschliche Überwachung zu verhindern und die individuelle Entscheidungsautonomie durch Menschen zu wahren.

3. Biometrische Verfahren

Ungezieltes Auslesen von Gesichtsbildern

Das ungezielte und systematische Sammeln von Gesichtsbildern aus dem Internet oder von öffentlichen Überwachungskameras ist ebenfalls grundsätzlich verboten. Diese Maßnahme soll verhindern, dass eine permanente Überwachung entsteht, die ein Gefühl des ständigen „Beobachtetseins“ vermittelt.

Entscheidend ist hier allerdings der Aspekt des „ungezielten“ Auslesens. Wird ein Bildmaterial gezielt für einen bestimmten, rechtlich abgesicherten Zweck erhoben, z.B. im Rahmen einer Fernidentifikation, so gelten stattdessen u.a. die Vorgaben zur biometrischen Fernidentifikation (s.u.) sowie natürlich die (Datenschutz-) Gesetze. Ein gezieltes Auslesen von Gesichtsbildern ist also unter den entsprechenden rechtlichen Rahmenbedingungen zulässig.

Emotionserkennung

Emotionserkennungssysteme können zu ungewollten und unsicheren Bewertungen von Emotionen und damit zu Diskriminierung führen. Sie dürfen daher am Arbeitsplatz oder in Bildungseinrichtungen nur unter bestimmten Voraussetzungen eingesetzt werden. Hier spielt eine wesentliche Rolle, dass die Interpretation von Emotionen insbesondere in unterschiedlichen kulturellen Kontexten wissenschaftlich umstritten ist. Außerdem soll auch hier das Gefühl der permanenten Überwachung verhindert werden.

Solche Systeme sind nach Art. 5 KI-VO am Arbeitsplatz und in Bildungseinrichtungen zulässig, wenn sie medizinischen oder Sicherheitsgründen dienen. Das kann z.B. ein System sein, das das Einschlafen beim Führen eines Zuges verhindern oder den Gesundheitszustand einer Lehrperson überwachen soll. Die Emotionserkennung von Call-Center-Mitarbeitenden zur Messung der Anrufqualität wäre dagegen unzulässig, weil weder ein medizinischer noch ein sicherheitsrelevanter Zweck verfolgt wird. Außerhalb dieser sensiblen Bereiche Arbeitsplatz und Bildung sind Systeme zur Emotionserkennung weiterhin zulässig, sofern sie den üblichen (datenschutz-)rechtlichen Vorgaben entsprechen. Wie fast immer ist auch hier eine differenzierte Betrachtung des Einsatzortes und des Anwendungszwecks entscheidend.

Biometrische Echtzeit-Fernidentifikation

Die biometrische Fernidentifikation mittels Echtzeitsystemen – etwa durch den Abgleich von Gesichtsbildern in öffentlichen Räumen – ist grundsätzlich verboten, insbesondere um erhebliche Grundrechtseingriffe zu vermeiden. Eine Ausnahme besteht im Rahmen der Strafverfolgung bei detailliert definierten Gruppen von Straftaten, wenn strenge Voraussetzungen, wie eine umfassende Grundrechtefolgenabschätzung und klare Prozessvorgaben, erfüllt sind.

Jedoch lohnt sich auch hier eine genauere Betrachtung der Begrifflichkeiten:

• „Aus der Ferne“: Systeme, die beispielsweise an Flughäfen eingesetzt werden, wo die Identifikation für Sicherheitszwecke offensichtlich und transparent („aus der Nähe“) erfolgt, sind nach wie vor zulässig, sofern die übrigen (datenschutz-) rechtlichen Voraussetzungen erfüllt sind.

• „Echtzeit“: Ein KI-System, das nicht unmittelbar in Echtzeit identifiziert, sondern beispielsweise zeitlich nachgelagert agiert, z.B. durch einen späteren Abgleich mit einer Datenbank, unterliegt nicht den strengen Einschränkungen der Echtzeit-Fernidentifikation. Bei welchem zeitlichen Abstand Echtzeit zur nachgelagerten Identifikation wird, muss die gerichtliche Praxis allerdings noch zeigen.

Fazit

Art. 5 EU KI-VO schafft einen Rahmen, der manipulative und diskriminierende KI-Praktiken grundsätzlich einschränkt, aber auch differenzierte Ausnahmen vorsieht. Unterschwellige Beeinflussung und die Ausnutzung von Vulnerabilitäten sind verboten, wenn sie zu einem nachweislichen Schaden führen. Entsprechend können Dark Patterns oder ähnliche Techniken zulässig sein, sofern sie zu einem fairen Vertragsabschluss führen. Auch Social Scoring – etwa in der Kreditwürdigkeitsprüfung – sowie gezielte biometrische Datenerhebungen sind unter den richtigen Voraussetzungen weiterhin erlaubt. Der differenzierte Umgang mit den Begriffen „aus der Ferne“ und „Echtzeit“ ermöglicht die biometrische Identifikation nach wie vor z.B. an Flughäfen oder bei zeitlich separaten Datenabgleichen, eben nicht „in Echtzeit“ und „aus der Ferne“.

Quellen

Heinze, C., & Engel, T.-J. (15. 01 2025). Das Verbot von ausbeuterischen und manipulativen KI-Praktiken. Künstliche INtelligenz und Recht, S. 19-29.

Hilgendorf, E., & Roth-Isigkeit, D. (2023). Die neue Verordnung der EU zur Künstlichen Intelligenz. München: Verlag C.H. Beck oHG.

Meller-Hannich, C., & Hundertmark, L. (2022). Rechtsschutz gegen diskriminierende "KI". In N. n. Bundesministerium für Umwelt, & F. Rostalski, Künstliche Intelligenz - Wie gelingt eine vertrauenswürdige Verwendung in Europa? (S. 189-204). Tübingen: Mohr Siebeck.

Reimann, F. (2022). "Social Scoring" nach dem Kommissionsvorschlag für ein KI-Verordnung. In C.-Y. Chan, J. Ennuschat, C.-L. Lee, Y.-M. Lin, & S. Storr, Künstliche Intelligenzund Öffentliches Wirtschaftsrecht (S. 67-86). Baden-Baden: Nomos Verlagsgesellschaft.

Schwartmann, R., Keber, T. O., & Zenner, K. (2024). KI-VO - Leitfaden für die Praxis. Heidelberg: C.F. Müller GmbH.

Voigt, P., & Hullen, N. (2024). Handbuch KI-Verordnung - FAQ zum EU AI-Act. Berlin: Springer Verlag GMbH.

Wendt, J., & Wendt, D. (2024). Das neue Recht der Künstlichen Intelligenz. Baden-Baden: Nomos Verlagsgesellschaft.