202503.02.

Startschuss für die KI-Verordnung: Erste Regelungen treten in Kraft

Am 22. August 2024 haben wir Sie bereits in unserem Blog Artikel Umsetzung der KI-Verordnung: Ein Überblick auf die bevorstehende Umsetzung der europäischen Verordnung EU 2024/1689 (KI-VO) aufmerksam gemacht – nun ist es soweit:

Ab dem 2. Februar 2025 traten schrittweise die ersten Verpflichtungen nach Kapitel I und II der KI-VO in Kraft und werden rechtswirksam. Diese regeln unter anderem das Verbot bestimmter KI-Praktiken sowie die Verpflichtung für Anbieter und Betreiber von KI-Systemen, sicherzustellen, dass ihre Nutzer ein ausreichendes Maß an sogenannter „KI-Kompetenz“ erlangen. Was diese Bestimmungen konkret bedeuten und welche Schritte Unternehmen bis zum 2. Februar 2025 umsetzen sollten, erläutern wir im folgenden Beitrag.

Kapitel I und II der KI-VO bilden die Grundlage für eine einheitliche Regulierung von KI-Systemen in der EU und schaffen zentrale Leitlinien für deren sicheren und verantwortungsvollen Einsatz: Art. 3 Nr. 1 definiert den Begriff des KI-Systems und setzt auf einen risikobasierten Ansatz, bei dem die rechtlichen Pflichten nach der Risikoklasse des jeweiligen Systems gestaffelt sind. Anbieter und Betreiber müssen gemäß Art. 4 sicherstellen, dass alle beteiligten Personen über eine ausreichende „KI-Kompetenz“ verfügen, um die Systeme sachkundig und risikobewusst einzusetzen. Kapitel II ergänzt dies durch das Verbot bestimmter risikobehafteter Praktiken in Art. 5 KI-VO, etwa manipulativer Techniken oder Social Scoring, um Missbrauch zu verhindern und grundlegende Rechte sowie gesellschaftliche Werte zu schützen.

KI-Kompetenz (Art. 4 KI-VO)

Art. 4 KI-VO verpflichtet Anbieter, d.h. Personen, die ein KI-System entwickeln oder unter ihrem Namen in Verkehr bringen, und Betreiber, die ein solches System in der EU einsetzen, Maßnahmen zu ergreifen, um sicherzustellen, dass alle Personen, die mit dem Betrieb oder der Nutzung dieser Systeme befasst sind, über ein ausreichendes Maß an sog. „KI-Kompetenz“ verfügen.

Beide Parteien müssen sicherstellen, dass ihr Personal und andere in ihrem Auftrag handelnde Nutzer über ein „ausreichendes“ Maß an KI-Kompetenz verfügen. Dabei sind die individuellen Vorkenntnisse der betroffenen Personen zu berücksichtigen. Für Hochrisiko-KI-Systeme werden die Anforderungen an die erforderliche KI-Kompetenz in Art. 14 Abs. 4 KI-VO näher definiert. Zur Förderung dieser Kompetenz sind vor allem Aus- und Weiterbildungsmaßnahmen geeignet, deren Inhalte davon abhängen, ob sich die Maßnahmen an Anbieter oder Betreiber richten.

Bei Betreibern liegt der Schwerpunkt auf der Schulung von Mitarbeitern und beauftragten Dritten in der Anwendung des jeweiligen KI-Systems und der Interpretation der generierten Ergebnisse (vgl. Erwägungsgrund 20 KI-VO). Darüber hinaus sollten diese Personen mit den relevanten rechtlichen Rahmenbedingungen vertraut gemacht und über mögliche Verzerrungen wie z.B. Automation Bias (übermäßiges Vertrauen auf maschinelle Ergebnisse) oder Overreliance (unkritisches Vertrauen auf KI-Ausgaben) aufgeklärt werden. Im Rahmen der Weiterbildung sollte auch das Bewusstsein für ethische Fragen im Zusammenhang mit dem Einsatz von KI geschärft werden.

Die Pflicht zur Sicherstellung einer ausreichenden KI-Kompetenz erstreckt sich auch auf die Personen, bei denen das KI-System letztlich angewendet wird, wie z.B. Kunden oder Patienten. Eine klare und verständliche Kommunikation mit diesen Zielgruppen kann dazu beitragen, mögliche Bedenken oder Missverständnisse auszuräumen und das Vertrauen in den Einsatz von KI zu stärken.

Es kann für ein Unternehmen sinnvoll sein, das Thema „KI-Kompetenz“ in einem freiwilligen Verhaltenskodex zu regeln, wie dies in Erwägungsgrund 20 der KI-Verordnung vorgeschlagen wird. Über solche Kodizes hinaus kommen auch organisatorische Maßnahmen wie die Benennung eines KI-Beauftragten, die Einrichtung einer Abteilung für KI-Governance oder die Ernennung eines KI-Governance-Beauftragten in Betracht. Ob solche Maßnahmen erforderlich sind, hängt weitgehend davon ab, welche Art von KI-Systemen im Unternehmen eingesetzt wird, in welchem Umfang dies geschieht und welche potenziellen Risiken damit verbunden sind.

Verbot bestimmter Praktiken im KI-Bereich (Art. 5 KI-VO)

Art. 5 KI-VO verbietet bestimmte Praktiken im Bereich der künstlichen Intelligenz. Ein wesentlicher Teil der Regelungen betrifft dabei ausschließlich die Strafverfolgung und ist für privatwirtschaftliche Unternehmen von geringer Relevanz. Dies gilt insbesondere für Vorschriften zu Predictive Policing (Art. 5 Abs. 1 lit. d), etwa wenn KI-Systeme eingesetzt werden, um basierend auf Verhaltensmustern Straftaten vorherzusagen, sowie zur Nutzung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen für Strafverfolgungszwecke (Art. 5 Abs. 1 lit. h, Abs. 2–7), beispielsweise durch Kameras, die Gesichter in Echtzeit mit Fahndungslisten abgleichen.

Für private Unternehmen sind hingegen die folgenden Verbote von Bedeutung: die Verwendung manipulativer oder ausbeuterischer Techniken (Art. 5 Abs. 1 lit. a und b), wie etwa KI-basierte Apps, die unbewusste Kaufentscheidungen durch subtile Reize wie Farben oder Geräusche hervorrufen, ohne dass Nutzer sich dessen bewusst sind. Ebenfalls untersagt ist Social Scoring (Art. 5 Abs. 1 lit. c), bei dem etwa ein Kreditinstitut die Bonität von Kunden anhand ihres Online-Verhaltens oder ihres sozialen Umfelds bewertet und Entscheidungen darauf aufbaut.

Darüber hinaus verbietet die Verordnung die Erstellung von Gesichtserkennungsdatenbanken auf Basis von Internetbildern oder Überwachungsaufnahmen (Art. 5 Abs. 1 lit. e), wie etwa durch das Sammeln und Speichern von Bildern aus sozialen Netzwerken ohne Einwilligung der betroffenen Personen. Verboten ist auch die Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen (Art. 5 Abs. 1 lit. f), beispielsweise durch KI-Systeme, die die Stimmung von Mitarbeitern während Meetings überwachen, um ihre Leistung zu bewerten. Schließlich untersagt die Verordnung die biometrische Kategorisierung natürlicher Personen, um Merkmale wie ethnische Herkunft oder politische Einstellungen abzuleiten (Art. 5 Abs. 1 lit. g), wie etwa durch ein KI-System, das aus Gesichtsmerkmalen auf politische Überzeugungen schließt.

Verboten sind in diesem Zusammenhang sowohl das Inverkehrbringen (Art. 3 Nr. 9 KI-VO) als auch die Inbetriebnahme (Art. 3 Nr. 11 KI-VO) und die Nutzung eines solchen KI-Systems. Als „KI-System“ definiert Art. 3 Nr. 1 der KI-VO ein maschinengestütztes System, das für den (teil-)autonomen Betrieb ausgelegt ist und in der Lage ist, durch Ableitung von Ausgaben wie Vorhersagen, Inhalte oder Entscheidungen physische oder virtuelle Umgebungen zu beeinflussen. Besonders hervorgehoben wird dabei in Erwägungsgrund 12 der KI-VO die Bedeutung des Merkmals der „Ableitung“ (Inferenz), das die zugrundeliegenden Methoden wie maschinelles Lernen (ML) sowie logik- und wissensbasierte Ansätze umfasst. Klassische Softwaresysteme, die ausschließlich auf festen, vom Menschen definierten Regeln basieren (sog. regelbasierte Systeme), fallen hingegen nicht unter die Regulierung der KI-VO, auch wenn sie technisch komplex sind und häufig als KI-Anwendungen bezeichnet werden.

Fazit

Die bevorstehenden Regelungen der KI-VO stellen viele Unternehmen vor neue Herausforderungen – sei es die Sicherstellung ausreichender KI-Kompetenz oder die Einhaltung der Verbote bestimmter KI-Praktiken. Diese Anforderungen sind nicht nur komplex, sondern erfordern auch eine fundierte rechtliche und praktische Umsetzung.

Unsere Expertise unterstützt Sie dabei, Ihre Prozesse und KI-Systeme rechtssicher zu gestalten. Von der Entwicklung maßgeschneiderter Schulungskonzepte bis zur Prüfung Ihrer KI-Anwendungen auf Konformität mit der KI-VO bieten wir Ihnen umfassende Lösungen.

Lassen Sie uns gemeinsam sicherstellen, dass Ihr Unternehmen sowohl rechtlich abgesichert als auch technologisch wettbewerbsfähig bleibt. Kontaktieren Sie uns – wir stehen Ihnen als verlässlicher Partner bei der Umsetzung der neuen Vorgaben zur Seite.

RA Sebastian Schwiering
Wissenschaftlicher Mitarbeiter Jamal Lale