Von Chatbots bis Kreditscoring: So kontrolliert die BaFin künftig KI-Systeme

t3n.de 7 S

Other

Die Finanzaufsicht BaFin bekommt eine zusätzliche Aufgabe: Sie wird in Zukunft auch den Einsatz von KI-Systemen bei Banken und Versicherern überwachen.

Konkret geht es dabei etwa um die Überwachung von KI-Tools, die unmittelbar mit Menschen in Kontakt kommen. Außerdem soll die BaFin über sogenannte Hochrisiko-KI-Systeme wachen und im Auge behalten, ob die Regelungen der KI-Verordnung zu verbotenen KI-Praktiken eingehalten werden.

Diese Regeln müssen Banken und Versicherer einhalten

Grundlage für die neuen BaFin-Kompetenzen ist das Gesetz zur Durchführung der KI-Verordnung. Beaufsichtigt werden neben Kreditinstituten und Versicherern auch andere Finanzunternehmen. Dabei treten die neuen EU-Spielregeln für den Umgang mit KI-Systemen stufenweise in Kraft.

Ab dem 2. August gelten etwa generell neue Transparenzpflichten für den Einsatz von KI-Systemen. Ziel ist, dass Menschen erkennen können, wann sie es mit einer Maschine zu tun haben. Ein Chatbot in der Kundenkommunikation muss sich dann als KI zu erkennen geben, im Marketing müssen KI-generierte Bilder oder Texte gekennzeichnet werden.

Andere KI-Praktiken sind bereits seit dem 2. Februar 2025 verboten, dazu gehört etwa das sogenannte Social Scoring. Das sind Systeme, die Menschen anhand ihres Sozialverhaltens oder ihrer persönlichen Eigenschaften bewerten und benachteiligen können, etwa wenn eine Bank einen Kredit ablehnt, weil das Modell das Einkaufsverhalten, die Wohngegend, das Zahlungsverhalten oder die Social-Media-Aktivität auswertet.

Anforderungen und Schulungen

Ab dem 2. Dezember 2027 greifen auch die Anforderungen an Hochrisiko-KI-Systeme. Damit sind erlaubte Prüfungssysteme gemeint, die Banken etwa bei der Bewilligung eines Kredits oder Versicherer bei der Risikobewertung für Lebens- und Krankenversicherungen einsetzen. Das Gesetz fordert von solchen Scoring-Systemen, dass sie erklärbar und nachvollziehbar zu ihrem Urteil kommen, Entscheidungen müssen von einem Menschen überprüft und korrigiert werden können.

Banken und Versicherer müssen dazu entsprechende Anforderungen im Risikomanagement, bei der Datenqualität und bei der Protokollierung erfüllen. Außerdem erwartet die BaFin, dass Mitarbeiter entsprechend zum Einsatz von KI-Systemen geschult werden. Bei Verstößen gegen die KI-Verordnung drohen im schlimmsten Fall Bußgelder von bis zu 35 Millionen Euro oder sieben Prozent des Jahresumsatzes.

Allerdings betont die BaFin auch, dass es weiterhin Raum für Innovation geben soll. Banken und Fintechs sollen neue Anwendungen in Reallaboren und Tests unter Realbedingungen ausprobieren können.