Hochrisiko KI-Systeme erkennen
Die Risikoklasse eines KI-Systems entscheidet über den Compliance-Aufwand. Minimales Risiko bedeutet kaum Pflichten, Hochrisiko bedeutet umfassende Anforderungen. Doch wann gilt ein System überhaupt als Hochrisiko? Die Antwort liegt nicht in der Technologie selbst, sondern im konkreten Verwendungszweck.
Zwei Wege zum Hochrisiko
Der EU AI Act kennt zwei Kategorien von Hochrisiko-KI-Systemen. Die erste betrifft KI als Sicherheitsbauteil in regulierten Produkten. Wenn ein KI-System Teil eines Medizinprodukts, einer Maschine oder eines Fahrzeugs ist und eine Konformitätsbewertung durch Dritte erfordert, fällt es unter Anhang I der Verordnung. Für die meisten kleinen und mittleren Unternehmen ist das nicht der relevante Fall.
Die zweite Kategorie ist für Anwenderunternehmen entscheidend: KI-Systeme in bestimmten Einsatzbereichen, aufgelistet in Anhang III. Hier zählt nicht die Technologie, sondern der Zweck. Dasselbe große Sprachmodell kann für Marketingtexte minimal riskant sein und für HR-Entscheidungen hochriskant.
Die acht Hochrisiko-Bereiche
Anhang III definiert acht Bereiche, in denen KI-Systeme automatisch als Hochrisiko gelten:
Biometrie umfasst Systeme zur biometrischen Fernidentifizierung, zur Kategorisierung nach sensiblen Merkmalen und zur Emotionserkennung. Die biometrische Verifizierung, also die Bestätigung, dass jemand die Person ist, für die sie sich ausgibt, ist davon ausgenommen.
Kritische Infrastruktur betrifft KI-Systeme, die als Sicherheitsbauteile für digitale Infrastruktur, Straßenverkehr oder Versorgungsnetze für Wasser, Gas, Wärme oder Strom eingesetzt werden.
Bildung und Berufsbildung erfasst Systeme zur Zulassung zu Bildungseinrichtungen, zur Bewertung von Lernergebnissen, zur Steuerung des Lernprozesses und zur Überwachung von Prüfungen.
Beschäftigung und Personalmanagement ist für viele Unternehmen der relevanteste Bereich. Betroffen sind KI-Systeme für Recruiting, Bewerberauswahl, Stellenanzeigen-Targeting, Beförderungsentscheidungen, Kündigungen, Aufgabenzuweisung und Leistungsbewertung.
Zugang zu wesentlichen Dienstleistungen umfasst Systeme zur Beurteilung von Ansprüchen auf öffentliche Leistungen, zur Kreditwürdigkeitsprüfung natürlicher Personen und zur Risikobewertung bei Lebens- und Krankenversicherungen. Auch die Klassifizierung von Notrufen und die Priorisierung von Rettungseinsätzen fallen darunter.
Strafverfolgung, Migration und Asyl sowie Justiz und demokratische Prozesse betreffen primär behördliche Anwendungen, nicht die private Wirtschaft.
Die Profiling-Regel
Eine wichtige Ausnahme von der Ausnahme: Wenn ein KI-System aus Anhang III Profiling natürlicher Personen durchführt, gilt es immer als hochriskant. Diese Regel greift unabhängig davon, ob die Auswirkungen im Einzelfall gering erscheinen. Profiling bedeutet die automatisierte Verarbeitung personenbezogener Daten zur Bewertung persönlicher Aspekte einer Person, etwa Arbeitsleistung, wirtschaftliche Lage oder Verhalten.
Was das für KMU bedeutet
Zwei Bereiche sind für mittelständische Unternehmen besonders relevant. Im Bereich Beschäftigung betrifft das jede KI-gestützte Anwendung im HR-Prozess. Wer ein Tool zur Vorauswahl von Bewerbungen nutzt, KI-gestützte Persönlichkeitstests einsetzt oder automatisierte Leistungsbewertungen durchführt, betreibt ein Hochrisiko-System. Das gilt auch für externe Tools, die über SaaS-Dienste eingekauft werden. Die Deployer-Pflichten treffen das nutzende Unternehmen.
Im Bereich Finanzdienstleistungen sind Kreditwürdigkeitsprüfungen und Versicherungs-Risikobewertungen explizit Hochrisiko, sofern sie natürliche Personen betreffen. Die Aufdeckung von Finanzbetrug ist dagegen ausgenommen.
Nicht jedes System in Anhang III ist automatisch Hochrisiko
Der EU AI Act enthält eine Ausnahmeregelung. Ein in Anhang III genanntes System gilt dann nicht als Hochrisiko, wenn es kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte birgt. Das ist etwa der Fall, wenn das System nur eine eng gefasste Verfahrensaufgabe erfüllt, das Ergebnis einer menschlichen Entscheidung verbessert ohne sie zu ersetzen, nur Muster erkennt ohne Personen zu bewerten, oder eine vorbereitende Aufgabe übernimmt.
Diese Ausnahme muss dokumentiert werden. Der Anbieter ist verpflichtet, seine Bewertung festzuhalten und das System in der EU-Datenbank zu registrieren. Für Deployer bedeutet das: Prüfen, ob der Provider diese Dokumentation vorweisen kann.
Der Klassifizierungsprozess
Die Risikoklassifizierung ist kein einmaliger Akt. Sie muss bei jeder wesentlichen Änderung des Verwendungszwecks erneut durchgeführt werden. Ein System, das ursprünglich für allgemeine Textgenerierung eingesetzt wurde, kann durch einen neuen Anwendungsfall zum Hochrisiko-System werden.
Der richtige Zeitpunkt für die Klassifizierung ist die DEFINE-Phase. Nachdem das KI-Register die vorhandenen Assets dokumentiert hat, werden in DEFINE die konkreten Anwendungsfälle definiert. Erst die Kombination aus Asset und Verwendungszweck ergibt den KI-Prozess, der dann klassifiziert werden kann. Das NADOVO Framework bildet diesen Zusammenhang strukturiert ab.
Die Konsequenzen der Klassifizierung sind erheblich. Hochrisiko bedeutet umfassende Pflichten: Risikomanagementsystem, menschliche Aufsicht, Protokollierung, Monitoring und bei bestimmten Deployer-Konstellationen eine Grundrechte-Folgenabschätzung. Wer die Klassifizierung sorgfältig durchführt, weiß frühzeitig, welcher Aufwand auf das Unternehmen zukommt.
Über den Autor
Jochen Stier ist AI Compliance Experte mit über 20 Jahren Erfahrung in Prozessmanagement und IT Service Management. Er unterstützt deutsche KMUs dabei, die Anforderungen des EU AI Act systematisch und pragmatisch umzusetzen. Sein 5-Phasen Framework NADOVO verbindet regulatorische Anforderungen mit praktischer Umsetzbarkeit, ohne Enterprise-Budgets oder komplexe Tools.
Weiterführende Informationen:
