Worum geht's?
Die KI-Verordnung ist das erste Gesetz, das den Umgang mit künstlicher Intelligenz regeln soll – insbesondere im Hinblick auf deren potenzielle Risiken. Wer KI im Unternehmen nutzt, sollte sich mit den Anforderungen der KI-VO schon jetzt befassen, auch wenn die meisten Regeln noch nicht in Kraft sind. Welche Pflichten Unternehmen erfüllen müssen, hängt im Wesentlichen davon ab, ob Sie im Sinne der Verordnung als KI-Anbieter oder als KI-Betreiber gelten.
1. Wann bin ich als Unternehmer KI-Anbieter?
Die KI-Verordnung (KI-VO) zählt im Umgang mit künstlicher Intelligenz und den sich daraus ergebenden Pflichten unterschiedliche Akteure auf, darunter Importeure, Betreiber, Händler und Anbieter. Spielen KI-Anwendungen und -Systeme in Ihrem Geschäftsalltag eine Rolle – was bei einem Großteil der Unternehmen der Fall sein dürfte –, ist es wichtig zu wissen, in welcher Rolle Sie handeln.
Anbieter (Provider) von KI-Technologien treffen die umfangreichsten Pflichten. Je nachdem, welche KI-Systeme Sie anbieten, unterscheidet die Verordnung zwischen KI-Systemen mit begrenztem und hohem Risiko.
Als Anbieter von KI-Systemen gelten Sie, wenn Sie
- als natürliche Person, Unternehmen, Behörde, Einrichtung oder sonstige Stelle tätig sind und
- ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickeln (lassen) und es in der EU/EWR unter eigenem Namen oder eigener Handelsmarke in Verkehr bringen bzw. in Betrieb nehmen.
Ob bezahlt oder unentgeltlich spielt dabei keine Rolle. Außerdem ist nur entscheidend, dass Sie die KI-Anwendung in der EU oder dem Europäischen Wirtschaftsraum (EWR) auf den Markt bringen bzw. in Betrieb nehmen. Ihr Unternehmen selbst muss nicht in einem der Mitgliedsstaaten ansässig sein, damit die Vorgaben greifen.
GUT ZU WISSEN
Als KI-Anbieter zählt Ihr Unternehmen, wenn es aktiv ein KI-basiertes System oder eine Anwendung mitentwickelt oder ein solches in bereits bestehende Produkte integriert und es unter eigener Marke vertreibt. Erwerben Sie also z. B. eine White-Label-Lösung, die Sie anpassen und eigenständig vermarkten, werden Sie durch die Anpassung zum Anbieter im Sinne der KI-VO.
2. Wann bin ich Betreiber im Sinne der KI-Verordnung?
Als Betreiber (User) im Sinne der KI-Verordnung zählen Sie, wenn Sie
- als natürliche Person, Unternehmen, Behörde, Einrichtung oder sonstige Stelle tätig sind und
- ein KI-System in eigener Verantwortung geschäftlich/beruflich verwenden.
Im Unterschied zu Anbietern zählen Unternehmen somit als Betreiber, wenn sie künstliche Intelligenz intern nutzen, ohne das Programm, die Software, das Modell oder das System weiterzuentwickeln oder als eigenes Produkt auf den Markt zu bringen. Das wäre etwa der Fall, wenn Sie auf Ihrer Website einen Chatbot einsetzen, an den sich die Kunden während des Bestellprozesses wenden können.
Wichtig ist zudem, dass Sie die KI-basierte Anwendung geschäftlich und nicht nur privat verwenden – sonst gelten die Vorschriften der KI-Verordnung ohnehin nicht.
SCHON GEWUSST?
Als Betreiber von KI-Systemen und KI-Modellen haben Sie gemäß KI-Verordnung ebenfalls bestimmte Pflichten. Diese sind aber deutlich weniger umfangreich als die von KI-Anbietern.
3. Kann ich vom KI-Betreiber zum KI-Anbieter werden?
Ja, das geht. In bestimmten Fällen kann ein Unternehmen als Anbieter eingestuft werden, obwohl es eigentlich als Betreiber zählt. Das wäre zum Beispiel der Fall, wenn Sie ein bestehendes KI-System unter neuem Namen/Marke weiterverbreiten, wesentliche Modifikationen vornehmen oder es so anpassen, dass es mit den Änderungen die Kriterien eines Hochrisiko-KI-Systems erfüllt.
Wir erinnern uns: Die KI-Verordnung ordnet künstliche Intelligenz abhängig von ihrem Gefahrenpotenzial in verschiedene Risikostufen ein:
Nutzen Sie z. B. ein KI-gestütztes Tool, das Sie bei der Auswahl geeigneter Bewerber unterstützt, setzen Sie es in einem risikobehafteten Umfeld ein – denn es besteht die Gefahr, dass das System bei der Auswahl nach diskriminierenden Kriterien vorgeht. Dadurch wird aus einem KI-System mit allgemeinem Zweck ein Hochrisiko-KI-System – und Sie vom Betreiber zum Anbieter.
Nehmen Sie selbst keine Anpassung an dem KI-Tool vor, so ändert sich auch nicht Ihre Rolle. Sie bleiben dann Betreiber – im genannten Fall von einem Hochrisiko-System mit den entsprechenden Pflichten. Sobald Sie ein Tool aber modifizieren oder es unter einem eigenen Namen Kunden anbieten, sind Sie nicht mehr nur User, sondern Provider. Als solcher sieht die KI-Verordnung für Sie umfangreiche Pflichten vor.
4. Welche Pflichten habe ich als KI-Anbieter?
Als Anbieter (und Betreiber) sind Sie verpflichtet, dafür zu sorgen, dass Ihre Mitarbeiter kompetent mit den KI-Anwendungen umgehen können. Sie müssen sie also entsprechend in Themen wie Datenschutz und KI oder KI und Urheberrecht schulen.
Außerdem müssen Sie sicherstellen, dass KI-generierte Inhalte wie Bilder, Videos und Text in maschinenlesbarer Form gekennzeichnet werden (z. B. in den Metadaten oder mit digitalen Wasserzeichen). Ihre weiteren Pflichten sind davon abhängig, ob Sie eine KI-Plattform mit begrenztem oder hohem Risiko verwenden.
Pflichten für Anbieter von KI-Systemen mit begrenzten Risiken
Als KI-Systeme mit begrenztem Risiko gelten z. B. Chatbots und Deep Fake-Technologien. Als Anbieter solcher Systeme sind Sie von einer strengen Regulierung befreit. Es treffen Sie aber Transparenz- und Kennzeichnungspflichten. Dazu gehört etwa, dass Sie Kunden und Nutzer darüber informieren, dass und wozu Sie künstliche Intelligenz in Ihrem Unternehmen einsetzen.
Um eine ethische und moralisch vertretbare Nutzung zu fördern, können Sie interne Verhaltensrichtlinien für den Umgang mit KI erlassen. Dies ist für Anbieter von KI-Systemen mit begrenztem Risiko aber keine Pflicht, sondern freiwillig. Es bleibt jedoch bei der KI-Schulungspflicht für Mitarbeiter.
Pflichten für Anbieter von KI-Systemen mit hohen Risiken
Für Anbieter von KI-Systemen mit hohem Risiko sind die Anforderungen und Pflichten wesentlich strenger. Darunter fallen z. B. KI-basierte Tools für die Auswahl geeigneter Kandidaten in Bewerbungsprozessen, zur Bewertung von Arbeitnehmern oder auch KI-gestützte Software, mit der sich die Kreditwürdigkeit einer Person prüfen lässt.
GUT ZU WISSEN
Hochrisiko-KI-Systeme stellen eine potenzielle Gefahr für Gesundheit, Sicherheit und Menschenrechte dar und unterliegen daher besonderen Regularien. Bevor sie auf den Markt gebracht werden dürfen, müssen sie eingehend kontrolliert und bewertet werden. Diese Prüfung erfolgt allerdings nicht durch unabhängige Stellen, sondern durch die Anbieter.
Sind Sie Anbieter eines Hochrisiko-Systems (oder passen Sie ein KI-System mit allgemeinem Zweck derart an, dass es zu einem solchen wird), sieht die KI-Verordnung u. a. folgende Pflichten vor:
- Einrichtung eines Risikomanagementsystems für die gesamte Lebensdauer des KI-Systems
- Registrierung des Produkts in der EU-Datenbank gemäß Art. 71 KI-VO
- Beaufsichtigung des Systems durch geschulte Person/Mitarbeiter
- Pflege der Daten und Sicherstellung, dass die verwendeten Datensätze repräsentativ, vollständig und möglichst fehlerfrei sind
- Erstellung von Dokumentationen und automatischen Protokollen (Aufbewahrungsfrist von 10 Jahren)
- Angemessene Maßnahmen zum Datenschutz und zur Cybersicherheit, Datenschutz-Folgenabschätzung
- Kontinuierliche Risikoprüfungen
- Transparenzpflichten gegenüber Nutzern, Kunden und Arbeitnehmern: Aufklärung über Einsatz von KI-Systemen, Angaben über Funktionsweise, Grenzen und Risiken
Prüfen Sie vor dem Einsatz eines jeden KI-Tools, ob dieses als Hochrisiko-KI-System gilt – insbesondere, wenn es sich um ein Tool im HR-Bereich handelt. Möchte Ihre Personalabteilung z. B. KI-Software einsetzen, die die Suche nach Kandidaten übernimmt oder die Arbeitsleistung von Mitarbeitern analysiert, ist Vorsicht geboten. Hier handelt es sich in der Regel um Hochrisiko-Systeme mit den entsprechenden Pflichten.
Allerdings gibt es eine Ausnahme: Setzen Sie das KI-System/Modell nur zur Unterstützung ein, aber nicht als alleiniges Entscheidungstool – kontrolliert also ein Mensch die Ergebnisse der KI – erfolgt keine Einordnung als Hochrisiko-System. Das wäre beispielsweise der Fall, wenn die KI-gestützte HR-Software nicht selbstständig nach Bewerbern sucht, sondern lediglich die eingegangenen Unterlagen kategorisiert.
Auch wenn die Regelungen für Hochrisiko-KI erst ab August 2027 gelten, tun Sie als Unternehmen gut daran, sich bereits jetzt damit zu befassen.
5. Ab wann gelten die Pflichten der KI-Verordnung?
Die KI-Verordnung trat am 1. August 2024 in Kraft. Da es für die Umsetzung von EU-Recht in nationales Recht aber gewisse Übergangsfristen gibt, werden die Regelungen stufenweise nach 6 bis 36 Monaten bindend. Die ersten Vorgaben gelten ab Februar 2025, die letzten ab August 2027.
Ab wann gilt die KI-VO?
- 2. Februar 2025: Vorgaben zur KI-Kompetenz von Mitarbeitern und für verbotene KI-Praktiken treten in Kraft.
- 2. August 2025: Regeln für KI mit allgemeinem Verwendungszweck sowie für Behörden, Governance und Sanktionen greifen.
- 2. August 2026: Der Großteil der Vorschriften tritt in Kraft (z. B. Kennzeichnungspflicht für KI).
- 2. August 2027: Regelungen für Hochrisiko-KI gelten.
Pflichten aus der KI-Verordnung ergeben sich nicht nur für KI-Anbieter, sondern auch für Betreiber (gewerbliche Nutzer). Heißt: Der Einsatz von ChatGPT für Marketingzwecke, Chatbots im Kundensupport oder DeepSeek für die Erstellung von Meta-Descriptions für Produktseiten macht die KI-Verordnung auch für Ihr Unternehmen relevant.
Auch wenn Sie für die Umsetzung der meisten Regeln noch Zeit haben, empfiehlt es sich dringend, nicht bis kurz vor Schluss zu warten, wie die Erfahrungen mit der Datenschutzgrundverordnung (DSGVO) gezeigt haben.
Einige Vorschriften wie die Schulungspflicht für Mitarbeitende gelten zudem nicht erst ab August 2026, sondern schon jetzt.
6. Was muss ich beachten, wenn meine Mitarbeiter KI nutzen?
Nutzen Sie in Ihrem Unternehmen künstliche Intelligenz, sieht die KI-Verordnung eine Schulungspflicht für Mitarbeiter vor. Als Arbeitgeber müssen Sie sicherstellen, dass Ihre Beschäftigten über ausreichende Kompetenz im Umgang mit KI-basierten Tools, Anwendungen und Systemen verfügen. In welchem Umfang und in welcher Form erläutert die Verordnung jedoch nicht.
Sinnvoll erscheinen nach aktuellem Stand folgende Maßnahmen:
- KI-Weiterbildungen über Grundlagen, rechtliche Rahmenbedingungen und Risiken
- Regeln zum datenschutzkonformen Einsatz von KI
- Organisation der eingesetzten Anwendungen und Tools
- Verfassen von internen KI-Richtlinien (z. B. Welche Daten dürfen in KI-Tools eingegeben werden? Wie dürfen die generierten Informationen genutzt werden?)
- Benennung eines KI-Beauftragten bzw. Einrichtung einer Arbeitsgruppe
WICHTIG
Die Schulungspflicht betrifft Sie nicht nur als Anbieter und Entwickler, sondern bereits dann, wenn Sie künstliche Intelligenz wie ChatGPT, Gemini, Microsoft Copilot & Co. in Ihrem Unternehmen verwenden.
Anzuordnen, dass sich Ihre Angestellten die erforderlichen Kenntnisse selbst beibringen sollen, ist nicht ausreichend. Um sicherzustellen, dass Ihre Mitarbeiter wissen, was sie da tun – und zum Beispiel keine sensiblen Informationen wie Umsatzzahlen oder Kundendaten preisgeben – lohnt es sich, auf professionelle Schulungen zu setzen. Unsere Partnerkanzlei Siebert Lexow steht Ihnen dafür zur Seite.
7. Was kann bei Verstößen gegen die Anbieter-Pflichten passieren?
Erfüllen Sie Ihre Pflichten als KI-Anbieter (oder Betreiber) nicht, sieht die KI-Verordnung Bußgelder vor. Da Übergangsfristen für die Umsetzung der Vorschriften gelten und es auch aktuell noch keine expliziten Kontrollmechanismen gibt, treten die Sanktionen erst nach und nach in Kraft.
Auf die leichte Schulter nehmen sollten Sie die KI-VO dennoch nicht – denn sollte es zu einem Rechtsverstoß kommen und haben Sie beispielsweise die KI-Schulungspflicht nicht erfüllt, obwohl diese seit dem 2. Februar 2025 gilt, kann das potenziell mit einem Bußgeld geahndet werden. Die KI-Verordnung sieht Geldbußen von bis zu 3 Prozent des Jahresumsatzes des vorangegangenen Geschäftsjahres vor.
Spätestens ab August 2026 müssen Sie die KI-VO umsetzen – mitsamt Ihren Pflichten als Anbieter bzw. Betreiber. Da die Grenzen zwischen beiden Rollen mitunter fließend sind, ist es von Bedeutung, eine rechtssichere Einordnung vorzunehmen. Denn: Erfüllen Sie nur die Pflichten für Betreiber (z. B. Kennzeichnungspflicht von KI-generierten Inhalten), obwohl Sie im Sinne der KI-VO eigentlich als Anbieter gelten, kann das rechtliche Konsequenzen haben.
Nutzen Sie künstliche Intelligenz im Unternehmen, lohnt es sich, bereits jetzt aktiv zu werden – auch wenn die meisten Regeln des AI Acts noch nicht in Kraft sind. Zumindest sollten Sie durch angemessene Weiterbildungsmöglichkeiten sicherstellen, dass Ihre Mitarbeiter wissen, was sie bei der Arbeit mit KI tun dürfen.
8. Wie kann ich mich als KI-Anbieter rechtlich absichern?
Absichern können Sie sich am besten, indem Sie die Vorgaben der KI-Verordnung lückenlos umsetzen und Ihren Pflichten nachkommen – so weit, so klar. Doch was heißt das konkret?
Zunächst ist eine Bestandsaufnahme sinnvoll: Welche KI-Anwendungen und Tools nutzen Sie? Handelt es sich dabei um KI-Dienste mit einem minimalen oder begrenzten Risiko – oder erfüllt ein Tool die Kriterien als Hochrisiko-KI-System? Welche Rolle als Akteur nimmt Ihr Unternehmen ein: Sind Sie Nutzer/Betreiber oder gelten Sie im Sinne der KI-VO als Anbieter (und haben dementsprechend umfangreichere Pflichten)?
Haben Sie den Ist-Zustand analysiert, sind folgende Maßnahmen ratsam:
- Einordnung der KI: Prüfen Sie, in welche Risikoklasse das Tool zählt. Handelt es sich um ein Hochrisiko-KI-System, ist ein Verfahren zur Konformitätsbewertung erforderlich.
- Klare Verträge: Regeln Sie in Ihren AGB bzw. Individualverträgen Haftungsfragen, Nutzungseinschränkungen und Verantwortlichkeiten.
- DSGVO-Konformität: Erhebt das KI-Tool personenbezogene Daten, stellen Sie eine DSGVO-konforme Datenverarbeitung sicher (Privacy by Design, AV-Verträge, Einwilligungen).
- Transparenzpflicht: Klären Sie darüber auf, wenn Sie KI einsetzen und zu welchem Zweck (z. B. Offenlegung, dass Kunden mit einem Chatbot schreiben)
- Dokumentationspflicht: Dokumentieren Sie als Anbieter (soweit wie möglich) die Entscheidungsprozesse Ihrer KI und halten Sie Trainingsdaten, Algorithmen und Entscheidungswege fest.
- Risikomanagement: Führen Sie als Anbieter regelmäßige Risikobewertungen und Tests durch, um Fehlfunktionen frühzeitig zu erkennen.
- Sicherheitsmaßnahmen: Implementieren Sie Maßnahmen zur Cybersicherheit, um Manipulationen und Datenschutzverstöße zu verhindern.
- Schulungen: Schulen Sie Ihre Mitarbeiter im Umgang mit KI.
Auch wenn Sie bis zur vollständigen Umsetzung der KI-Verordnung noch Zeit haben, lohnt es sich, aktiv zu werden – denn die Anforderungen des AI Acts sind nicht nur komplex, sondern auch umfangreich. Eine gute Vorbereitung ist die beste Absicherung gegen Rechtsverstöße und Bußgelder.
Zumindest die Erfüllung Ihrer Schulungspflicht ist bereits nicht mehr nur Kür, sondern Pflicht. Interne Guidelines und Richtlinien zum Umgang mit KI schaffen Klarheit sowohl für die Geschäftsführung als auch für Mitarbeiter. Eine KI-Richtlinie für Ihr Unternehmen können Sie auf eRecht24 Premium in wenigen Schritten erstellen.
