KI-Governance im Mittelstand: Datenflüsse kontrollieren statt ChatGPT verbieten

KI-Governance im Mittelstand beginnt nicht mit einer Nutzungsrichtlinie, sondern mit einem kontrollierten technischen Zugang zu KI-Modellen. Solange Beschäftigte Prompts direkt aus dem Browser an verschiedene Anbieter senden, kann kein Datenschutzbeauftragter verlässlich beantworten, welche Daten das Unternehmen verlassen haben.

Die typische Situation ist bekannt: Ein Vertriebsmitarbeiter lässt eine Kundenmail zusammenfassen, die Personalabteilung formuliert ein Zwischenzeugnis, die Buchhaltung bittet um Hilfe bei einer Excel-Auswertung. In jedem dieser Fälle können Namen, Vertragsdetails, Kontodaten oder Gesundheitsinformationen im Prompt stehen. Ein Auftragsverarbeitungsvertrag, kurz AVV, ist dafür nötig, aber er stoppt keinen einzigen Datenabfluss.

Ein AVV regelt Verantwortung, keine Datenflüsse

Ein Auftragsverarbeitungsvertrag schafft den vertraglichen Rahmen zwischen Unternehmen und KI-Anbieter. Der AVV legt Weisungsrechte, technische Maßnahmen und Pflichten bei Datenschutzvorfällen fest. Er beantwortet aber nicht die operative Frage, welche Mitarbeiter welche Inhalte an welches Modell übertragen.

Genau hier liegt der Fehler vieler KI-Einführungen. Erst wird ein Chatbot freigegeben, danach entsteht hektisch eine Richtlinie mit Formulierungen wie „keine vertraulichen Daten eingeben“. Das ist im Alltag zu dünn. Wer morgens zehn Kundenanfragen abarbeitet, erkennt nicht bei jedem Copy-and-paste-Vorgang zuverlässig, ob in einer E-Mail noch eine Personalnummer, eine private Anschrift oder eine Bankverbindung steckt.

Die Datenschutz-Grundverordnung verlangt mehr als eine Unterschrift unter einem Vertrag. Sobald personenbezogene Daten verarbeitet werden, braucht das Unternehmen unter anderem eine passende Rechtsgrundlage nach Artikel 6 DSGVO, dokumentierte technische und organisatorische Maßnahmen sowie ein Verzeichnis der Verarbeitungstätigkeiten. Ab August 2026 gelten weitere wesentliche Pflichten des EU AI Act; die DSGVO bleibt daneben vollständig relevant. Ein sauberer Vertrag ersetzt keine kontrollierbare Architektur.

Das zentrale KI-Gateway ist der Kontrollpunkt der KI-Governance

Ein zentrales KI-Gateway bündelt alle KI-Anfragen des Unternehmens, bevor ein Prompt ein externes oder internes Modell erreicht. Das Gateway ist ein technischer Vermittler: Beschäftigte arbeiten weiterhin über Chat, Fachanwendung oder KI-Assistent, aber die Anfrage läuft über einen kontrollierten Endpunkt.

Ohne Gateway haben Sie schnell 80 oder 300 einzelne Browser-Sitzungen, dazu Schatten-IT über private Accounts und verschiedene Abonnements. In einem Audit ist dann kaum nachvollziehbar, ob eine Angebotskalkulation in einem freigegebenen Unternehmensaccount oder in einem privaten Tool verarbeitet wurde. Mit einem zentralen KI-Gateway gibt es eine belastbare Antwort: Die Anfrage kam von diesem Nutzer, aus dieser Anwendung, zu dieser Uhrzeit und ging an dieses Modell.

Das Gateway entscheidet anhand fester Regeln, was passieren darf. Ein Marketingtext ohne Kundendaten kann an ein extern betriebenes Modell gehen. Eine Anfrage aus dem HR-System mit Gehaltsdaten wird blockiert oder an ein Modell auf europäischer Infrastruktur geleitet. Diese Entscheidung darf nicht von der Tagesform einzelner Mitarbeiter abhängen.

Für den Mittelstand ist das kein Projekt für einen jahrelangen Konzernumbau. In vielen Fällen lässt sich zunächst ein klar abgegrenzter Zugang für 50 bis 200 Nutzer schaffen: zentrale Anmeldung über das bestehende Identity Management, zwei oder drei zugelassene Modelle, Protokollierung und Regeln für sensible Daten. Das bringt mehr Kontrolle als eine 30-seitige KI-Richtlinie, die niemand vor dem nächsten Prompt liest.

Filterung vor dem Modell verhindert vermeidbare Übertragungen

Ein KI-Gateway prüft Prompts, bevor diese an ein KI-Modell weitergegeben werden. Diese Filterung erkennt definierte Datenklassen und kann sie blockieren, maskieren oder durch Platzhalter ersetzen.

Nehmen wir eine Serviceanfrage: „Fassen Sie die Reklamation von Frau Anna Müller, Kundennummer 4711, zusammen.“ Ein Filter kann den Namen und die Kundennummer vor der Weitergabe ersetzen. Das Modell erhält dann etwa „Fassen Sie die Reklamation von [KUNDE_1], Kundennummer [ID_1], zusammen.“ Die inhaltliche Aufgabe bleibt lösbar. Die personenbezogenen Angaben verlassen das Unternehmen nicht.

Bei Gesundheitsdaten, Lohninformationen oder vollständigen Vertragsakten ist Maskierung oft nicht ausreichend. Dann muss das KI-Gateway die Anfrage ablehnen oder an ein intern betriebenes Modell weiterleiten. Das wirkt zunächst restriktiv. Tatsächlich schafft diese Grenze Vertrauen: Beschäftigte wissen, dass sie KI einsetzen dürfen, ohne bei jeder Anfrage selbst Datenschutzjuristen spielen zu müssen.

Kein Filter ist fehlerfrei. Named-Entity-Recognition, also die Erkennung von Namen, Orten und Kennungen in Texten, liefert gute Ergebnisse, übersieht aber Sonderfälle. Deshalb braucht eine belastbare KI-Governance zusätzlich Datenklassifizierung, Freigaberegeln und Stichproben. Wer behauptet, ein einziger Filter löse Datenschutz vollständig, verkauft eine gefährliche Vereinfachung.

Sensible Workloads brauchen eine eigene Modellroute

Besonders schutzwürdige Daten dürfen nicht automatisch zum bequemsten oder populärsten KI-Modell geschickt werden. KI-Governance im Mittelstand braucht Modellrouten: Regeln, die festlegen, welches Modell für welche Datenklasse zulässig ist.

Für Personalakten, Forschungsdaten, technische Konstruktionsunterlagen oder Geschäftsgeheimnisse kann ein Open-Weights-Modell sinnvoll sein. Open Weights bedeutet, dass die Modellgewichte verfügbar sind und das Modell in einer kontrollierten Umgebung betrieben werden kann. Eine europäische Cloud-Architektur, beispielsweise auf Infrastruktur eines deutschen Betreibers wie STACKIT, hält Verarbeitung und Betriebsverantwortung näher am Unternehmen als ein unkontrollierter Direktzugang zu einem US-Anbieter.

Das bedeutet nicht, dass jedes Unternehmen sofort ein eigenes großes Sprachmodell betreiben sollte. Für viele Standardaufgaben ist ein externer Dienst unter passenden Verträgen und technischen Schutzmaßnahmen wirtschaftlich sinnvoll. Der Aufwand für den Eigenbetrieb lohnt sich dort, wo sensible Daten regelmäßig verarbeitet werden oder die Abhängigkeit von einem einzelnen Anbieter ein Geschäftsrisiko schafft. Architektur heißt, diese Fälle zu unterscheiden, statt alles pauschal zu verbieten oder blind freizugeben.

Protokollierung schafft einen Audit-Trail statt Erinnerungsarbeit

Ein Audit-Trail ist eine nachvollziehbare Protokollkette: Wer hat welche KI-Anfrage gestellt, welche Regel griff, welches Modell verarbeitete die Anfrage und wie wurde die Antwort bereitgestellt? Dieser Audit-Trail ist das Rückgrat einer prüfbaren KI-Governance.

Protokollierung bedeutet nicht, den kompletten Prompt-Inhalt dauerhaft für Führungskräfte lesbar zu speichern. Das wäre selbst ein Datenschutzproblem. Sinnvoll ist eine abgestufte Speicherung: Metadaten wie Nutzerkennung, Zeitstempel, Modell, Datenklassifizierung und Regelentscheidung werden revisionssicher erfasst. Inhalte werden nur dann und nur so lange gespeichert, wie es für Sicherheitsanalysen, Qualitätssicherung oder gesetzliche Nachweise erforderlich ist.

Stellen Sie sich die Frage eines Kunden oder einer Aufsichtsbehörde vor: „Wurden Daten aus dem Vertragsmanagement an einen externen KI-Anbieter übermittelt?“ Ohne Audit-Trail beginnt die Suche in E-Mails, Browser-Verläufen und Erinnerungen. Mit einem zentralen KI-Gateway exportieren Sie einen Report und sehen zugleich, ob eine Regel verletzt wurde. Das ist der Unterschied zwischen kontrolliertem Betrieb und Hoffnung.

Ein praxistaugliches KI-Governance-Framework startet klein, aber verbindlich

Der erste Schritt ist eine Bestandsaufnahme der realen KI-Nutzung. Fragen Sie nicht nur nach offiziell beschafften Tools. Fragen Sie Fachbereiche konkret, welche Texte, Tabellen und Dokumente heute in Chatbots landen. Ein Vertriebsleiter nennt oft „Angebotstexte“; bei genauerem Hinsehen liegen in den zugrunde liegenden Dokumenten Preislisten, Ansprechpartner und individuelle Rabattvereinbarungen.

Danach definieren Sie wenige Datenklassen und klare Routen. Ein brauchbarer Start unterscheidet beispielsweise öffentliche Inhalte, interne Informationen und besonders schutzwürdige Daten. Entscheidend ist nicht die Zahl der Kategorien, sondern dass jede Kategorie technisch durchgesetzt wird. Eine Richtlinie ohne Gateway bleibt ein Appell.

Anschließend wird ein Pilot mit einer überschaubaren Nutzergruppe umgesetzt. Messen Sie dabei nicht nur die Zahl der Anfragen. Prüfen Sie Blockierungen, Fehlklassifizierungen und die Akzeptanz im Arbeitsalltag. Wenn der Filter bei jeder zweiten Vertriebsanfrage unnötig stoppt, umgehen Mitarbeiter das System. Gute KI-Governance ist streng bei Datenabflüssen und praktisch bei legitimer Arbeit.

FAQ

Reicht ein AVV aus, um ChatGPT DSGVO-konform zu nutzen?

Nein. Ein AVV ist ein notwendiger Vertrag, aber keine technische Kontrolle. Das Unternehmen muss zusätzlich sicherstellen, dass personenbezogene Daten nur auf zulässiger Grundlage verarbeitet werden, Datenflüsse nachvollziehbar bleiben und Mitarbeiter sensible Inhalte nicht unkontrolliert eingeben können. Ein zentrales KI-Gateway setzt diese Regeln im Alltag durch.

Müssen wir für KI-Governance alle externen KI-Modelle verbieten?

Nein. Ein pauschales Verbot führt häufig zu Schatten-IT, weil Mitarbeiter private Accounts oder nicht freigegebene Tools nutzen. Sinnvoller ist eine Modellroute: Externe Modelle für freigegebene, niedrig sensible Aufgaben; kontrollierte europäische oder interne Modelle für sensible Workloads. Die Regel muss technisch im KI-Gateway liegen, nicht nur in einer Präsentation.

Welche Daten sollte ein KI-Gateway mindestens erkennen?

Ein sinnvoller Start umfasst personenbezogene Daten wie Namen, E-Mail-Adressen, Telefonnummern, Anschriften und Kundennummern. Je nach Branche kommen besondere Kategorien hinzu, etwa Gesundheitsdaten in der Logistik, Bonitätsdaten im Finanzumfeld oder Konstruktionsdaten im Maschinenbau. Die Datenklassen müssen aus Ihren tatsächlichen Prozessen kommen, nicht aus einer Standardvorlage.

Wie lange müssen KI-Protokolle gespeichert werden?

Die Speicherdauer hängt vom Zweck, den internen Vorgaben und den rechtlichen Anforderungen ab. Für viele Governance-Fälle reichen Metadaten und Regelentscheidungen deutlich länger als die eigentlichen Prompt-Inhalte. Definieren Sie eine dokumentierte Löschfrist und stimmen Sie sie mit Datenschutzbeauftragten sowie Informationssicherheit ab. Dauerhaft alles zu speichern ist keine gute Lösung.

Fazit

Geschäftsführer, IT-Leiter und Datenschutzbeauftragte im Rhein-Main-Gebiet sollten KI nicht über Browser-Verbote steuern, sondern über ein zentrales KI-Gateway mit Filterung, Modellrouten und Audit-Trail. Starten Sie mit einem Pilot für einen klaren Fachbereich, etwa Vertrieb oder Kundenservice, und halten Sie vor der breiten Freigabe fest, welche Daten das Unternehmen niemals an externe Modelle senden darf. Wenn Sie die KI-Potenziale für Ihr Unternehmen besprechen möchten, buchen Sie einen Termin für eine Architektur-Skizze, die zu Ihren Datenflüssen und Ihrer bestehenden IT passt.