KI-Modelle einfrieren: Warum Reproduzierbarkeit für Compliance entscheidend ist

KI-Modelle einfrieren bedeutet, eine bestimmte Modellversion mit fester Konfiguration dauerhaft unverändert zu betreiben. Für Compliance-Verantwortliche in regulierten Branchen ist das entscheidend, weil nur so nachweisbar bleibt, welche Entscheidung ein KI-System zu einem bestimmten Zeitpunkt auf welcher Grundlage getroffen hat.

KI-Modell-Version einfrieren für Compliance: was das konkret bedeutet

Beim Einfrieren wird der vollständige Zustand des Modells versioniert und unveränderbar gespeichert: Gewichte, Tokenizer, Inferenzkonfiguration und die Systemanweisungen, mit denen es betrieben wird. Das Verhalten bleibt über Jahre stabil, auch wenn neuere Versionen erscheinen. Sie können zu jedem späteren Zeitpunkt rekonstruieren, mit welchem Modellstand eine Entscheidung zustande kam.

Eine ehrliche Einschränkung gehört dazu: Vollständig identische Antworten bei jeder Anfrage garantiert auch ein eingefrorenes Modell nicht, weil Inferenz auf Grafikkarten kleine Abweichungen erzeugen kann. Was Sie garantieren können, ist der identische Modellstand und die identische Konfiguration. Für einen Prüfer ist das der entscheidende Nachweis.

Warum Reproduzierbarkeit ohne Einfrieren nicht zu haben ist

Aufsichtsbehörden und Prüfer verlangen, dass automatisierte Entscheidungen nachvollziehbar sind. Ändert sich ein Cloud-Modell unter der Hand, können Sie nicht mehr belegen, welche Version zu welchem Zeitpunkt aktiv war. Genau das passiert bei proprietären Schnittstellen: Anbieter tauschen Modelle aus, justieren Parameter und kündigen Versionen ab, oft ohne dass Sie es merken. Für einen internen Chatbot ist das lästig. Für eine Kreditvorprüfung oder eine Schadensbewertung ist es ein Compliance-Problem.

Offene Modelle auf eigener Infrastruktur: der Weg zur Kontrolle

Offene Modelle mit Open-Weights-Lizenz können Sie auf eigener oder europäischer Infrastruktur betreiben und dort einfrieren. Sie bestimmen, wann ein Update erfolgt, und dokumentieren jede Änderung. Bei einer Cloud-Schnittstelle bleibt die Modellversion dagegen ein Betriebsgeheimnis des Anbieters. Manche Anbieter bieten datierte Modellversionen an; das hilft, bis der Anbieter sie abschaltet, und den Zeitpunkt bestimmt er.

So frieren Sie ein Modell auf eigener Infrastruktur ein

1. Modell auswählen und beziehen. Ein Open-Weights-Modell, das Ihre Anforderungen erfüllt, aus einer vertrauenswürdigen Quelle, mit geprüfter Prüfsumme.
2. Versionierung einrichten. Gewichte und Konfiguration in einer Modell-Registry oder einem Versionierungswerkzeug wie MLflow oder DVC ablegen. Jede Änderung erhält eine eindeutige Version.
3. Inferenzumgebung fixieren. Software-Versionen festschreiben, etwa über einen Container, und Zufallsparameter setzen. So verhalten sich Modell und Umgebung so reproduzierbar, wie es die Hardware zulässt.
4. Konfiguration dokumentieren. Temperatur, Sampling-Parameter, maximale Ausgabelänge und Systemanweisung gehören zum Versionsstand.
5. Einfrieren. Nach dem Deployment gilt der Stand als eingefroren. Änderungen laufen nur über eine neue Version, die separat getestet und dokumentiert wird.
6. Audit-Trail führen. Protokollieren, welche Version wann im Einsatz war und welche Anfragen sie beantwortet hat.

Ein Szenario aus der Kreditvorprüfung

Eine Bank setzt ein offenes Sprachmodell ein, um Kreditanträge vorzuprüfen, betrieben auf europäischer Infrastruktur und eingefroren. Bei einer Prüfung muss sie nachweisen, warum ein bestimmter Antrag abgelehnt wurde. Sie legt Version, Konfiguration und Protokoll vor und kann die Entscheidung mit demselben Modellstand nachstellen. Mit einem Cloud-Modell wäre das nicht möglich gewesen: Der Stand von damals existiert dort nicht mehr.

Wann sich Einfrieren lohnt und wann die Cloud reicht

Einfrieren lohnt sich, wenn Sie gesetzliche Nachweispflichten haben oder Prozesse über Jahre stabil halten müssen. Eigene Infrastruktur amortisiert sich ab einer gewissen Anfragemenge; bei hohem Dauervolumen ist sie oft günstiger als die Verbrauchsabrechnung der Anbieter, und Sie vermeiden Preiserhöhungen und Abkündigungen.

Für Anwendungen mit wenigen Anfragen pro Tag und ohne Nachweispflicht kann die Cloud-Schnittstelle wirtschaftlicher sein. Dann dokumentieren Sie zumindest die Modellversion, testen regelmäßig mit einem festen Testsatz und halten den Wechsel auf ein anderes Modell technisch vorbereitet.

Häufige Fragen

Kann ich auch Cloud-Modelle einfrieren?

Nur eingeschränkt. Datierte Versionen mancher Anbieter halten den Stand, bis der Anbieter sie abschaltet. Wirklich einfrieren können Sie nur Modelle, deren Gewichte Sie selbst betreiben.

Welche Werkzeuge eignen sich?

Modell-Registries wie MLflow, Datenversionierung wie DVC, Container zur Fixierung der Umgebung. Wichtiger als das Werkzeug ist die Regel, dass kein Stand ohne neue Version geändert wird.

Was kostet das Einfrieren?

Eigene oder gemietete Grafikkarten, Speicher und Betrieb. Die Höhe hängt von Modellgröße und Volumen ab; bei hohem Volumen amortisiert sich das gegenüber der Verbrauchsabrechnung, bei geringem nicht.

Prüfen Sie Ihre Workloads

Gehen Sie Ihre KI-Anwendungen durch und markieren Sie die, deren Entscheidungen Sie in einigen Jahren noch nachstellen müssen. Für genau diese bringen Sie Modell, Anbieter und Nachweispflicht mit in den Potenzial-Check, eine halbe Stunde, kostenlos: Wir sagen Ihnen, ob Einfrieren nötig ist oder eine dokumentierte Cloud-Version reicht. Potenzial-Check buchen