Google, OpenAI und Anthropic planen offenbar eigene KI-Sicherheitsregeln – was sich für Entwickler ändern könnte

Noch bevor ein Gesetz geschrieben ist, könnten sich die Nutzungsbedingungen der KI-Firmen zuerst ändern und für Entwickler gelten.

Google, OpenAI und Anthropic bereiten Berichten zufolge eine Organisation vor, die KI-Sicherheitsregeln selbst festlegen soll. Sie heißt SAFA, kurz für Standards Authority for Frontier AI. Mit Frontier AI sind die leistungsfähigsten KI-Modelle gemeint. Die Organisation würde zum Beispiel entscheiden, welche Tests eine neue KI vor der Veröffentlichung bestehen muss, wie Vorfälle gemeldet werden und wer prüfen darf.

Die Angaben stammen vom US-Techmedium The Information, die sich auf nicht genannte Quellen beruft. Die drei Unternehmen haben nichts offiziell angekündigt. Als Starttermin werden Ende 2026 oder Anfang 2027 genannt.

Warum die Unternehmen selbst aktiv werden

In den USA gibt es bislang kein Bundesgesetz, das solche hochentwickelte KI direkt regelt. Laut den Berichten wollten die Unternehmen zunächst eine staatliche Aufsicht, doch ein Entwurf für eine Executive Order (eine Anordnung aus dem Weißen Haus, die ohne den Kongress erlassen werden kann) fand in der Regierung nicht genug Unterstützung. Deshalb geht es nun in Richtung einer privaten Organisation.

SAFA soll Berichten zufolge der FINRA nachempfunden sein, der Selbstkontroll-Organisation der US-Brokerfirmen. Offen ist, wie Regelverstöße bestraft würden und ob SAFA Modelltests selbst durchführt oder externen Prüfern überlässt.

Wo Regierung und Kongress stehen

Executive Order (2. Juni): Die Anordnung setzt auf Freiwilligkeit. Unternehmen werden gebeten, der Regierung vor einer Veröffentlichung bis zu 30 Tage frühen Zugang zu einem Modell zu geben. Eine Genehmigung vor dem Start ist nicht vorgeschrieben.
FRONTIER Act im Repräsentantenhaus (23. Juli): ein Gesetzentwurf, der große KI-Entwickler je nach Größe abgestuft verpflichten würde, etwa zu Modellbeschreibungen, Risikomanagement-Plänen, unabhängigen Audits und Vorfallmeldungen.
Senat: Maria Cantwell aus dem Handelsausschuss des Senats hat am 7. Oktober Grundsätze vorgelegt, keinen Gesetzentwurf. Modelle sollen demnach vor der Veröffentlichung ein unabhängiges Audit bestehen.

Was sich für Entwickler ändern könnte

Das Folgende ist unsere Einschätzung und unser Rat auf Grundlage der Berichte.

Heute ist für Entwickler nichts verpflichtend. SAFA existiert noch nicht, die Executive Order ist freiwillig, und die Gesetzentwürfe sind nicht verabschiedet. Sobald sich Regeln durchsetzen, dürften sie Entwickler aber über die API-Bedingungen und Veröffentlichungsprozesse der KI-Anbieter erreichen.

Nutzungsbedingungen könnten sich ändern. Wenn Vorfallmeldungen oder externe Audits erwartet werden, dürften KI-Anbieter ihre API-Bedingungen anpassen. Agentenfunktionen, bei denen eine KI für Nutzer einen Computer bedient, könnten zu den ersten betroffenen gehören.
Neue Modelle könnten später erscheinen. Die Teilnahme an der frühen Regierungsprüfung fügt vor der Veröffentlichung einen weiteren Schritt hinzu.
Sicherheitsergebnisse könnten besser vergleichbar werden. Wenn Tests vereinheitlicht werden, lassen sich Bewertungsdokumente verschiedener Modelle nebeneinander lesen.
Kleine Teams könnten benachteiligt werden. Kritische Stimmen warnen, dass die Einhaltung für kleine Teams und Open-Source-Projekte teurer wird, wenn große Unternehmen die Audit-Standards setzen. Ein Diskussionsentwurf im Repräsentantenhaus enthält außerdem einen dreijährigen Stopp neuer KI-Gesetze der Bundesstaaten.

Wer stark von einem Modell abhängt, sollte die KI-Aufrufe im Code an einer Stelle bündeln und ein eigenes Testset pflegen, um später ohne großen Umbau den Anbieter wechseln zu können.

Was man beobachten sollte

Eine offizielle SAFA-Ankündigung samt Entwurf der Standards, ob der Stopp für KI-Gesetze der US-Bundesstaaten in einem endgültigen Gesetz bestehen bleibt, und Änderungen an den Nutzungsbedingungen der KI-Anbieter.