Anthropic und NNSA entwickeln gemeinsam Klassifizierer gegen nuklearen Missbrauch von Claude
Anthropic erklärt, gemeinsam mit der US-Behörde NNSA und den nationalen Laboren des Energieministeriums einen Klassifizierer entwickelt zu haben, der bedenkliche nuklearbezogene Gespräche mit Claude erkennt.
Kurze Antwort
Was hat Anthropic zu nuklearen Sicherheitsvorkehrungen für KI angekündigt?
Anthropic erklärt, mit der National Nuclear Security Administration (NNSA) des US-Energieministeriums und dessen nationalen Laboren einen Klassifizierer entwickelt zu haben, der in ersten Tests mit 96 Prozent Genauigkeit zwischen bedenklichen und harmlosen nuklearbezogenen Gesprächen unterscheidet. Anthropic hat den Klassifizierer bereits im Claude-Datenverkehr eingesetzt und will den Ansatz mit dem Frontier Model Forum teilen.
Das Wichtigste
- Anthropic erklärt, seit April mit der NNSA zusammenzuarbeiten, um seine Modelle auf Risiken der nuklearen Proliferation zu prüfen.
- Anthropic gibt an, mit der NNSA und den nationalen Laboren des Energieministeriums einen Klassifizierer entwickelt zu haben, der bedenkliche nuklearbezogene Gespräche von harmlosen mit einer Genauigkeit von 96 Prozent in ersten Tests unterscheidet.
- Anthropic teilt mit, dass der Klassifizierer bereits im Claude-Datenverkehr eingesetzt wird, als Teil des umfassenderen Systems zur Erkennung von Missbrauch.
- Anthropic erklärt, dass erste Einsatzdaten darauf hindeuten, dass der Klassifizierer bei realen Claude-Gesprächen gut funktioniert.
- Anthropic plant, den Ansatz mit dem Frontier Model Forum zu teilen, damit andere KI-Entwickler in Zusammenarbeit mit der NNSA ähnliche Sicherheitsvorkehrungen umsetzen können.
Anthropic teilt mit, gemeinsam mit der National Nuclear Security Administration (NNSA) des US-Energieministeriums und dessen nationalen Laboren einen Klassifizierer entwickelt zu haben, der nuklearbezogenen Missbrauch seiner Claude-Modelle erkennen soll.
Dem Unternehmen zufolge begann die Zusammenarbeit mit der NNSA im vergangenen April, um die Modelle auf Risiken der nuklearen Proliferation hin zu bewerten. Anthropic weist darauf hin, dass Nukleartechnologie naturgemäß doppelt nutzbar ist, da dieselben physikalischen Prinzipien, die Kernreaktoren antreiben, auch für die Waffenentwicklung missbraucht werden können. Informationen zu Atomwaffen seien besonders sensibel, was eine Risikobewertung für ein privates Unternehmen im Alleingang erschwere.
Was der Klassifizierer leistet
Anthropic beschreibt den Klassifizierer als ein KI-System, das Inhalte automatisch kategorisiert und darauf ausgelegt ist, zwischen bedenklichen und harmlosen nuklearbezogenen Gesprächen zu unterscheiden. Das Unternehmen gibt an, dass der Klassifizierer in ersten Tests eine Genauigkeit von 96 Prozent erreicht habe.
Anthropic zufolge ist der Klassifizierer bereits im Claude-Datenverkehr im Einsatz, als Teil des umfassenderen Systems zur Erkennung von Missbrauch der eigenen Modelle. Erste Einsatzdaten würden zudem darauf hindeuten, dass der Klassifizierer bei realen Claude-Gesprächen gut funktioniere.
Weitergabe des Ansatzes
Anthropic plant, den Ansatz mit dem Frontier Model Forum zu teilen, einem Branchenverband führender KI-Unternehmen. Man hoffe, dass die Partnerschaft als Vorlage dienen könne, an der sich andere KI-Entwickler orientieren können, um in Zusammenarbeit mit der NNSA ähnliche Sicherheitsvorkehrungen umzusetzen.
Das Unternehmen sieht in dem Vorhaben eine öffentlich-private Partnerschaft, die nach eigener Beschreibung die komplementären Stärken von Industrie und Staat vereint, um Risiken im Zusammenhang mit hochentwickelten KI-Modellen zu adressieren.
Anthropic zufolge sind vollständige Details zur NNSA-Partnerschaft und zur Entwicklung der Sicherheitsvorkehrungen im Frontier-Red-Team-Blog unter red.anthropic.com verfügbar, den das Unternehmen als zentrale Plattform für Forschung dazu beschreibt, was hochentwickelte KI-Modelle für die nationale Sicherheit bedeuten.
Quelle: Anthropic, „Developing nuclear safeguards for AI through public-private partnership“, veröffentlicht am 21. August 2025.
Häufige Fragen
- Mit wem hat Anthropic bei diesem Vorhaben zusammengearbeitet?
- Anthropic erklärt, mit der National Nuclear Security Administration (NNSA) des US-Energieministeriums und dessen nationalen Laboren zusammengearbeitet zu haben.
- Was ist aus der Partnerschaft entstanden?
- Anthropic zufolge entstand aus der Partnerschaft ein Klassifizierer – ein KI-System, das Inhalte automatisch kategorisiert –, der in ersten Tests mit 96 Prozent Genauigkeit zwischen bedenklichen und harmlosen nuklearbezogenen Gesprächen unterscheidet.
- Ist der Klassifizierer bereits im Einsatz?
- Anthropic erklärt, den Klassifizierer bereits im Claude-Datenverkehr eingesetzt zu haben, als Teil des umfassenderen Systems zur Erkennung von Missbrauch seiner Modelle.
- Was plant Anthropic als Nächstes?
- Anthropic erklärt, den Ansatz mit dem Frontier Model Forum, dem Branchenverband führender KI-Unternehmen, teilen zu wollen, damit die Partnerschaft als Vorlage für andere KI-Entwickler bei der Zusammenarbeit mit der NNSA dienen kann.