Skip to content
DigitalNeuron
Sicherheit & Ethik

Anthropic erläutert Sicherheitspraktiken für hochentwickelte KI-Modelle

Anthropic outlined cybersecurity controls it is implementing and recommended procurement rules and public-private cooperation to protect frontier AI models.

Von DigitalNeuron Desk2 Min. Lesezeit

Kurze Antwort

Welche Sicherheitsmaßnahmen hat Anthropic für die Entwicklung und den Einsatz hochmoderner KI-Modelle angekündigt?

Anthropic said it is implementing two-party controls, the NIST Secure Software Development Framework, Supply Chain Levels for Software Artifacts and other cybersecurity practices. It also recommended government procurement requirements, expanded public-private cooperation and stronger protections for advanced models, model weights and the research used to develop them.

Das Wichtigste

  • Anthropic said it is implementing two-party controls, SSDF, SLSA and other cybersecurity practices.
  • Das Unternehmen empfahl eine Mehrparteienautorisierung für alle Systeme, die zur Entwicklung, zum Training, zum Hosting und zur Bereitstellung hochentwickelter KI-Modelle eingesetzt werden.
  • Anthropic encouraged extending NIST’s Secure Software Development Framework to cover model development.
  • Das Unternehmen erklärte, Regierungen könnten die vorgeschlagenen Kontrollen zunächst über Beschaffungsauflagen für KI-Unternehmen und Cloud-Anbieter einführen.
  • Anthropic recommended treating frontier AI laboratories similarly to critical-infrastructure companies for public-private cooperation and information sharing.

Anthropic erklärte, eine Reihe von Cybersicherheitsmaßnahmen einzuführen, die fortschrittliche Modelle künstlicher Intelligenz, ihre Gewichte und die zu ihrer Entwicklung genutzte Forschung schützen sollen. Zudem schlug das Unternehmen Anforderungen für die öffentliche Beschaffung sowie eine engere Zusammenarbeit zwischen KI-Laboren und Behörden vor.

Zu den von Anthropic beschriebenen Maßnahmen gehören das Vier-Augen-Prinzip, das NIST Secure Software Development Framework (SSDF) und die Supply Chain Levels for Software Artifacts (SLSA). Anthropic erklärte, mit zunehmender Leistungsfähigkeit der Modelle seien stärkere Schutzmaßnahmen erforderlich, und bezeichnete die Arbeit als einen fortlaufenden Prozess, an dem Staat und Wirtschaft beteiligt seien.

Mehrparteien-Autorisierung

Anthropic empfahl, das Vier-Augen-Prinzip auf Systeme anzuwenden, die an der Entwicklung, dem Training, dem Hosting und der Bereitstellung fortschrittlicher KI-Modelle beteiligt sind. Das Unternehmen bezeichnet diesen Ansatz als „Mehrparteien-Autorisierung bei der Gestaltung KI-kritischer Infrastruktur“.

Nach dem von Anthropic beschriebenen Konzept hätte keine Einzelperson dauerhaften Zugang zu produktionskritischen Umgebungen. Wer Zugang benötigt, bräuchte die Genehmigung eines Kollegen, eine geschäftliche Begründung und eine zeitlich befristete Berechtigung. Nach Angaben des Unternehmens können auch neu entstehende KI-Labore solche Kontrollen umsetzen, selbst wenn sie nicht über die Ressourcen großer Konzerne verfügen.

Anthropic stellte die Maßnahme als Schutz vor hoch entwickelten Bedrohungsakteuren und internen Risiken dar. Für eine korrekte Umsetzung sei das Vier-Augen-Prinzip auf ein breiteres Spektrum an Cybersicherheitsmaßnahmen angewiesen.

Sichere Modellentwicklung

Anthropic empfahl zudem, im gesamten Umfeld fortschrittlicher Modelle sichere Verfahren der Softwareentwicklung anzuwenden. Das Unternehmen nannte SSDF und SLSA als Standards, die sich auf die Modellentwicklung und die damit verbundene Software übertragen lassen.

Durch die gemeinsame Anwendung beider Rahmenwerke lasse sich eine lückenlose Nachweiskette für ein bereitgestelltes KI-System schaffen, erklärte das Unternehmen. Anthropic beschrieb dies als Möglichkeit, ein bereitgestelltes Modell mit dem Unternehmen zu verknüpfen, das es entwickelt hat, und seine Herkunft nachzuweisen.

Anthropic bezeichnet diese vorgeschlagene Kombination als „Rahmenwerk für sichere Modellentwicklung“. Das Unternehmen forderte das NIST auf, SSDF im Rahmen seines Normungsverfahrens so zu erweitern, dass das Rahmenwerk die Modellentwicklung ausdrücklich einschließt.

Beschaffung und Regulierung

Anthropic erklärte, Regierungen könnten die Mehrparteien-Autorisierung und die sichere Modellentwicklung zu Beschaffungsanforderungen für KI-Unternehmen und Cloud-Anbieter machen, die sich um öffentliche Aufträge bewerben. Diese Maßnahmen würden neben weiteren Cybersicherheitsanforderungen für die Unternehmen gelten.

Beschaffungsvorschriften für US-amerikanische Cloud-Anbieter könnten nach Angaben des Unternehmens eine ähnliche Wirkung entfalten wie eine umfassende Marktregulierung, da viele Entwickler fortschrittlicher Modelle deren Infrastruktur nutzen. Anthropic schlug die öffentliche Beschaffung als einen Schritt vor, der bereits vor regulatorischen Vorgaben greifen könnte.

Viele Sicherheitsmaßnahmen könnten zunächst auf freiwilliger Basis eingeführt werden, erklärte Anthropic. Regierungen könnten jedoch letztlich zu dem Schluss kommen, dass die Einhaltung durch Beschaffungs- oder Regulierungsbefugnisse verbindlich vorgeschrieben werden sollte.

Öffentlich-private Zusammenarbeit

Anthropic empfahl, dass Forschungslabore für fortschrittliche KI in gleicher Weise an der öffentlich-privaten Zusammenarbeit teilnehmen wie Unternehmen aus kritischen Infrastrukturbereichen, etwa dem Finanzdienstleistungssektor. Das Unternehmen schlug vor, fortschrittliche KI als besonderen Teilsektor des bestehenden Informationstechnologiesektors einzustufen.

Anthropic zufolge könnte eine solche Einstufung einen intensiveren Informationsaustausch und eine engere Zusammenarbeit zwischen KI-Laboren und Behörden fördern. Diese Regelung könnte den Laboren helfen, sich gegen gut ausgestattete böswillige Cyberakteure zu schützen.

Quelle: Anthropics Mitteilung „Frontier model security“, veröffentlicht am 25. Juli 2023.

Häufige Fragen

Was setzt Anthropic um?
Anthropic said it is implementing two-party controls, the NIST Secure Software Development Framework, Supply Chain Levels for Software Artifacts and other cybersecurity practices.
Was versteht Anthropic unter Zwei-Personen-Kontrolle?
Anthropic described a design in which no individual has persistent access to production-critical environments. A person must request time-limited access from a coworker and provide a business justification.
Welche staatlichen Maßnahmen empfahl Anthropic?
Anthropic proposed procurement requirements covering AI companies and cloud providers that contract with governments. It said voluntary arrangements could come first, with procurement or regulatory mandates potentially following over time.
Wie schlägt Anthropic vor, die öffentlich-private Zusammenarbeit zu organisieren?
Anthropic said frontier AI laboratories should cooperate with governments in a manner similar to critical-infrastructure sectors. It suggested that frontier AI could become a special subsector of the existing information technology sector.

Quellen

  1. Frontier model security \ AnthropicAnthropic
Schlagwörteranthropicclaudeai-securitycybersecurityfrontier-modelsai-policy

Passend dazu

Anthropic legt Einflussoperationen, Betrug und Malware-Missbrauch von Claude offen

Anthropic berichtete, dass Akteure Claude für eine Einflussoperation, eine Aktivität im Zusammenhang mit geleakten Zugangsdaten von Sicherheitskameras, eine Betrugskampagne bei der Personalvermittlung sowie die Entwicklung von Malware genutzt hätten. Das Unternehmen erklärte, die zugehörigen Konten gesperrt und zur Erkennung, Untersuchung und Bekämpfung der Aktivitäten Techniken zur Gesprächsanalyse sowie Klassifikatoren eingesetzt zu haben.

2 Min. Lesezeit

Anthropic erläutert seine Methoden für Red-Teaming von KI-Systemen

Anthropic detailed several methods it has used to test AI systems, including expert-led, automated, multilingual, multimodal, crowdsourced and community testing. The company also described converting qualitative findings into automated evaluations and urged policymakers to fund standards, support independent testing bodies, certify professional services and facilitate vetted third-party access.

3 Min. Lesezeit

Anthropic erläutert Schutzmaßnahmen für Claude im Vorfeld der US-Wahlen

Anthropic stellte Maßnahmen vor, die den wahlbezogenen Missbrauch von Claude verhindern sollen. Dazu zählen Beschränkungen für Wahlkampf, Lobbyarbeit und Falschinformationen, eine automatisierte Durchsetzung mit nachgelagerter menschlicher Überprüfung, gezielte Red-Team-Tests sowie groß angelegte Evaluierungen. Zudem verweist das Unternehmen bei wahlbezogenen Anfragen auf aktuelle Wahlinformationen und nennt in Claudes System-Prompt den Wissensstichtag des Modells.

2 Min. Lesezeit