Anthropic erläutert seinen Rahmen zur Bewertung von KI-Schäden
Anthropic teilte mit, einen sich weiterentwickelnden Rahmen vorzustellen, der KI-Schäden anhand von fünf Dimensionen bewertet und die Responsible Scaling Policy des Unternehmens ergänzt.
Kurze Antwort
Welchen Rahmen zur Bewertung von KI-Schäden hat Anthropic vorgestellt?
Anthropic teilte mit, einen Rahmen entwickelt zu haben, der potenzielle KI-Schäden anhand von fünf Dimensionen bewertet: körperliche, psychologische, wirtschaftliche und gesellschaftliche Auswirkungen sowie Folgen für die individuelle Autonomie. Nach Angaben des Unternehmens wird der Rahmen ergänzend zu seiner Responsible Scaling Policy eingesetzt und fließt in seine Nutzungsrichtlinien, Bewertungen, Erkennungsmaßnahmen und Durchsetzungsmaßnahmen ein, unter anderem für die Computernutzung und Claude 3.7 Sonnet.
Das Wichtigste
- Anthropic stellte einen Rahmen zur Bewertung von KI-Schäden anhand von fünf Dimensionen vor: körperliche, psychologische, wirtschaftliche und gesellschaftliche Auswirkungen sowie Folgen für die individuelle Autonomie.
- Nach Angaben des Unternehmens ergänzt der Rahmen dessen Responsible Scaling Policy, die sich auf katastrophale Risiken konzentriert, indem er ein breiteres Spektrum potenzieller Schäden berücksichtigt.
- Für seine Funktion zur Computernutzung identifizierte Anthropic nach eigenen Angaben Risiken im Zusammenhang mit Finanzsoftware und Kommunikationswerkzeugen und reagierte darauf mit strengeren Schwellenwerten für Durchsetzungsmaßnahmen sowie einem Verfahren zur hierarchischen Zusammenfassung.
- Anthropic zufolge führte die Anwendung des Rahmens auf Claude 3.7 Sonnet zu einem Rückgang unnötiger Ablehnungen um 45 %, während die Schutzvorkehrungen gegen schädliche Inhalte erhalten blieben.
- Das Unternehmen bezeichnete den Ansatz als noch in der Entwicklung befindlich und lud externe Forschende und Fachleute aus der Politik zur Zusammenarbeit ein.
Anthropic stellt Rahmen zur Schadensbewertung vor
Anthropic teilte mit, seinen sich weiterentwickelnden Ansatz zur Bewertung und Eindämmung verschiedener potenzieller Schäden durch seine KI-Systeme vorzustellen. Das Spektrum reicht von katastrophalen Risiken wie biologischen Bedrohungen bis zu Bedenken hinsichtlich der Sicherheit von Kindern, Desinformation und Betrug.
Der Rahmen ergänzt nach Angaben des Unternehmens dessen Responsible Scaling Policy, die sich gezielt auf katastrophale Risiken konzentriert, indem er andere Arten von Auswirkungen umfassender betrachtet. Anthropic bezeichnete den Ansatz als noch in der Entwicklung befindlich und erklärte, seine gegenwärtigen Überlegungen offenzulegen, die künftig weiter ausgearbeitet würden.
Fünf Dimensionen von Schäden
Anthropic zufolge werden potenzielle Auswirkungen anhand von fünf grundlegenden Dimensionen bewertet:
- Körperliche Auswirkungen: Folgen für die körperliche Gesundheit und das Wohlbefinden
- Psychologische Auswirkungen: Folgen für die psychische Gesundheit und die kognitiven Fähigkeiten
- Wirtschaftliche Auswirkungen: finanzielle Folgen und Fragen des Eigentums
- Gesellschaftliche Auswirkungen: Folgen für Gemeinschaften, Institutionen und gemeinsam genutzte Systeme
- Auswirkungen auf die individuelle Autonomie: Folgen für persönliche Entscheidungen und Freiheiten
Für jede Dimension berücksichtigt das Unternehmen nach eigenen Angaben Faktoren wie Wahrscheinlichkeit, Ausmaß, betroffene Bevölkerungsgruppen, Dauer und Kausalität sowie den Beitrag der Technologie zum Schaden und die Umsetzbarkeit von Gegenmaßnahmen.
Anthropic erklärte, die mithilfe des Rahmens ermittelten Risiken durch eine Kombination von Maßnahmen zu steuern: eine Nutzungsrichtlinie, Bewertungen wie Red-Teaming und adversariale Tests vor und nach der Markteinführung, Verfahren zur Erkennung von Missbrauch sowie Durchsetzungsmaßnahmen, die von Änderungen an Eingabeaufforderungen bis zur Sperrung von Konten reichen.
Genannte Beispiele
Anthropic führte zwei Beispiele dafür an, wie das Unternehmen den Rahmen angewandt hat.
Bei seiner Funktion zur Computernutzung, die es Modellen ermöglicht, mit Computeroberflächen zu interagieren, untersuchte das Unternehmen nach eigenen Angaben Risiken im Zusammenhang mit Finanzsoftware und Bankplattformen, bei denen eine nicht autorisierte Automatisierung Betrug oder Manipulation erleichtern könnte. Zudem nahm es Kommunikationswerkzeuge in den Blick, die für gezielte Einflussnahme oder Phishing eingesetzt werden könnten. Anthropic erklärte, diese Analyse habe zu strengeren Schwellenwerten für Durchsetzungsmaßnahmen und zum Einsatz hierarchischer Zusammenfassungen geführt. Dieser Ansatz ermögliche es dem Unternehmen, Schäden zu erkennen und zugleich seine Datenschutzstandards einzuhalten.
Das Unternehmen beschrieb außerdem seine Arbeit an sogenannten Grenzen für Modellantworten. Dabei geht es darum, wie Modelle mit Anfragen umgehen, die zwischen eindeutig harmlos und eindeutig schädlich liegen. Anthropic zufolge können Modelle, die auf größere Hilfsbereitschaft trainiert wurden, zu schädlichem Verhalten tendieren, während Modelle, bei denen Harmlosigkeit übermäßig gewichtet wird, selbst bei unbedenklichen Anfragen die Herausgabe von Informationen verweigern können. Bei Claude 3.7 Sonnet bewertete das Unternehmen nach eigenen Angaben verschiedene Arten von Anfragen entlang dieses Spektrums und änderte den Umgang des Modells mit mehrdeutigen Eingabeaufforderungen, sodass sichere und hilfreiche Antworten gegenüber einer Ablehnung bevorzugt werden. Laut Anthropic führte dies zu einem Rückgang unnötiger Ablehnungen um 45 %, während die als wirksam bezeichneten Schutzvorkehrungen gegen schädliche Inhalte erhalten blieben. Das Unternehmen erklärte, diese Art der Analyse beeinflusse auch, worauf es bei Sicherheitsbewertungen für Gruppen den Schwerpunkt legt, bei denen ein möglicherweise erhöhtes Risiko festgestellt wurde. Dazu zählen Kinder, marginalisierte Gemeinschaften und Menschen in Krisensituationen.
Noch in der Entwicklung
Anthropic erklärte, sein Ansatz zum Verständnis und zur Bekämpfung von Schäden sei ein Bestandteil seiner umfassenderen Sicherheitsstrategie. Mit zunehmender Leistungsfähigkeit von KI-Systemen rechnet das Unternehmen nach eigenen Angaben mit neuen Herausforderungen. Es lud Forschende, Fachleute aus der Politik und Partner aus der Branche zur Zusammenarbeit ein und verwies für die Kontaktaufnahme auf die E-Mail-Adresse usersafety@anthropic.com.
Quelle: Anthropic, „Unser Ansatz zum Verständnis und zur Bekämpfung von KI-Schäden“, veröffentlicht am 21. April 2025.
Häufige Fragen
- Welche Dimensionen deckt Anthropics Rahmen zur Schadensbewertung ab?
- Anthropic zufolge umfasst der Rahmen fünf Dimensionen: körperliche, psychologische, wirtschaftliche und gesellschaftliche Auswirkungen sowie Folgen für die individuelle Autonomie. Für jede Dimension werden zudem Faktoren wie Wahrscheinlichkeit, Ausmaß und betroffene Bevölkerungsgruppen berücksichtigt.
- In welchem Verhältnis steht dieser Rahmen zu Anthropics Responsible Scaling Policy?
- Anthropic erklärte, der Rahmen zur Schadensbewertung ergänze seine Responsible Scaling Policy, die sich gezielt auf katastrophale Risiken konzentriert, indem er dem Unternehmen eine umfassendere Bewertung anderer Arten von Auswirkungen ermöglicht.
- Was teilte Anthropic über Claude 3.7 Sonnet und die Ablehnung von Anfragen mit?
- Anthropic zufolge trug die Anwendung des Rahmens auf Claude 3.7 Sonnet dazu bei, den Umgang mit mehrdeutigen Eingabeaufforderungen zu verbessern. Dadurch seien unnötige Ablehnungen um 45 % zurückgegangen, während wirksame Schutzvorkehrungen gegen schädliche Inhalte erhalten geblieben seien.
- Welche Instrumente setzt Anthropic zur Durchsetzung seines Ansatzes zur Schadensbegrenzung ein?
- Anthropic stützt sich nach eigenen Angaben auf eine Nutzungsrichtlinie, Bewertungen vor und nach der Markteinführung einschließlich Red-Teaming, Verfahren zur Erkennung von Missbrauch sowie Durchsetzungsmaßnahmen, die von Änderungen an Eingabeaufforderungen bis zur Sperrung von Konten reichen.