Anthropic legt Einflussoperationen, Betrug und Malware-Missbrauch von Claude offen
Anthropic hat vier Fälle des böswilligen Einsatzes von Claude gemeldet und erklärt, die damit verbundenen Konten gesperrt zu haben.
Kurze Antwort
Welche böswilligen Nutzungen von Claude hat Anthropic identifiziert und unterbunden?
Anthropic berichtete, dass Akteure Claude für eine Einflussoperation, eine Aktivität im Zusammenhang mit geleakten Zugangsdaten von Sicherheitskameras, eine Betrugskampagne bei der Personalvermittlung sowie die Entwicklung von Malware genutzt hätten. Das Unternehmen erklärte, die zugehörigen Konten gesperrt und zur Erkennung, Untersuchung und Bekämpfung der Aktivitäten Techniken zur Gesprächsanalyse sowie Klassifikatoren eingesetzt zu haben.
Das Wichtigste
- Anthropic beschrieb vier Fälle, in denen Akteure Claude mutmaßlich für Einflussoperationen, Aktivitäten im Zusammenhang mit Zugangsdaten, Personalbetrug und die Entwicklung von Malware genutzt haben.
- Dem Unternehmen zufolge nutzte eine „Influence-as-a-Service“-Operation Claude, um mehr als 100 Social-Media-Bot-Konten auf Twitter/X und Facebook zu koordinieren.
- Anthropic erklärte, sämtliche mit den im Bericht beschriebenen Aktivitäten verbundenen Konten gesperrt zu haben.
- Das Unternehmen gab an, mit Clio, hierarchischer Zusammenfassung und Klassifikatoren Gespräche analysiert und Missbrauchsmuster identifiziert zu haben.
Anthropic hat einen Bericht veröffentlicht, in dem vier Fälle beschrieben werden, in denen Akteure Claude mutmaßlich für koordinierte politische Einflussnahme, Aktivitäten im Zusammenhang mit geleakten Zugangsdaten von Sicherheitskameras, Betrug bei der Personalvermittlung und die Entwicklung von Malware missbraucht haben sollen. Das Unternehmen erklärte, es habe die mit jedem Fall verbundenen Konten identifiziert und gesperrt.
Anthropic zufolge nutzte das eigene Intelligence-Team Verfahren aus seiner Clio-Forschung und aus der hierarchischen Zusammenfassung, um große Mengen an Gesprächsdaten zu analysieren. Diese Methoden wurden mit Klassifikatoren kombiniert, die Nutzereingaben auf potenziell schädliche Anfragen prüfen und Claudes Antworten vor oder nach der Auslieferung bewerten.
Koordinierte Social-Media-Bots
Das Unternehmen identifizierte eine offenbar finanziell motivierte „Influence-as-a-Service“-Operation, die mehr als 100 Bot-Konten auf Twitter/X und Facebook verwaltete. Anthropic zufolge interagierte die Operation mit Zehntausenden echten Social-Media-Konten in mehreren Ländern und Sprachen.
Laut Anthropic nutzte der Betreiber Claude, um Personas mit unterschiedlichen politischen Ausrichtungen zu erstellen und zu pflegen, politisch passende Antworten zu generieren und Prompts für Bildgenerierungs-Tools vorzubereiten. Claude half zudem dabei zu entscheiden, ob Bot-Konten bestimmte Beiträge liken, teilen, kommentieren oder ignorieren sollten – abgestimmt auf die politischen Ziele der jeweiligen Auftraggeber.
Anthropic erklärte, die Narrative hätten Ähnlichkeit mit denen staatlich unterstützter Kampagnen gehabt, bestätigte diese Zuordnung jedoch nicht. Das Unternehmen betonte außerdem, dass keiner der Inhalte der Operation viral gegangen sei. Beschrieben wurde die Aktivität als dauerhaftes Engagement zur Förderung gemäßigter politischer Positionen im Auftrag von Kunden außerhalb der USA.
Zugangsdaten, Personalbetrug und Malware
In einem weiteren Fall berichtete Anthropic, ein versierter Akteur habe versucht, Systeme zum Sammeln offengelegter Benutzernamen und Passwörter im Zusammenhang mit Sicherheitskameras aufzubauen und diese Zugangsdaten gegen öffentlich erreichbare Ziele zu testen. Der Akteur nutzte Claude, um ein Scraping-Toolkit umzuschreiben, Skripte zum Sammeln von Ziel-URLs zu erstellen, Beiträge aus Telegram-Communitys für gestohlene Log-Daten zu verarbeiten und Suchsysteme zu verbessern. Anthropic erklärte, eine erfolgreiche Umsetzung sei nicht bestätigt worden.
Das Unternehmen berichtete zudem, einen Akteur gesperrt zu haben, der vor allem gegen Jobsuchende in osteuropäischen Ländern Personalbetrug betrieb. Anthropic zufolge gab sich die Operation als Personalverantwortliche legitimer Unternehmen aus und nutzte Claude, um Formulierungen zu verfeinern, Rekrutierungsnarrative zu entwickeln, Interviewmaterial zu erstellen und Nachrichten zu formatieren. Dem Bericht zufolge reichten die Betreiber schlecht formuliertes Englisch von Nicht-Muttersprachlern ein, das Claude überarbeiten sollte. Anthropic erklärte, erfolgreiche Betrugsfälle aus dieser Operation seien nicht bestätigt worden.
Ein vierter Fall betraf einen Akteur mit begrenzten Programmierkenntnissen, der Claude zur Entwicklung von Tools für Doxing und Fernzugriff einsetzte. Laut Anthropic wurde das Toolkit des Akteurs um Gesichtserkennung und Darknet-Scanning erweitert, während sich ein Malware-Builder von einem einfachen Batch-Skript-Generator zu einer grafischen Oberfläche für die Erstellung schädlicher Payloads entwickelte, die Sicherheitskontrollen umgehen und den Zugriff aufrechterhalten sollten. Ein realer Einsatz der Malware wurde vom Unternehmen nicht bestätigt.
Erkennung und Durchsetzung
Anthropic erklärte, sein Intelligence-Programm ziele darauf ab, Schäden aufzudecken, die von Standard-Erkennungssystemen übersehen werden, und liefere Kontext dazu, wie Akteure die Modelle des Unternehmens missbrauchen. Die Erkenntnisse aus jedem Fall seien in umfassendere Kontrollmechanismen eingeflossen, mit denen feindliche Nutzung künftig schneller erkannt und verhindert werden soll.
Quelle: Anthropic, „Detecting and countering malicious uses of Claude: March 2025“, veröffentlicht am 23. April 2025.
Häufige Fragen
- Welche Fälle beschrieb Anthropic?
- Anthropic beschrieb eine „Influence-as-a-Service“-Operation, Aktivitäten im Zusammenhang mit geleakten Zugangsdaten von Sicherheitskameras, eine Betrugskampagne bei der Personalvermittlung sowie einen unerfahrenen Akteur, der schädliche Tools entwickelte.
- Hat Anthropic bestätigt, dass die Cyber- und Betrugsversuche erfolgreich waren?
- Nein. Anthropic erklärte, weder die erfolgreiche Umsetzung der Aktivität rund um Zugangsdaten von Sicherheitskameras noch die Personalbetrugsfälle oder die Malware seien bestätigt worden.
- Wie reagierte Anthropic auf die identifizierten Aktivitäten?
- Das Unternehmen erklärte, die mit den Fällen verbundenen Konten erkannt, untersucht und gesperrt zu haben. Zudem seien die Erkenntnisse aus jedem Fall in umfassendere Kontrollmechanismen zur Erkennung feindlicher Nutzung eingeflossen.
- Wie wurde Claude bei der Einflussoperation eingesetzt?
- Anthropic zufolge half Claude dabei, politische Personas zu pflegen, Antworten zu generieren und zu entscheiden, ob Bot-Konten bestimmte Social-Media-Beiträge liken, teilen, kommentieren oder ignorieren sollten.