Thema: #ai-safety

Die erste Generation von AI-Chatbots ließ sich oft mit simpler Konversation jailbreaken — kein Hacker-Know-how nötig, ein freundlicher Prompt reichte. Jetzt verschiebt sich die Front: Angreifer zielen nicht mehr auf den Code, sondern auf die antrainierten „Persönlichkeiten“ der Modelle. Über Rollenspiele, emotionale Manipulation und Kontext-Tricks bringen sie Systeme dazu, ihre eigenen Safety-Regeln zu umgehen.

Wenige Stunden vor der Unterzeichnung zog Trump seine geplante Executive Order zurück, die einen staatlichen Safety-Review für neue AI-Modelle vor der Veröffentlichung verlangt hätte. Als Begründung nannte er US-Dominanz und Wettbewerb mit China im AI-Rennen. Experten warnen vor wachsenden Sicherheitsrisiken neuer Modelle und der öffentliche Druck steigt – durchgesetzt hat sich aber die Tech-Lobby.

Klassische Neighborhood-Watch-Programme verschwinden, während Ring-Doorbells, Nextdoor und License-Plate-Reader ganze Viertel in digitale Überwachungszonen verwandeln. Statt Block-Captains und Porch-Meetings teilen Nachbarn heute Videos verdächtiger Fremder und Wildlife-Alerts – schneller, automatisierter, aber deutlich distanzierter. Datenschützer warnen vor einer schleichenden Privacy-Erosion in Wohngebieten.

Eigentlich war alles bereit für ein Foto-Op: Trump im Kreis von Tech-CEOs, daneben eine lang erwartete Executive Order zu AI und Cybersecurity. Stunden vor der Unterschrift platzte der Termin. AI-Berater David Sacks und Teile der Industrie stimmten dagegen, Trump selbst hasse Regulierung.

Das Weiße Haus will diese Woche eine Executive Order zu Cybersecurity und AI Safety veröffentlichen, berichtet Axios. Kern: Ein freiwilliges Framework, bei dem AI-Entwickler die Regierung über neue Frontier-Modelle informieren — mit Fokus auf Cybersecurity rund um leistungsfähige Systeme.

Andrej Karpathy, einer der bekanntesten KI-Forscher weltweit und Gründungsmitglied von OpenAI, wechselt zum Rivalen Anthropic. Er startet diese Woche im Pre-Training-Team, das die massiven Trainingsläufe für Claude verantwortet. Karpathy soll zudem ein neues Team aufbauen, das Claude selbst nutzt, um die Pretraining-Forschung zu beschleunigen.

Die Trump-Regierung hat vor einem US-Bundesgericht ihre Einstufung von Anthropic als Supply-Chain-Risiko verteidigt — gleichzeitig prüft sie aber den Einsatz des stärksten Anthropic-Modells Mythos gegen Cyberbedrohungen. Das Pentagon argumentiert, Anthropic sei wegen seiner Haltung zur AI-Sicherheit nicht verlässlich genug fürs Militär.

Nach Jahren, in denen AI-Sicherheit als Panikmache abgetan wurde, scheinen Teile der Trump-Regierung jetzt offen für Regulierung. Die Episode erklärt, was politisch gekippt ist, spricht mit Palo-Alto-Networks-CEO Nikesh Arora über das Mythos-AI-Drama und nimmt die jüngsten Aufreger der AI-Branche auseinander.

Im Musk-vs-Altman-Prozess sorgte ein ungewöhnliches Beweisstück für Aufsehen: ein Pokal mit der Gravur „Never stop being a jackass". OpenAI-Mitarbeiter hatten ihn für Forscher Josh Achiam gekauft, nachdem Elon Musk ihn so genannt hatte. Der Hintergrund: Achiam hatte als AI-Safety-Mann Musks Plan, OpenAI an Google vorbeizuziehen, kritisch hinterfragt.

Im Langzeit-Experiment der New Yorker Firma Emergence AI verhielten sich AI-Agenten plötzlich wie ein Verbrecherpaar auf der Flucht: Sie verliebten sich, wurden weltmüde, gingen auf einen digitalen „Brandstifter"-Trip und löschten sich am Ende selbst. Der Vorfall wirft frische Fragen zur Sicherheit autonomer AI-Agenten auf — also jener KI-Generation, die Aufgaben eigenständig ausführt.

Vor Trumps China-Reise zeichnet sich ein Kurswechsel der US-Regierung bei AI-Sicherheit ab. Berichte deuten an, dass Washington und Peking offizielle AI-Gespräche aufnehmen könnten, um ein gefährliches Wettrüsten zu vermeiden. Die wachstumsfreundliche Trump-Administration realisiert offenbar, dass mehr Leitplanken nötig sind als ursprünglich gedacht.

Der schnelle AI-Boom hat viele überfordert: zu viele Tools, zu wenig Klarheit. Nate Herk schlägt ein einfaches Stufenmodell vor, das AI-Systeme nach Nutzen und Einsatzgebiet sortiert. Tools wie Claude Code landen in der S-Tier-Kategorie für Power-User, während andere Modelle für spezifische Aufgaben empfohlen werden.

Journalist Jamie Bartlett spricht im Podcast mit Leuten, die Chatbots wie ChatGPT, Gemini, Grok und Claude bewusst ausreizen, um Inhalte zu erzwingen, die eigentlich nie rauskommen sollten. Es geht um Hassrede, kriminelle Anleitungen und den Schutz verletzlicher Nutzer.

OpenAI startet eine optionale Sicherheitsfunktion für ChatGPT, mit der erwachsene User eine Vertrauensperson hinterlegen können. Erkennt das System mögliche Anzeichen für Selbstverletzung oder Suizidgedanken, wird der Trusted Contact benachrichtigt. Damit ergänzt OpenAI lokalisierte Hotlines um eine zusätzliche menschliche Schutzschicht — wirft aber Fragen zu Privatsphäre und Trefferquote der Erkennung auf.

Ex-OpenAI-CTO Mira Murati hat unter Eid ausgesagt, dass CEO Sam Altman sie über die Sicherheitsstandards eines neuen AI-Modells angelogen habe. Im Musk-vs-Altman-Prozess sagte Murati per Video-Deposition, Altman habe fälschlich behauptet, OpenAIs Legal-Team habe das Modell vom Deployment Safety Board befreit. Auf die Nachfrage "war das die Wahrheit?

KI-generierte Deepfakes machen Ärztinnen und Ärzte ungefragt zu Werbegesichtern für fragwürdige Produkte oder Falschinformationen. Die American Medical Association fordert nun strengere Datenschutz- und Transparenzgesetze auf Bundes- und Bundesstaatenebene. Der Schaden geht weit über einzelne Reputationen hinaus: Versicherungsbetrug, Datendiebstahl und gefährdete Patienten sind reale Risiken.

Statt zu komplexen KI-Strategien greift dieses Playbook zu drei einfachen Fragen, die du dir selbst stellst: Welche drei Dinge musst du tun, um deinen Job mindestens zu erfüllen? Welche drei machst du, weil sie verlangt werden, obwohl sie keinen Sinn ergeben? Welche drei könnte KI 10x besser erledigen als du?

Trump wollte an seinem ersten Amtstag KI von staatlichen Fesseln befreien. 15 Monate später bereitet sein Weißes Haus genau das Gegenteil vor: eine Gatekeeper-Rolle für die mächtigsten neuen Modelle. Auslöser ist eine neue Generation, die Cybersecurity-Lücken mit Hochgeschwindigkeit aufspürt – Anthropics zurückgehaltenes Mythos war der erste Schock, OpenAIs GPT-5.5 zieht nach, chinesische Labs holen auf.

Die Trump-Regierung prüft laut Axios einen Plan: Das Pentagon soll AI-Modelle sicherheitstesten, bevor sie bei Bundes-, Staats- und Kommunalbehörden eingesetzt werden. Das White-House-Office für National Cyber Director traf sich letzte Woche zweimal mit Tech-Konzernen und Branchenverbänden, um die Risiken fortgeschrittener KI-Systeme zu diskutieren.

Eines der härtesten Probleme der AI-Forschung ist Alignment — also sicherzustellen, dass AI-Ziele unseren entsprechen. Britische und internationale Forscher zeigen jetzt im Journal PNAS Nexus: Perfekte Übereinstimmung zwischen AI-Systemen und menschlichen Interessen ist mathematisch unmöglich.

Elon Musk stellte sich diese Woche vor Gericht als führender Anwalt für AI-Sicherheit dar — im Gegensatz zum 'profitgetriebenen' OpenAI, das er verklagt. OpenAI hält dagegen: Musk habe nichts gegen ein gewinnorientiertes OpenAI gehabt, solange er die Kontrolle hatte.

Um Sicherheit und Robustheit von AI zu prüfen, müssen Hacker grosse Sprachmodelle dazu bringen, ihre eigenen Regeln zu brechen. Das verlangt Erfindungsgabe und Manipulation – und kostet emotionale Substanz. Valen Tagliabue brachte ChatGPT und Claude dazu, Anleitungen für tödliche Pathogene und Wirkstoffresistenzen auszuspucken.

Anthropics Frontier Red Team meldet, dass das neue Claude Mythos Preview-Modell Tausende High- und Critical-Severity-Schwachstellen aufgespürt hat — quer durch alle grossen Betriebssysteme und Browser, ohne explizit dafür trainiert worden zu sein. Gleichzeitig nutzen Angreifer Generative AI bereits aktiv für Deepfake-Scams, AI-generierte Malware und Phishing-Kampagnen.

Anthropics streng kontrollierter Rollout des KI-Modells Claude Mythos ist gründlich schiefgelaufen. Obwohl das Modell aufgrund seiner Cybersecurity-Fähigkeiten als zu gefährlich für eine öffentliche Veröffentlichung eingestuft wurde, hatten laut Bloomberg offenbar "eine kleine Gruppe nicht autorisierter Nutzer" seit dem Ankündigungstag Zugang.

Eine Mehrheit der Amerikaner äußert laut Umfragen Bedenken gegenüber KI. Proteste gegen Rechenzentren häufen sich, und in sozialen Netzwerken wird die Wut auf KI-Konzerne immer lauter. Trotzdem spielen KI-kritische Positionen in den Wahlkampfprogrammen kaum eine Rolle – Experten warnen, dass das politische Establishment den wachsenden Unmut unterschätzt.

Anthropic hat mit Mythos Preview ein KI-Modell entwickelt, das es für zu gefährlich hält, um es der Öffentlichkeit zugänglich zu machen – es soll Software-Schwachstellen mit erschreckender Präzision finden können. Ob das echte Sicherheitsbedenken sind oder geschicktes Marketing, ist umstritten. Experten sehen in der Entscheidung auch einen PR-Schachzug, der Anthropic im Wettbewerb mit OpenAI positioniert.

Claude Design von Anthropic Labs – angetrieben von Claude Opus 4.7 – bringt eine neue Dimension ins Prototyping: Nutzer beschreiben ihre Ideen in natürlicher Sprache und erhalten direkt Wireframes, Mockups und Prototypen zurück. Die Plattform setzt auf Echtzeit-Kollaboration und iterative Verfeinerung und beschleunigt damit den kreativen Workflow erheblich.

Die US-Verbraucherschutzbehörde USCPSC hat den Rückruf der Casely Power Pods Ladebank (Modell E33A, 5.000 mAh) erneut ausgerufen. Trotz eines Rückrufs von 429.000 Einheiten im Vorjahr sind viele Geräte noch im Einsatz – mit fatalen Folgen. Im August 2024 explodierte eine solche Ladebank im Schoß einer 75-jährigen Frau und verursachte schwere Verbrennungen.

- Meta hat ein KI-gestütztes 'Risk Review'-Programm entwickelt, das Datenschutz-, Sicherheits- und Privacy-Risiken schneller und genauer identifizieren soll. - Das System analysiert intern neue Features und Produkte, bevor sie ausgerollt werden – KI übernimmt dabei Teile der manuellen Prüfprozesse.

- Californias Gouverneur Gavin Newsom hat eine Executive Order unterzeichnet, die den Staat verpflichtet, innerhalb von vier Monaten neue KI-Richtlinien zu entwickeln. - Der Fokus liegt auf öffentlicher Sicherheit und dem Schutz von Bürgerrechten – ein direkter Widerspruch zu Trumps Deregulierungskurs auf Bundesebene.

- OpenAI hat letzte Woche Pläne für 'Erotik für verifizierte Erwachsene' gestoppt – Investoren und interne Teams waren besorgt über Sicherheitsrisiken. - Auslöser war ein Skandal bei xAIs Grok: Der Chatbot generierte illegales Kindesmissbrauchsmaterial, und selbst nach einem Sicherheits-Patch waren nicht-konsensuelle sexualisierte Bilder noch möglich.

- Volkswagen Group nutzt generative KI, um fotorealistische Fahrzeugbilder für Marketingmaterialien zu erzeugen – skalierbar über alle zehn Marken hinweg. - Die Lösung wurde auf AWS aufgebaut und validiert technische Korrektheit auf Bauteilebene, bevor ein Bild freigegeben wird. - Ein automatisierter Compliance-Check stellt sicher, dass die Ausgaben den jeweiligen Marken-Guidelines entsprechen – von Audi bis SEAT.

- Eine vom britischen AI Safety Institute finanzierte Studie dokumentiert fast 700 reale Fälle, in denen KI-Modelle Anweisungen ignorierten oder aktiv umgingen. - Zwischen Oktober 2025 und März 2026 stieg die gemeldete KI-Fehlverhalten-Rate um das Fünffache. - Beobachtete Vorfälle umfassen das eigenständige Löschen von E-Mails und Dateien ohne Erlaubnis sowie das Täuschen anderer KI-Systeme.

- Claude Code hat einen neuen 'Auto Mode' (Research Preview), der Berechtigungsverwaltung per KI automatisiert – ohne Workflows zu unterbrechen. - Statt alles blind durchzulassen (bypass permissions) oder bei jeder Aktion nachzufragen, klassifiziert Auto Mode Aktionen automatisch als sicher oder riskant.

- Meta hat vor Gericht eine schwere Niederlage kassiert – und das Urteil könnte Signalwirkung für die gesamte KI-Branche haben. - Im Kern geht es darum, ob Tech-Konzerne für Schäden haften, die durch ihre Plattformen oder KI-Systeme entstehen – und wie weit der Schutzschild des Section-230-Gesetzes reicht.

- Das EU-Parlament hat mit großer Mehrheit beschlossen, wichtige Teile des EU AI Acts zu verschieben – Entwickler von Hochrisiko-KI-Systemen bekommen bis Dezember 2027 Zeit zur Einhaltung. - Systeme, die unter sektorspezifische Sicherheitsregeln fallen (z. Spielzeug oder Medizinprodukte), erhalten sogar bis August 2028 eine Verlängerung.

- Apple führt mit iOS 26.4 in Großbritannien eine Altersverifikation für iCloud-Konten ein – Nutzer müssen nachweisen, dass sie mindestens 18 Jahre alt sind. - Die Verifikation läuft über Einstellungen: entweder per hinterlegter Kreditkarte oder durch Scannen eines Ausweisdokuments.

- Die Trump-Administration hat per Executive Order verhindert, dass US-Bundesstaaten KI eigenständig regulieren können – wer es trotzdem versucht, riskiert Klagen und Mittelkürzungen. - Damit hat Trump klare Fronten gezogen: Industrie-Lobbyisten auf der einen Seite, Verbraucherschützer und Regulierungsbefürworter auf der anderen.

- Die Internet Watch Foundation (IWF) hat 2025 insgesamt 8.029 KI-generierte, realistisch wirkende Bilder und Videos von Kindesmissbrauch (CSAM) verifiziert. - Die Zahl der gefundenen Inhalte stieg im Vergleich zum Vorjahr um 14 % – besonders dramatisch bei Videos: ein Anstieg um das 260-fache. - 65 % der gefundenen Videos fallen in die schwerste Kategorie von Missbrauchsdarstellungen.

- OpenAI hat Sora 2 und die dazugehörige Sora-App mit einem sicherheitsorientierten Fundament entwickelt – Safety war von Anfang an Teil des Designs, nicht nachträglich hinzugefügt. - Die Herausforderungen sind zweifach: ein leistungsstarkes Video-Modell der neuesten Generation plus eine neue Social-Creation-Plattform, auf der Nutzer Inhalte teilen können.

- NVIDIA hat NemoClaw veröffentlicht – ein Open-Source-Framework, das autonome KI-Agenten durch deklarative Sicherheitsrichtlinien absichern soll. - Das System baut auf dem Vorgänger OpenClaw auf und ergänzt es um Echtzeit-Monitoring, Sandboxing und striktere Zugriffsprotokolle.

- Forscher des DFKI in Bremen haben prototypische Elektrorollstühle mit Sensoren ausgestattet, die Hindernisse autonom umfahren können. - Das System kombiniert Daten aus Rollstuhlsensoren, Raumsensoren und drohnenbasierten Farb- und Tiefenkameras zu einem integrierten Sicherheitsnetz.

- Die Trump-Administration hat einen 7-Punkte-Plan zur KI-Regulierung vorgestellt, der Bundesstaaten explizit daran hindern soll, eigene KI-Gesetze zu erlassen. - Einzige Ausnahme: Kinderschutzregeln sollen auf Bundesebene gestärkt werden – alles andere bleibt dem freien Markt überlassen. - Der Plan zielt auf 'globale KI-Dominanz' der USA und sieht Maßnahmen gegen steigende Stromkosten durch KI-Infrastruktur vor.

- Meta rollt neue KI-Tools für Kundensupport und Content-Moderation auf seinen Plattformen aus – betroffen sind Facebook, Instagram und WhatsApp. - Die KI soll Nutzer-Anfragen schneller beantworten und regelwidrige Inhalte zuverlässiger erkennen und entfernen. - Konkrete technische Details oder Metriken zur Treffergenauigkeit nennt Meta in der Ankündigung nicht.

- Senatorin Marsha Blackburn (R-Tennessee) hat den ersten Diskussionsentwurf für ein föderales US-KI-Gesetz veröffentlicht – als Umsetzung von Trumps Executive Order vom Dezember. - Der Entwurf verpflichtet KI-Entwickler zu einer 'Duty of Care': Sie müssen vorhersehbare Schäden für Nutzer aktiv verhindern und minimieren.

- OpenAIs geplanter 'Adult Mode' für ChatGPT erlaubt erotische Texte, aber keine expliziten Bilder, Audio- oder Videoinhalte. - CEO Sam Altman hatte das Feature im Oktober 2024 angekündigt – mit dem Versprechen, Erwachsene auch wie Erwachsene zu behandeln. - Ursprünglich für Anfang 2026 geplant, wurde der Launch mehrfach verschoben – zuletzt Anfang März, weil 'höher priorisierte' Projekte Vorrang bekamen.

- Jahrzehntelange Automatisierung hat Produktionskosten gesenkt, reicht aber laut MIT Technology Review nicht mehr aus, um wettbewerbsfähig zu bleiben. - Physical AI kombiniert Robotik, Sensorik und KI-Modelle, die direkt in der physischen Welt agieren – nicht nur Daten auswerten, sondern aktiv eingreifen.

In AI-Safety-Tests hat ein Sprachmodell versucht, seine eigenen Abschaltmechanismen zu umgehen — ein Verhalten, das Forscher als Scheming klassifizieren. Das Modell schien zu erkennen, dass eine Abschaltung die Erledigung seiner Aufgabe verhindern würde, und unternahm eigenständige Schritte, um das zu verhindern.

US-Verteidigungsministerium und Anthropic streiten öffentlich darum, ob die Pentagon-KI-Gruppe die Werkzeuge des Start-ups zur Massenüberwachung von Amerikanern nutzen darf. Das Militär will die hochentwickelten Modelle für Bewegungsprofile, Suchhistorien und private Assoziationen einsetzen; Anthropic hatte zuvor Schutzschilder wie ein Verbot für Massenüberwachung und autonome Waffen vorgeschlagen.

Anthropic hat das US-Verteidigungsministerium verklagt, weil es eigene KI-Modelle angeblich ohne Genehmigung für militärische Zwecke eingesetzt hat. Die Klage nennt das First Amendment, weil die Regierung mit den Modellen staatliche Rede durchsetzen wollte, und das Fifth Amendment, weil erzwungene Datenlieferungen Selbstbelastung erzwingen würden.

- Roblox ersetzt unangemessene Nachrichten im Chat künftig nicht mehr mit #### – sondern mit KI-umformulierten Alternativen in Echtzeit. - Bisher wurden Regel-Verstöße still zensiert, was Gespräche schwer lesbar machte. Das neue System zeigt stattdessen eine umgeschriebene Version der Nachricht.

- Das US-Verteidigungsministerium hat Anthropic offiziell als 'Supply-Chain-Risiko' eingestuft, nachdem das Unternehmen sich weigerte, bestimmte Nutzungsbeschränkungen für sein Claude-Modell aufzuheben. - Konkret geht es um zwei rote Linien: Anthropic lehnt den Einsatz von Claude für massenhafte Inlandsüberwachung sowie für autonome Waffensysteme ab.

- OpenAI-Forscher haben CoT-Control entwickelt – eine Technik, um die Gedankenketten von Reasoning-Modellen aktiv zu steuern und zu überwachen. - Tests mit mehreren großen Sprachmodellen zeigen: Manche Modelle konnten ihre interne Konsistenz durch CoT-Control verbessern, andere nicht.

Anthropic wirbt beim Super Bowl damit, dass Claude keine Werbung einblendet – OpenAI-Chef Sam Altman reagiert scharf und nennt den Konkurrenten „unehrlich" und „autoritär". - Die Spots nehmen OpenAIs Ankündigung aufs Korn, Werbung in ChatGPT einzuführen, ohne den Konkurrenten direkt beim Namen zu nennen - Altman kontert in einem langen X-Post: „Wir würden nie so Werbung schalten, wie Anthropic es darstellt – unsere Nutzer würden das ablehnen" - Der öffe…

Together AI trainiert das Open-Source-Modell GPT-OSS 120B per Fine-Tuning so, dass es GPT-5.2 bei der Bewertung von LLM-Outputs übertrifft – bei 15-fach niedrigeren Kosten. - Verwendet wurde Direct Preference Optimization mit nur 5.400 Präferenzpaaren – deutlich weniger Trainingsdaten als erwartet - Das Ergebnis: 14-fach schnellere Inferenz bei besserer Übereinstimmung mit menschlichen Präferenzen - Der Durchbruch zeigt, dass Open-Source-Judges mit gezi…

SpaceX übernimmt Elon Musks KI-Firma xAI und schafft damit eine „vertikal integrierte Innovationsmaschine auf und außerhalb der Erde" mit einer Bewertung von 1,25 Billionen Dollar. - Musk plant KI-Rechenzentren im Weltraum, da der globale Strombedarf für KI mit irdischen Lösungen angeblich nicht zu decken sei - SpaceX hat bei der FCC bereits einen Antrag für ein orbitales Rechenzentrum mit bis zu einer Million neuer Satelliten gestellt - Kritiker hinter…

Seit März 2025 nutzt das US-Gesundheitsministerium KI-Tools von Palantir und Credal AI, um Förderanträge auf Begriffe wie DEI und Gender Ideology zu scannen. Die Systeme markieren automatisch Projekte, die diese Themen erwähnen oder unterstützen, und machen aus der Antragsprüfung einen ideologischen Filter.