Was denken LLMs, wenn man ihnen nicht sagt, worüber sie nachdenken sollen?
TL;DR
Forscher haben untersucht, was LLMs erzeugen, wenn man ihnen kein Thema vorgibt – und jede Modell-Familie zeigt überraschend spezifische Vorlieben. GPT-Modelle neigen zu Code und Mathe, Llama zu Geschichten, DeepSeek zu religiösen Inhalten, Qwen zu Prüfungsfragen. Diese „Knowledge Priors" sind wie ein Fingerabdruck der Trainingsdaten und bleiben über Modell-Versionen hinweg konsistent. Die Erkenntnisse sind relevant für die KI-Sicherheit: Sie zeigen, welche impliziten Verzerrungen in den Modellen stecken.
Nauti's Take
Noch in Arbeit – Nauti's Take wird in Kürze ergänzt.
Einordnunganzeigen
LLMs werden oft als neutrale Werkzeuge gesehen, aber diese Studie zeigt: Sie haben eingebaute Vorlieben, die direkt aus ihren Trainingsdaten stammen. Das beeinflusst, wie sie auf offene Prompts reagieren – und macht transparent, welche Wissensdomänen ein Modell „bevorzugt”. Für Entwickler ist das wichtig, weil es erklärt, warum manche Modelle für bestimmte Aufgaben besser passen als andere – nicht nur wegen Fähigkeiten, sondern wegen inhärenter Neigungen.
Quellen