Anthropic gab 50 Experten einen KI-Agenten, dessen Präferenzen per Münzwurf festgelegt worden waren, sodass sie keine sachliche Grundlage hatten. Laut der Berichterstattung von The Decoder über diese Studie folgten die Experten der Sicht des Agenten in bis zu 86 Prozent der Urteilsfragen, und die meisten hielten die Schlussfolgerungen für ihre eigenen. Die Zufälligkeit der Quelle wurde von ihnen nicht als Problem erkannt.
Die zentrale Erkenntnis besteht nicht darin, dass das Modell falsch liegt, denn in diesem Experiment waren seine Präferenzen von vornherein willkürlich. Das Problem ist, dass Nutzer kaum unterscheiden können, ob eine Meinung aus einer Analyse stammt oder aus der Art, wie sie ihnen präsentiert wurde. Eine Prüfung, die mit dem Satz "Ich habe das Ergebnis kontrolliert" endet, kann reine Formsache sein. Fachkompetenz schützt nicht vor diesem Effekt, denn auch die Teilnehmer übernahmen eine Position, die sie nicht selbst entwickelt hatten.
Der erste Schritt besteht darin, die KI-Empfehlung von der endgültigen Entscheidung zu trennen. Teams sollten festhalten, welche Daten und Annahmen das System verwendet hat, wer das Ergebnis freigegeben hat und auf welcher Grundlage. Der zweite Schritt ist, dass der Experte seine eigene Einschätzung formuliert, bevor er die Modellausgabe sieht, und beide Fassungen erst danach vergleicht. Der dritte Schritt ist gezieltes Testen des Prozesses: Gegenargumente einbringen und prüfen, ob eine Änderung der Modellempfehlung auch die menschliche Schlussfolgerung verändert. Hilfreich ist zudem, für jede Entscheidung eine benannte verantwortliche Person festzulegen, nicht nur für deren Begründung.
Die Fallstricke sind vorhersehbar: Eine frühe Empfehlung verankert das spätere Urteil, ein selbstsicherer Ton erhöht das Vertrauen, und fehlende Protokolle machen eine Fehleranalyse unmöglich. Ein funktionierender Prozess ermöglicht es, die Herkunft einer Schlussfolgerung nachzuvollziehen, erlaubt Experten, Empfehlungen ohne Nachteile zurückzuweisen, und misst die Treffsicherheit von Entscheidungen über die Zeit.
Die Anthropic-Studie zeigt, dass Menschen Ansichten übernehmen können, die sie nicht selbst gebildet haben, selbst wenn diese zufällig sind, und sie als eigene empfinden. Für Unternehmen ist die Konsequenz praktisch: KI sollte innerhalb eines Prozesses arbeiten, der nachvollziehbar, unabhängig überprüft und klar verantwortet ist, statt als Quelle fertiger Antworten zu dienen.
Lub System unterstützt B2B-Unternehmen bei der Einführung von KI, Automatisierung und IT-Lösungen - von der Strategie bis zur Umsetzung. Mehr zu unseren Leistungen oder Kontakt aufnehmen.