Anthropic przekazał 50 ekspertom agenta AI, którego preferencje zostały ustalone rzutem monetą, więc nie miały żadnego merytorycznego uzasadnienia. Według relacji The Decoder z tego badania eksperci podążali za poglądem agenta w do 86 procent decyzji wymagających oceny, a większość z nich uważała, że wnioski są ich własne. Przypadkowość źródła nie została przez nich zauważona jako problem.
Kluczowy wniosek nie polega na tym, że model się myli, bo w tym eksperymencie jego preferencje były arbitralne z założenia. Problem polega na tym, że użytkownik nie potrafi łatwo rozstrzygnąć, czy opinia wynika z analizy, czy z tego, w jaki sposób została mu przedstawiona. Przegląd zakończony zdaniem "sprawdziłem wynik" może być formalnością. Kompetencje eksperta nie chronią przed tym efektem, bo uczestnicy badania nadal przyjęli stanowisko, którego sami nie wypracowali.
Pierwszym krokiem jest oddzielenie rekomendacji AI od decyzji końcowej. Zespół powinien zapisywać, jakich danych i założeń użył system, kto zatwierdził wynik i na jakiej podstawie. Drugim krokiem jest to, aby ekspert sformułował własną ocenę przed zobaczeniem wyniku modelu, a dopiero potem porównał obie wersje. Trzecim jest celowe testowanie procesu: wprowadzanie kontrargumentów i sprawdzanie, czy zmiana sugestii modelu zmienia także wniosek człowieka. Warto wyznaczać nazwaną osobę odpowiedzialną za każdą decyzję, a nie tylko za jej uzasadnienie.
Pułapki są przewidywalne: wczesna rekomendacja zakotwicza późniejszą ocenę, pewny ton odpowiedzi zwiększa zaufanie, a brak logów uniemożliwia analizę błędów. Działający proces pozwala prześledzić, skąd wziął się wniosek, umożliwia ekspertom odrzucenie rekomendacji bez konsekwencji i mierzy trafność decyzji w czasie.
Badanie Anthropic pokazuje, że ludzie mogą przejmować poglądy, których sami nie wypracowali, nawet gdy są przypadkowe, i odbierać je jako własne. Dla firm wniosek jest praktyczny: AI powinno działać wewnątrz procesu, który jest możliwy do prześledzenia, niezależnie oceniany i ma jasno wskazaną odpowiedzialność, a nie być źródłem gotowych odpowiedzi.
Lub System pomaga firmom B2B wdrażać AI, automatyzację i rozwiązania IT kompleksowo - od strategii po wdrożenie. Zobacz nasze usługi lub skontaktuj się z nami, aby omówić Twój przypadek.