· 5 min czytania
Ten o błędach poznawczych przy pracy z AI
Jakich błędów poznawczych łatwo doświadczyć przy pracy z AI? Błąd automatyzacji, kotwiczenie, potwierdzenie, złudzenie wiedzy i sposoby obrony przed nimi.
Użyłem AI, żeby dowiedzieć się, których błędów poznawczych mogę doświadczyć podczas używania AI. ;)
Dostałem siedem punktów. Część z nich ma solidne podstawy w badaniach, część to raczej zgrabne nazwy dla znanych zjawisk. Poniżej lista, którą dostałem, uzupełniona o to, co wiemy o tych błędach z psychologii, i o pytanie, które zostało: jak ich unikać?
Czym jest błąd automatyzacji?
Skłonnością do przyjmowania rekomendacji systemu automatycznego bez sprawdzania. Raja Parasuraman i Dietrich Manzey w przeglądzie badań z 2010 roku opisali dwa zjawiska: samozadowolenie, czyli rzadsze sprawdzanie systemu, który zwykle działa, i błąd automatyzacji, czyli przyjmowanie jego sugestii nawet wtedy, gdy inne informacje im przeczą. Zauważyli też, że doświadczenie i szkolenie nie chronią przed nimi w pełni.
Przy AI ten błąd jest szczególnie łatwy, bo odpowiedź brzmi pewnie i jest dobrze napisana. Lista punktów od AI wygląda jak opracowanie eksperta, nawet jeśli połowa z nich jest wymyślona.
Dlaczego „czarna skrzynka” wzmacnia zaufanie?
Bo gdy nie widzimy, jak powstał wynik, łatwo przypisać mu więcej mądrości, niż ma. To drugi punkt z mojej listy. Nie jest to nazwa używana w psychologii jako osobny błąd, ale dobrze opisuje mechanizm, który wzmacnia błąd automatyzacji: brak wglądu w rozumowanie utrudnia jego sprawdzenie, więc łatwiej je przyjąć w całości.
Jak AI wzmacnia błąd potwierdzenia?
Odpowiadając na pytanie w takiej formie, w jakiej je zadaliśmy. Raymond Nickerson w przeglądzie z 1998 roku opisał błąd potwierdzenia jako skłonność do szukania i interpretowania informacji tak, żeby pasowały do tego, w co już wierzymy. Jeśli zapytam AI, dlaczego mój pomysł jest dobry, dostanę argumenty za. Jeśli zapytam, dlaczego jest zły, dostanę argumenty przeciw. Sposób zadania pytania jest już połową odpowiedzi.
Czym jest kotwiczenie na pierwszej odpowiedzi?
Trzymaniem się pierwszej liczby albo pierwszej propozycji, nawet gdy później dostajemy lepsze. Amos Tversky i Daniel Kahneman opisali ten efekt w 1974 roku: ludzie, którzy zaczynają od jakiejś wartości, dopasowują do niej kolejne oceny, ale zwykle za słabo. Pierwsza wersja kodu, tekstu albo planu wygenerowana przez AI łatwo staje się punktem odniesienia, od którego tylko trochę odchodzimy.
A dostępność?
Tversky i Kahneman opisali też heurystykę dostępności: oceniamy, jak coś jest częste albo ważne, po tym, jak łatwo przychodzą nam do głowy przykłady. Odpowiedź AI podaje kilka czynników w uporządkowanej liście, więc to one stają się dostępne, a te, których nie wymieniła, znikają z rozmowy.

Dlaczego po rozmowie z AI czujemy, że wiemy więcej?
Bo mylimy dostęp do wiedzy z jej posiadaniem. Ostatnie dwa punkty z listy, fałszywe poczucie ekspertyzy i „efekt Dunninga-Krugera w wersji cyfrowej”, opisują jedno zjawisko. Matthew Fisher, Mariel Goddu i Frank Keil pokazali w 2015 roku, że ludzie, którzy szukali odpowiedzi w internecie, potem wyżej oceniali swoją wiedzę także w tematach, których nie szukali. Leonid Rozenblit i Frank Keil wcześniej nazwali to złudzeniem głębi wyjaśniania: wydaje nam się, że rozumiemy, jak coś działa, dopóki nie spróbujemy tego wyjaśnić krok po kroku.
David Dunning i Justin Kruger w 1999 roku opisali coś pokrewnego: osoby z małą wiedzą w danej dziedzinie częściej przeceniają swoje umiejętności, bo brakuje im wiedzy potrzebnej do oceny własnych błędów.
Jak się przed tym bronić?
Kilka prostych nawyków:
- Zapytaj o argumenty przeciw. Po odpowiedzi poproś AI o najmocniejsze argumenty przeciwko niej.
- Poproś o kilka wersji przed wyborem. Zamiast poprawiać pierwszą, porównaj trzy różne.
- Sprawdź źródła. Każdą liczbę, nazwisko i cytat sprawdź poza rozmową z AI. Ten wpis też tak powstał: punkty z listy sprawdziłem w badaniach, które podaję w Bibliografii.
- Wyjaśnij temat własnymi słowami. Jeśli nie umiesz, wiesz mniej, niż Ci się wydaje.
O tym, jak AI zmienia pracę zespołów, pisałem też przy adopcji w czasach AI.
Które z tych błędów zauważyliście u siebie i jak ich unikacie?
Bibliografia
- Parasuraman, R., Manzey, D. H. (2010). Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors, 52(3), 381–410.
- Nickerson, R. S. (1998). Confirmation Bias: A Ubiquitous Phenomenon in Many Guises. Review of General Psychology, 2(2), 175–220.
- Tversky, A., Kahneman, D. (1974). Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.
- Fisher, M., Goddu, M. K., Keil, F. C. (2015). Searching for Explanations: How the Internet Inflates Estimates of Internal Knowledge. Journal of Experimental Psychology: General, 144(3), 674–687.
- Rozenblit, L., Keil, F. (2002). The Misunderstood Limits of Folk Science: An Illusion of Explanatory Depth. Cognitive Science, 26(5), 521–562.
- Kruger, J., Dunning, D. (1999). Unskilled and Unaware of It. Journal of Personality and Social Psychology, 77(6), 1121–1134.
💬 Dołącz do dyskusji na LinkedIn → Komentuj i podziel się swoim podejściem