ChatGPT, supergwiazda sztucznej inteligencji, w trakcie swojej działalności stanęła przed pytaniem: czy spełniła standard testu Turinga w zakresie generowania wyników nie do odróżnienia od reakcji człowieka? Najnowsze badania sugerują, że ChatGPT, pomimo doskonałej wydajności, nie wydaje się, aby w pełni przekroczył ten próg.
Dwóch badaczy z Uniwersytetu Kalifornijskiego w San Diego, Cameron Jones, ekspert w dziedzinie języka, semantyki i uczenia maszynowego, oraz Benjamin Bergen, profesor nauk kognitywnych, zadali to pytanie, odwołując się do pracy Turinga 70 lat temu. Turing zaproponował proces ustalania, czy maszyna może osiągnąć poziom inteligencji i umiejętności konwersacyjnych wystarczający do oszukania innych, aby pomyśleli, że to człowiek.
Ich raport nosi tytuł „Czy GPT-4 zdaje test Turinga?” Można go znaleźć na serwerze preprintów arXiv. Na potrzeby badania zebrano 650 uczestników, którzy grali w 1400 „gier”, podczas których uczestnicy odbyli krótką rozmowę z innym człowiekiem lub modelem GPT i zostali poproszeni o określenie, z kim rozmawiają.
To, co odkryli naukowcy, było niezwykłe. Model GPT-4 oszukał uczestników w 41 procentach przypadków, podczas gdy GPT-3.5 oszukał ich tylko w 5 do 14 procentach przypadków. Co ciekawe, ludziom udało się przekonać uczestników, że nie są maszynami, jedynie w 63 procentach prób.
„Nie znaleźliśmy żadnych dowodów na to, że GPT-4 przeszło test Turinga” – podsumowali badacze. Zauważają jednak, że test Turinga nadal ma wartość w ocenie skutków rozmów maszynowych, jako podstawa do pomiaru płynnych interakcji społecznych i oszustw, a także w zrozumieniu ludzkich strategii dostosowywania się do tych urządzeń.
Ostrzegają jednak również, że w wielu przypadkach chatboty nadal będą w stanie komunikować się w przekonujący sposób. „41-procentowy wskaźnik sukcesu sugeruje, że modele sztucznej inteligencji mogą już mieć zdolność do oszukiwania, szczególnie w sytuacjach, gdy ludzie są mniej wyczuleni na możliwość, że nie rozmawiają z człowiekiem” – zauważają naukowcy. Modele sztucznej inteligencji, które skutecznie naśladują ludzi, mogą mieć szerokie implikacje społeczne i gospodarcze”.
Naukowcy zaobserwowali, że uczestnicy, którzy prawidłowo zidentyfikowali sztuczną inteligencję z ludźmi, skupiali się na kilku czynnikach. Model zbyt formalny lub zbyt nieformalny budzi podejrzenia. Jeśli ich wypowiedzi są zbyt rozwlekłe lub zbyt zwięzłe, jeśli ich gramatyka lub interpunkcja są wyjątkowo dobre lub „przekonująco” słabe, będzie to również kluczowy czynnik przy ustalaniu, czy uczestnicy wchodzą w interakcję z ludźmi czy maszynami. Ponadto uczestnicy byli wrażliwi na odpowiedzi, które brzmiały zbyt ogólnie.
Naukowcy sugerują, że śledzenie modeli sztucznej inteligencji będzie zyskiwać coraz większe znaczenie, ponieważ staną się one bardziej płynne i będą uwzględniać więcej ludzkich dziwactw. „Identyfikacja czynników prowadzących do oszustwa i strategii łagodzenia tego zjawiska będzie zyskiwać coraz większe znaczenie” – stwierdzili. Badanie pokazuje, że dziedzina inteligentnych rozmów wciąż stoi przed wyzwaniami, ale dostarcza także przydatnych informacji na temat możliwości ulepszenia modeli sztucznej inteligencji.
