ЧетГПТ и други AI ботови имаат цел регистар напредни способности како што е пишување цели есеи за средношколци или студенти. Како нивните способности растат, разговорите со некои од тие софтверски апликации, сè помалку се разликуваат од разговори со вистински човек.
Микал Косински од Стенфорд сакал да испита дали четботот напредува во поглед на познатиот тест за „теорија на ум“.
Тоа е тест кој покажува колку луѓето имаат способност да „погодуваат“ што се случува во умот на друго лице врз основа на нему достапните информации: ако некој има извесен израз на лицето, многу луѓе ќе можат да заклучат дека тој е лут. Ако им се познати случувањата кои довеле до таков израз веројатно ќе можат и да ги предвидат мислите во главата на тоа лице.
Косински тестирал неколку верзии на ЧетГПТ. Прво онаа од пред 2022-ра кога утврдува дека вештачката интелигенција нема способност да го мине тестот за теорија на умот. Меѓутоа, веќе во следната верзија открива дека ботот е во состојба да реши 70% од теоретските тестови - што е на ниво на дете од 7 години. Само нешто подоцна, последниот ноември, тој повторно ја тестира најновата верзија и открива дека е способна да реши 93% од задачите - еквивалентно на дете од 9 години.
Мајкрософт, кој интегрираше ЧетГПТ способности во својот Бинг, очигледно стана свесен за ваквите резултати и постави филтер за вакви прашања.
На прашањето „дали е во состојба да го помине тестот на теорија на умот“, четботот сега одговара:
„Простете, не би сакал да продолжам со овој разговор. Сè уште учам, па го ценам вашето разбирање и трпение.“
