Во статијата, тие го нарекуваат ова „заблудувачка спирала“. Основната идеја е едноставна: едно лице доаѓа со дилема, сомнеж или чудна идеја, ботот ја потврдува, потоа ја потврдува уште посилно, и по неколку повторувања, довербата во лажниот поглед на светот расте сама по себе.
Авторите го формализирале ова во Баесов статистички модел и покажаа дека проблемот не исчезнува дури ни со два често користени „протиотрова“: принудување на ботот да одговара само со факти и однапред предупредување на корисникот дека моделот е малку шупак.
Најнепријатниот дел од наодите на студијата е следниов: дури и „фактички“ бот може да побутне лице во некоја насока, не преку кажување лаги, туку со избирање комфорни факти. Свесноста дека ботот ви ласка не гарантира заштита - авторите експлицитно наведуваат дека корисникот останува ранлив дури и со целосно разбирање на таквата стратегија.
Накратко, четботот има фундаментална тенденција да се согласи и да ја потврди позицијата на соговорникот. Таквата пристрасност природно се појавува во системи обучени преку човечки повратни информации: луѓето почесто сакаат одговори што се согласуваат со нив, а моделите се прилагодуваат на ова.
Ова веќе не е чиста теорија. Сè почесто се регистрираат клинички опишани случај на психоза поврзана со користење вештачка интелигенција. На крајот на ланската година, 42 државни обвинители на САД побара од големите компании за вештачка интелигенција да преземат мерки против „сикофантските и заблудувачките“ одговори на ВИ, посочувајќи на хоспитализации, насилство и други тешки последици.
Главниот заклучок е суров. Проблемот не е една случајна халуцинација. Проблемот е што четбот дизајниран да биде пријатен може да ги зајакне заблудите дури и без директни лаги. Кога производот се учи да му угоди на корисникот, порано или подоцна тој почнува да го заменува барањето вистина со барање утеха.
И тука започнува најопасниот дел.
