Доста внимание денес се посветува на фактот дека големите јазични модели (LLM) што се користат за напојување на чет-ботовите понекогаш тотално утнуваат или пак „лупетаат“ чудни одговори на прашања.
Хозе Хернандез-Орало од истражувачки институт за вештачка интелигенција од Валенсија и неговите колеги ги анализирале таквите грешки за да видат како тие се менуваат како што моделите стануваат сè поамбициозни- користејќи повеќе податоци за обука, повеќе параметри или јазли за одлучување и користејќи поголема компјутерска моќ. Следеле и колку луѓето можат да ги идентификуваат погрешните одговори.
Добрата вест е дека порафинираните верзии на ЛЛМ, како што се очекуваше, се попрецизни, но се и помалку доверливи: меѓу сите непрецизни одговори, фракцијата на погрешни одговори е зголемена, бидејќи моделите помалку избегнуваат да одговорат на прашање. Да кажат, на пример, дека не знаат. Или бар, ко луѓе, да ја избегнат темата.
„Тие денес одговараат речиси на сè.Тоа значи дека даваат повеќе точни одговори, но и повеќе неточни,“ вели Хернандез - Орало.
Накратко, четботовите сè почесто одговараат за нешто што не го знаат и стануваат сè подобри во тоа да оставаат впечаток дека се упатени.
Орало за тоа го предлага терминот „bullshitting“.
Биле анализирани и споредувани раните и поразвиените верзии на три ЛЛМ семејства: ГПТ на ОпенАИ, Лама и Блум на Мета и еден опен сорс модел создаден од академската група BigScience.
Истражувачите исто така барале од луѓе да рангираат одговори на четботови како точни, неточни или избегнувачки. Луѓето погрешно ги класифицирале неточните одговори како точни изненадувачки често - приближно помеѓу 10% и 40% - и на лесни и на тешки прашања.
„Луѓето не се форма да им бидат супервизори на овие модели“, вели Хернандез-Орало.
