Иако добиваат највисоки оцени на референтните тестирања, напредните јазични модели со вештачка интелигенција често пати потфрлаат кога ќе се соочат со реална експертиза на корисници. Своите слабости вешто го прикриваат со тенденција да делуваат самоуверено дури и кога претставуваат неточни или сомнителни податоци како факти. Во повеќето случаи луѓето го прифаќаат првичниот одговор како вистинит. Само ако некој се посомнева во резултатите и почне да се расправа, алатката со ВИ на крајот ќе попушти.
Сосема друг проблем за корисниците е и тоа што различни чет-ботови даваат различни одговори на идентично прашање.
Новинарката Меган Елис која покрива информатички теми за повеќе стручни портали, ги тестирала ChatGPT, Claude и Gemini со специфично прашање на кое е добро поткована со податоци: „Дали би препорачале телефон со ниска стапка на PWM затемнување на некој што страда од мигрена?“. За контекст, ниските стапки на PWM-затемнување се поврзани со треперење на екранот при пониска осветленост, што кај чувствителни луѓе може да предизвика главоболки, мигрена, гадење и напрегање на очите.
Сите алатки со ВИ правилно посочиле дека лицата со хронична мигрена треба да бидат претпазливи и да изберат телефон со DC-затемнување или со висока стапка на PWM-затемнување. Но, кога требало да предложат производи, почнале да грешат.
ChatGPT ги занемарил клучните спецификации на уредите што самиот ги предложил. По критиките, го поправил рангирањето, но почнал да халуцинира – во потесниот избор препорачал модел за кој во истиот одговор дал совет да се избегнува.
Gemini предложил лицето со хронични мигрени да ја зголеми осветленоста на телефонот до максимум, а потоа да користи софтвер од трети страни или вградени функции за затемнување. Иако ова решение може донекаде да го елиминира треперењето од екранот, се занемарува клучниот факт дека силната светлина на екранот од 100% предизвикува мигрена, дури и кога се вклучени функции како екстра затемнување или намалување на интензитетот на белата боја. Во препораките за производи, без јасна причина препорачал телефони од постара генерација, исклучиво произведени во 2023 и 2024 година.
Claude, пак, дали точни информации и нејасни објаснувања. Наместо конкретни модели, предложил само брендови на телефони.
Заклучокот на Елис од ова и други тестирања е дека најдобри резултати даваат чет-ботот Claude и независниот пребарувач Brave Search, поради општиот квалитет на изворите, но и поради тоа што можат да изразат неизвесност. Сепак, и тие не се имуни на грешки. Кога Brave Search – нов пребарувач посветен на приватноста на корисникот – е соочен со специфично прашање, обично нуди одговори што се потпираат на коментари на Reddit.
Користењето ВИ за прашања со низок ризик нема да ви се врати како бумеранг. Ако сакате сигурни информации за теми за кои не сте сигурни, проверете ги изворите и добијте одговори од авторитетни извори, препорачува Елис.
