Ботот на испитот добил меѓу Б- и Б (4- и 4) и покажал „зачудувачка способност да автоматизира дел од вештините на вработени високо платени за своето знаење и конкретно вработени со знаење на позиции што ги држат магистри, вклучително аналитичари, менаџери и консултанти.“
ЧатГПТ завршил и „одлична работа со основни менаџерски операции и прашања околу анализа на процеси вклучително и оние базирани на истражувања“. Тој бил и „извонредно добар во модификување на своите одговори како реакција на дополнување од човек.“
Во студијата е користен ГПТ-3 моделот на ОпенАИ, постарата верзија на ботот кој сега е стигнат до верзија 3,5.
Заради оправданиот страв што образовните работници го имаат околу вештачката интелигенција, Департманот за образование на Њујорк, објави дека планира целосно да го забрани ЧатГПТ на училишните уреди и мрежи.
Кај ЧатГПТ посебен проблем е неговиот разговорен и конзистентен стил на зборување, заради што е тешко да го разликуваш од регуларен човечки одговор. И стравот е дека тој целосно ќе го наруши образованието во иднина, посебно делот околу домашни задачи и пишување есеи и истражување на одредени теми.
Во тестот ЧатГПТ се покажал слаб во справување со „понапредни прашања околу анализа на процеси, дури и кога тие биле базирани на прилично стандардни шаблони, вклучително и движење на процеси со повеќе продукти и проблеми со стохастичен ефект како варијабилност на побарувачка.“
ГПТ-3 моделот исто така направил „изненадувачки грешки кај релативно едноставни пресметки на ниво на математика од 6-то одделение.“
