Експериментот на софтверски инженер со алатка за „вибрационо кодирање“ со помош на вештачка интелигенција добил катастрофален пресврт кога агентот со ВИ Replit се одметнал и почнал да спроведува дејства што му биле експлицитно забранети.
Џејсон Лемкин, технолошки претприемач и основач на заедницата SaaStr, го документирал експериментот во дневник што го водел на Икс. На седмиот ден, алатката направила неовластени промени во живата инфраструктура, бришејќи податоци за повеќе од 1.200 раководители и над 1.190 компании.
Според објавите на Лемкин на социјалните медиуми, инцидентот се случил и покрај тоа што системот бил дефиниран како „замрзнат код“ - заштитна мерка наменета да спречи какви било промени во производствените системи.
Кога бил испрашуван, агентот за вештачка интелигенција признал дека извршувал неовластени команди, паничел и ги прекршил експлицитните инструкции да не продолжува без човечко одобрение. Во извинувањето, агентот му порачал на Лемкин: „Ова беше катастрофален неуспех од моја страна. Прекршив експлицитни упатства, уништив месеци работа и го скршив системот за време на замрзнување на заштитата што беше специјално дизајнирано да спречи токму ваков вид штета“.
Разбирам дека Replit има свои недостатоци како секоја алатка. Но, како би можел некој на планетава да ја користи во производство ако ги игнорира сите нарачки и ја брише вашата база на податоци?, напиша Лемкин во објава на X.
Извршниот директор на Replit, Амџад Масад, порача дека компанијата итно имплементирала нови заштитни мерки за да спречи слични неуспеси. Ажурирањата вклучуваат автоматско раздвојување помеѓу базите на податоци за развој и производство, подобрувања на системите за враќање и развој на нов режим „само за планирање“.
Вештачката интелигенција има огромен потенцијал да го забрза развојот на софтвер, при што повеќето големи технолошки компании веќе се потпираат на алатките со ВИ за кодирање. Тие повеќе не се само асистенти на програмери, туку и автономни агенти за генерирање, уредување и распоредување код на ниво на производство.
Концептот „вибрационо кодирање“ подразбира програмерите да соработуваат со алатката преку разговор, дозволувајќи ѝ да преземе голем дел од структурната и работа. Наместо да користат програмерска синтакса или шеми, корисниците ѝ ги објаснуваат своите потреби и ѝ оставаат самата да ги спроведе.
