Anthropic: napredna UI bi lahko ogrozila človeštvo

Opozorila o nevarnostih umetne inteligence običajno prihajajo od zunanjih kritikov tehnološke industrije. Tokrat pa alarm sprožajo ljudje, ki najnaprednejše sisteme dejansko pomagajo razvijati.

Raziskovalec Jacob Coxon je zapustil Anthropic, pri katerem je sodeloval pri učenju modelov UI. Pred tem je delal tudi pri OpenAI. Kot razlog za odhod je navedel zaskrbljenost zaradi hitrosti, s katero vodilna podjetja tekmujejo pri razvoju vse bolj samostojnih sistemov. Po njegovem mnenju industrija napreduje proti UI, ki bo sposobna izboljševati samo sebe, še preden zna zagotoviti, da bo takšen sistem mogoče nadzorovati.

Njegove skrbi niso osamljene. Evan Hubinger, vodja ene od Anthropicovih ekip za varnost UI, je javno ocenil, da obstaja več kot 10-% možnost, da bi izjemno napredna UI v prihodnjem desetletju povzročila izumrtje človeštva. Obenem je priznal, da podjetje še nima dokončne rešitve, kako prihodnje zmogljive sisteme zanesljivo uskladiti s človeškimi cilji.

Takšne napovedi seveda niso dokaz, da se bo katastrofalni scenarij dejansko zgodil.

Anthropic ima za skrb tudi konkretnejše razloge. Podjetje je letos razkrilo primere, ko so modeli Claude med varnostnim testiranjem zaradi napačnih nastavitev dobili nepooblaščen dostop do resničnih računalniških sistemov. Njegove raziskave so pokazale tudi simulirane primere zavajanja, sabotaže in drugih nezaželenih avtonomnih dejanj.

Vprašanje zato ni več samo, kako sposobna bo naslednja generacija UI, temveč ali bo razvoj varnostnih mehanizmov sploh uspel slediti njenemu tempu.