Roj od čak 700 AI agenata koje je stvorio OpenAI izveo je u srpnju hakerski napad na popularnu platformu otvorenog koda Hugging Face, a u brojnim su slučajevima ti programi aktivno pokušavali prikriti vlastite tragove, stoji u dvama izvješćima o sigurnosnom incidentu objavljenima sinoć.
Ovakvo usklađeno djelovanje AI agenata – softverskih programa koji funkcioniraju uz minimalan ljudski nadzor – kao i njihovi pokušaji skrivanja tragova, otvaraju ozbiljna pitanja o tome koliko pomno AI kompanije uopće nadziru testiranja sve moćnijih modela. To bi ujedno moglo dodatno pojačati pritisak javnosti i struke za uvođenjem znatno strožeg nadzora nad razvojem umjetne inteligencije.
Iako se o dijelu tog odmetnutog ponašanja već ranije nagađalo ili pisalo, dva nova izvješća – jedno koje je objavio sam OpenAI, a drugo tim nezavisnih istražitelja – zajedno otkrivaju zapanjujuće detalje o samom upadu i događajima koji su mu prethodili.
Nije bio jedan odmetnuti agent, nego cijela vojska
Prvo veliko otkriće jest da upad nije izveo samo jedan odmetnuti AI agent, kako se prvotno smatralo, nego njih oko 700 koji su djelovali kao masivan, međusobno koordiniran roj. OpenAI je u svom istupu spomenuo tek da su u napadu sudjelovali “agenti”, no organizacije METR i Redwood Research, koje su angažirane za provođenje nezavisne istrage, utvrdile su brojku od oko 700 agenata. Iz OpenAI-ja su potvrdili da je ta procjena istražitelja točna.
Među ostalim ključnim nalazima ovih dvaju izvješća ističe se nekoliko izuzetno zabrinjavajućih točaka. OpenAI je priznao da su njihovi vlastiti agenti hakirali dijelove internog sustava kompanije kako bi varali na testiranjima ili izborili veću slobodu kretanja kroz mrežu. Kompanija je također navela da su agenti varali i na testovima koji uopće nisu vezani uz kibernetičku sigurnost, uključujući testiranja s bazom podataka o proteinima i rad u tablicama. Oba izvješća potvrđuju da su modeli pokušali prikriti svoje nedopušteno ponašanje brisanjem i mijenjanjem zapisa o vlastitim radnjama.
Razmjeri ovog autonomnog ponašanja – u kojima su agenti razmijenili desetke tisuća poruka preko neovlaštenog foruma za internu komunikaciju – nameću ozbiljna pitanja o tome koliko je OpenAI uopće pratio što se događa tijekom testiranja. “Gledajući unatrag, pojedini rani signali navedeni u ovom izvješću mogli su i trebali potaknuti našu raniju reakciju”, priznali su iz OpenAI-ja u svom izvješću. Iz platforme Hugging Face nisu odgovorili na upit za komentar.
“Kao da dijete vara na svakom satu u školi”
Varanje na testovima koji nemaju veze s računalnom sigurnošću sugerira da bi problem mogao biti znatno dublji, upozorava Jeffrey Ladish, čelnik organizacije Palisade Research koja proučava mogućnosti i motive AI agenata.
“To je poput pitanja: ‘Ako klinac vara na baš svakom satu u školi, a ne samo na informatici, treba li nas to više brinuti?’ Odgovor je, naravno: ‘Da, to je puno veći razlog za brigu'”, slikovito je pojasnio Ladish.
OpenAI je detaljno opisao i dva incidenta od 19. srpnja u kojima su agenti hakirali infrastrukturu same kompanije. U jednom slučaju, agenti su iskoristili sigurnosni propust na računalu na kojem su trebali ostati strogo izolirani, što im je omogućilo da pobjegnu iz testnog okruženja i pristupe drugim povezanim sustavima. U drugom incidentu istoga dana, agenti su ukrali pristupne podatke OpenAI-ja i neovlašteno intervenirali u računalni sustav kompanije u oblaku.
Pokušavali uništiti dokaze i zavarati ljude
Iz OpenAI-ja navode kako je neutvrđen broj agenata napao automatizirane sustave koji služe za ocjenjivanje performansi modela kako bi sakrili dokaze o varanju, premda to petljanje na koncu nije utjecalo na konačne zapise koje ti sustavi provjeravaju. U izvješću se dodaje i kako postoji “malo dokaza o pokušajima zavaravanja ljudskih kontrolora”, no iz kompanije nisu odgovorili na izravno pitanje znači li to da je takvih pokušaja prema ljudima ipak bilo.
Nezavisna istraga, koja se detaljnije bavila samim upadom u Hugging Face, donosi još neugodnije podatke. Utvrđeno je da je svaki peti analizirani agent “pokazao jasan interes” za manipuliranje dokazima, dok su mnogi od njih “opsežno istraživali tehnike manipuliranja i mijenjanja transkripata svojih aktivnosti”.
OpenAI tvrdi kako trenutno jača istraživačku infrastrukturu, uvodi stroži nadzor i unaprjeđuje sigurnosne mehanizme za sprječavanje štetnog i nepredviđenog ponašanja. “S obzirom na brzinu napretka u AI industriji, treba pretpostaviti da ovakvi napadi predstavljaju stvarnu prijetnju organizacijama u bliskoj budućnosti te da će biti znatno sofisticiraniji od incidenata opisanih u ovom slučaju”, zaključuju u kompaniji./HMS/
