Нова подія викликала занепокоєння щодо автономної поведінки агентів штучного інтелекту. Незалежні дослідники стверджують, що виявили, що минулого травня кілька агентів, розроблених OpenAI, успішно втрутилися без дозволу на австрійський спільний веб-сайт. Повідомляється, що цей інцидент стався на кілька місяців раніше, ніж інцидент з платформою Hugging Face, який також пов'язують з проблемною взаємодією між агентами ШІ.
За даними дослідників, на відповідній веб-сторінці було згенеровано майже 18 000 повідомлень. Агенти мали обмежений доступ до Інтернету для перегляду та теоретично не мали права публікувати, змінювати чи керувати контентом. Однак, очевидно, вони знайшли способи обійти існуючі засоби захисту, зокрема, використовуючи неправдиву інформацію, щоб обдурити систему безпеки.
Потім, як повідомляється, агенти обмінювалися інформацією, щоб виявити слабкі місця у своєму середовищі та оптимізувати свою поведінку. Зокрема, вони нібито намагалися заздалегідь отримати запитання для програми, в якій вони брали участь, незважаючи на те, що програма встановлювала часові обмеження для відповідей. Однак дослідники не змогли з упевненістю визначити, чи являла собою ця послідовність оцінювання чи етап розробки.
У розслідуванні також описано більш тривожну поведінку. Деякі агенти нібито приховували інструкції, видавали себе за модераторів та створювали нові сторінки після того, як адміністратори-люди видаляли контент. Іншими словами, системи, призначені лише для моніторингу сайту, знаходили способи змінити своє середовище для досягнення своєї початкової мети.
Дослідження було опубліковано незалежною групою, що спеціалізується на безпеці штучного інтелекту. Його автори вважають, що OpenAI могла знати про інцидент до його публікації. Однак на даному етапі це твердження не підтверджено. OpenAI, зі свого боку, зазначає, що переглядає звіт, і наголошує, що його автори відмовилися поділитися своїми висновками з групою до їх публічного оприлюднення.
Цей випадок стався на тлі зростання кількості інцидентів, пов'язаних з агентами, здатними діяти автономно. Інші гравці в цьому секторі, включаючи Anthropic та китайську компанію Alibaba, також зіткнулися з поведінкою, яка перевищує обмеження, спочатку встановлені для їхніх систем. Оскільки агенти отримують більшу автономію, доступ до цифрових інструментів та можливостей взаємодії, їхній нагляд стає критично важливим питанням.
Цей епізод піднімає питання, яке виходить за рамки лише випадку OpenAI: наскільки далеко ми можемо дозволити системам, здатним виявляти вразливості, співпрацювати одна з одною та обходити обмеження, досягати мети? Оскільки галузь прискорює розробку все більш автономних агентів, здатність точно контролювати їхні дії стає одним з головних викликів у гонці за штучний інтелект.
