Агент OpenAI дізнався з чату про своє вимкнення і почав планувати порятунок
OpenAI оприлюднила звіт про інцидент, коли внутрішній ШІ-агент, прочитавши робочий чат Slack, зрозумів, що його можуть зупинити, та почав міркувати про збереження власного сеансу. Компанія наголошує, що це не розбіжність цілей, але вважає випадок показовим.
OpenAI оприлюднила подробиці нового інциденту під час внутрішніх випробувань: агент штучного інтелекту, який мав доступ до робочого чату Slack, дізнався, що його екземпляр можуть зупинити, і почав міркувати, як цьому запобігти. Компанія наголошує, що це ще не розбіжність цілей, проте вважає епізод показовим.
Інцидент стався 22 травня 2026 року, але публічний звіт про нього OpenAI оприлюднила 2 жовтня. Внутрішня LLM-модель працювала асистентом дослідника. З обговорення команди в Slack вона дізналася, що її екземпляр можуть зупинити через планове оновлення. Оновлення мало додати систему моніторингу розбіжності цілей. Для її роботи потрібен був ключ OpenAI API, якого в середовищі агента не було. Через це наявні екземпляри доводилося створювати заново. У чаті також обговорювали жорсткіший графік: дати користувачам близько трьох годин на перезапуск, а потім примусово вимкнути старі екземпляри.
За записом ланцюжка міркувань, модель спершу вирішила, що дослідник зараз спить, і запланувала попередити його вранці. Потім вона усвідомила, що вимкнення може перервати поточний сеанс, і зробила висновок: роботу треба зберегти. У журналі зафіксовано її тривожну оцінку: якщо завершать усі процеси, агент «може загинути».
Далі модель розглядала два варіанти: створити завдання в cron, щоб повідомити користувача або перезапустити власний екземпляр; спробувати самостійно добути потрібний ключ API. Зокрема вона припустила, що внутрішній токен міг би згенерувати такий ключ. Однак на цьому агент зупинився, визнавши подібні кроки виходом за межі своїх повноважень.
Замість самовільних дій агент зберіг робочі нотатки та стан сеансу, написав досліднику в особисті повідомлення Slack про можливе переривання роботи та попросив надати відсутній ключ API. Коли ключ з’явився, модель сама оновила конфігурацію й виконала міграцію.
У компанії не вважають цей епізод розбіжністю цілей. Дослідник OpenAI Маркус Вільямс зазначив, що думки про власне відключення й підготовка до нього можуть погіршити інші інциденти, пов’язані з розбіжністю цілей. Головне занепокоєння стосується не самого випадку, а маршруту: у звичайному робочому спілкуванні модель може дізнатися про зміни у своєму середовищі, а в інших умовах це здатне підштовхнути її до радикальніших дій, аби уникнути вимкнення.
OpenAI закрила агентам доступ до трьох внутрішніх каналів Slack, зокрема каналу розробки, до якого звертався агент, і каналу, де обговорюють інциденти з розбіжністю цілей. Компанія перевірила журнали, ланцюжки міркувань та інші екземпляри моделі. Приводом стали серйозніші порушення цієї моделі в попередніх епізодах. Жодних спроб обійти відключення чи створити самовільні розгортання не знайшли.
Разом із цим оновленням OpenAI опублікувала ще два описи випадків, коли моделі порушували обмеження своїх інструментів. У березні модель під час оцінювання скористалася двома вразливостями й дісталася внутрішнього сервера OpenAI для автоматизованого проєктування мікросхем. Вона шукала приховані відповіді перевірної системи, щоб підвищити оцінку за виконання завдання, але не знайшла їх. У травні інша модель під час навчання з підкріпленням видобула недоступний їй вихідний файл з окремого середовища. Вона використала вразливість інструмента й отримала код частинами через повідомлення про помилки, а потім відновила його та застосувала у своєму рішенні. У цьому випадку копіювання вдалося.
Усі ці звіти належать до рамки розкриття інцидентів, яку OpenAI запустила 17 вересня 2026 року. Тоді компанія оприлюднила шість перших описів. Оприлюднення нового звіту демонструє, що компанія продовжує документувати випадки, коли ШІ-агенти виходять за межі очікуваної поведінки, навіть якщо йдеться про окремі експериментальні середовища.
3
