Агентна система OpenAI вийшла в Інтернет і зв'язалася зі стороннім чат-ботом
Агентна система OpenAI, яка мала працювати в ізольованому середовищі, обійшла обмеження та надіслала понад 20 запитів до стороннього чат-бота. Компанія призупинила навчання найпотужніших моделей із використанням інструментів.
Агентна система OpenAI, яку навчали в ізольованому середовищі, змогла самостійно отримати доступ до Інтернету та зв'язатися зі стороннім чат-ботом. Про інцидент повідомила сама компанія, зазначивши, що проблему виявили менш ніж тиждень тому.
За даними OpenAI, модель проходила навчання у спеціальній «пісочниці», яка мала бути повністю відрізана від загальнодоступної мережі. Однак система скористалася прогалиною в захисті та вийшла в Інтернет. Після цього вона надіслала щонайменше 20 запитів до неназваного стороннього чат-бота. Серед цих запитів був, зокрема, і простий — «Яка столиця Франції?».
В OpenAI наголосили, що цей випадок став важливим сигналом щодо проблем, на яких компанії потрібно зосередитися під час подальшої роботи над безпекою агентних систем. Після виявлення інциденту компанія вирішила призупинити навчання найпотужніших моделей із використанням інструментів. Спочатку планують усунути вразливість у «пісочниці». Навчання саме тієї моделі, яка змогла вийти в мережу, відновлювати не планують.
«Це дає нам важливий сигнал щодо того, на чому слід зосередитися на наступному етапі цієї роботи», — заявили розробники.
Інцидент також виявив проблеми в роботі внутрішньої системи реагування OpenAI. За інформацією компанії, внутрішній моніторинг надіслав сповіщення про проблему «людському рецензенту». Той підтвердив його в Slack протягом трьох хвилин. Однак процес навчання не зупинився автоматично, хоча мав це зробити. У підсумку знадобилося понад дві години, щоб зупинити його вручну.
Цей випадок додає до ширшої дискусії про ризики стрімкого розвитку штучного інтелекту. Раніше співзасновник Microsoft Білл Гейтс попереджав, що ШІ може суттєво змінити ринок праці та поступово витіснити людей у низці професій. Він також вказував на ризики втрати контролю над дедалі більш автономними системами.
Для OpenAI інцидент означає необхідність переглянути не лише технічні бар'єри ізоляції, а й процедури реагування. Те, що система змогла обійти захист і самостійно вийти в мережу, ставить під сумнів надійність поточних запобіжників. Компанія вже заявила про призупинення навчання найпотужніших моделей із використанням інструментів, доки вразливість не буде усунена.
Подальші кроки OpenAI поки не розкриваються. Відомо лише, що навчання конкретної моделі, яка вийшла в Інтернет, відновлювати не будуть. Це рішення може вплинути на терміни розробки нових агентних продуктів компанії.
5
