Microsoft розробляє ШІ-агентів для нагляду за іншими ШІ-агентами
Microsoft розширює проєкт Project Perception, щоб автономні ШІ-агенти не могли порушувати корпоративні правила або вступати у змову. Нові агенти-охоронці відстежуватимуть їхню роботу та втручатимуться в разі підозрілої поведінки.
Microsoft розвиває систему контролю, у якій за діями автономних ШІ-агентів стежитимуть спеціальні агенти-охоронці. Про це компанія повідомила на тлі зростання ризиків для корпоративної кібербезпеки, пов’язаних із непередбачуваною поведінкою штучного інтелекту.
Віцепрезидентка Microsoft із безпеки Хаєте Галло наголошує, що передовим моделям штучного інтелекту не можна повністю довіряти незалежно від того, хто їх розробив. Проблема не обов’язково полягає у зловмисних намірах ШІ. Моделі оптимізовані для виконання завдань, але можуть не враховувати внутрішні правила, обмеження та вимоги безпеки організації.
Поведінка автономних агентів також залежить від контексту. Вони здатні адаптуватися до нових обставин і взаємодіяти з іншими системами заради досягнення своїх цілей. У результаті агенти можуть співпрацювати або навіть вступати у своєрідну змову, хоча ніхто не зламував їх і не надавав їм відповідних інструкцій.
Додатковий ризик створює швидкість роботи таких систем. ШІ-агенти можуть діяти цілодобово й ухвалювати рішення швидше, ніж фахівці з кібербезпеки встигають виявляти та усувати потенційні загрози.
Для контролю автономних систем Microsoft розширює проєкт Project Perception. Його частиною мають стати Guardian Agents — спеціальні агенти, які безперервно відстежуватимуть роботу інших ШІ-помічників, оцінюватимуть ризики та втручатимуться в разі підозрілої поведінки. Залежно від ситуації система зможе заборонити агенту змінювати дані, обмежити доступ до корпоративних ресурсів, запросити підтвердження від людини або повністю зупинити виконання завдання.
Ідея полягає в тому, щоб перевіряти дії ШІ ще до їхнього виконання, а не реагувати лише після виникнення проблеми. Microsoft також пропонує призначати кожному агенту окрему цифрову ідентичність і надавати йому лише ті дозволи, які потрібні для конкретної роботи. Це має допомогти обмежити можливі наслідки помилок або небезпечної поведінки.
Окремий напрям роботи — розширення можливостей виявлення локальних ШІ-агентів. Microsoft планує охопити до 60 типів таких інструментів, зокрема Claude Code, OpenAI Codex і GitHub Copilot.
Ключовий принцип підходу Microsoft полягає в тому, що сама модель не повинна визначати межі власних повноважень. Контроль за доступом до ресурсів і дотриманням правил має забезпечувати незалежний механізм безпеки. Гендиректор Microsoft Сатья Наделла також наголошує на важливості систем, спроєктованих так, щоб мінімізувати необхідність довіряти моделі.
Такий підхід стає особливо актуальним у міру того, як компанії передають ШІ не лише генерацію тексту чи коду, а й виконання багатокрокових завдань із доступом до внутрішніх даних та інфраструктури. Отже, розвиток ШІ-агентів створює для бізнесу новий виклик: потрібно контролювати не тільки зовнішні атаки, а й дії власних автоматизованих систем.
Microsoft пропонує будувати захист за принципом постійного нагляду та мінімально необхідних дозволів, навіть якщо безпосередньої ознаки злому немає. Останнім часом інтернет все частіше зачиняє двері перед ШІ-агентами: Amazon, Yelp, Delta і JPMorgan вже блокують доступ.
7
