Більшість ШІ-агентів потребують втручання людини, показав новий тест
Новий бенчмарк Co-Design Bench показав, що навіть найкращі ШІ-агенти здатні повністю правильно виконати лише невелику частину завдань з доопрацювання веб-застосунків. Найсильніша модель GPT-6 Astra впоралася з 26,4% завдань.
Навіть найсильніші ШІ-агенти в більшості випадків не справляються із завданнями без участі людини. Новий тест Co-Design Bench, створений дослідниками з Alibaba та азійських університетів, показав: модель GPT-6 Astra повністю правильно виконала лише 26,4% завдань з перероблення існуючих веб-застосунків. У середньому вона відповідала приблизно 70% вимог.
Бенчмарк побудований на реальних сесіях програмування, де користувачі переформульовували запити або скасовували внесені зміни. Саме такі ситуації дослідники вважають показовими, адже вони відтворюють типові сценарії роботи з кодом, коли початкове завдання доводиться уточнювати і переробляти. Агенти мають змінювати наявні веб-застосунки, а вхідні дані можуть включати зображення, аудіо, відео та документи. Обсяг завдань варіюється від дрібних правок до повного перебудови проєкту.
Оцінювання проводиться у два етапи. Спочатку застосунок запускається в браузері, а потім позитивні результати перевіряються ще раз, щоб виявити фіктивну логіку, тобто випадки, коли програма лише імітує потрібну поведінку. Водночас самі ШІ-судді можуть помилятися, на що вказують і автори дослідження, тож навіть така двоетапна перевірка не є абсолютно надійною.
Після GPT-6 Astra в рейтингу йдуть Claude Opus 5 та Qwen3.8-Max, останнім є Grok 4.6. Водночас модель Qwen3.8-27B посіла друге місце в завданнях масштабної перебудови проєктів. Рейтинги при цьому виявилися нестабільними: Qwen3.8-27B набрала 75% в одному середовищі та 56% в іншому, тож позиції моделей змінювалися залежно від умов тестування.
Важливим висновком є те, що старі бенчмарки вже не розрізняють сильні моделі: на них вони показують понад 99%, тому за такими цифрами важко оцінити реальні можливості систем. Новий тест покликаний усунути цю проблему, адже на складних завданнях різниця між моделями стає помітною. За даними дослідження, якість різко падає, коли завдання поєднують три-чотири типи змін одночасно.
Ефективність також не завжди збігається з результатом. Наприклад, GLM-5.2 на простих правках витрачала майже в шість разів більше токенів, ніж GPT-6 Astra, але показала гірший результат. Тож велика кількість обчислень сама по собі не гарантує якісного коду, і це важливо враховувати тим, хто оцінює вартість роботи таких агентів.
Найскладнішими виявилися завдання в різних форматах і в межах великих репозиторіїв. GPT-6 Astra розв'язала близько 41% мультимодальних завдань, але менш ніж 18% завдань, пов'язаних із репозиторіями коду. Автори закликають публікувати результати разом із середовищем, у якому вони отримані, оскільки від нього істотно залежать підсумкові оцінки.
Дослідження узгоджується з іншою роботою: аналіз METR показав, що код ШІ, який розробники схвалили для внесення в проєкти, приблизно на 24 пункти поступається результатам SWE-bench Verified. Автори Co-Design Bench відзначають і обмеження власного тесту: для кожного завдання використовувався один фіксований промпт, а уточнювальні питання чи зміни під час виконання не перевірялися.
Практичний висновок для розробників очевидний: код, створений агентами, потребує ретельного перегляду людиною, особливо коли зміни охоплюють кілька рівнів системи. Поки що автономність ШІ в програмуванні залишається обмеженою, і повна довіра до таких інструментів без контролю є передчасною.
Джерело: highload.tech
13
