81% команд разработчиков признались, что вливали в проекты сгенерированный ИИ код, который до конца не понимали

81% команд разработчиков признались, что вливали в проекты сгенерированный ИИ код, который до конца не понимали

Компания TestMu AI опубликовала отчет State of AI in Quality Engineering 2026, согласно которому 81% команд разработчиков хотя бы раз вливали в кодовую базу код, написанный ИИ, не разобравшись в нем до конца. Проверка такого кода, по выводам авторов, не успевает за объемом, который выдают нейросети.

Инструменты генерации кода за последнее время прочно вошли в работу команд разработки, но подходы к проверке их результата сильно различаются. Лишь 13% опрошенных команд имеют порядок реагирования на инциденты, если ошибка из сгенерированного кода доберется до работающего продукта.

Разрыв в проверке

Главное понятие отчета - «разрыв в проверке» (verification gap). Только 41% команд прогоняют написанный ИИ код через автоматические проверки до того, как влить его в основной, зачастую уже работающий код. Остальные просто не справляются с объемом: кода становится слишком много, чтобы успевать его эффективно проверять.

При этом у части команд базовые меры все же есть:

  • 55% проверяют код вручную;

  • 51% передают его отдельной команде QA (тестирования).

Нейросеть проверяет нейросеть

Отдельные команды доверяют проверку второй языковой модели, которая оценивает код первой (подход LLM-as-a-judge). С исправлением ошибок это, вероятно, помогает, но побочный эффект заметен: такие команды выпускают код, который никто не понимает, почти вдвое чаще - 29% против 15% у тех, кто не использует ИИ для оценки.

Иными словами, вторая нейросеть делает код исправнее, но не делает его понятнее людям, которые за него отвечают.

Что предлагают авторы

Асад Хан (Asad Khan), сооснователь и генеральный директор TestMu AI, считает, что результат ИИ должен проверять независимый от него механизм.

Команды разработчиков теперь полагаются на ИИ, чтобы писать код, генерировать тесты и все чаще решать, готово ли и то и другое к выпуску. Проверка же за этим сдвигом не поспевает.

Асад Хан, генеральный директор TestMu AI

По словам Хана, любой результат работы ИИ стоит проверять системой, не зависящей от модели, которая его создала, - до слияния и при каждом изменении. Команды из опроса, которые уже так делают, реже пропускают дефекты в продакшн, и в компании ожидают, что этот подход станет стандартом для разработчиков, работающих с ИИ.

Сколько команд участвовало в опросе, в материале не уточняется, но если цифра в 81% хотя бы близка к реальности, «код, который никто не понимает» уже давно не исключение, а норма индустрии.

Источник: TechRadar

0
22

Комментарии

Войдите на сайт, чтобы оставить свой комментарий...