Автотесты с ИИ-агентами: как покрыть legacy и не сломать продукт | Дмитрий Андриянов, Яндекс 360

Может ли ИИ-агент написать автотесты не хуже человека — и как заметить момент, когда он просто подгоняет проверки под зелёный статус? Разбираем практический подход к тестированию с нейросетями: от продуктовых сценариев и legacy-кода до CI, code review и evals.

Говорим с Дмитрием Андрияновым — руководителем группы в Яндекс 360, экспертом по автоматизации тестирования и автором канала test_automation_pro — о том, как научить агентов командным практикам, выбрать подходящий уровень тестов и сохранить человеческую ответственность за решение «готово к продакшну».

В ЭТОМ ВЫПУСКЕ

— Почему тестировать нужно продуктовые сценарии, а не внутреннее устройство приложения

— Как превратить правила и договорённости команды в инструкции для ИИ-агента

— Как восстановить функциональные требования в большом legacy-проекте

— Когда использовать модульные, интеграционные и E2E-тесты

— Почему пирамида тестирования — это результат правильных решений, а не самостоятельная цель

— Чем приёмочное тестирование отличается от регрессионного и где остаётся ответственность человека

— Как встроить ИИ в CI, code review, анализ покрытия и разработку небольших задач

— Почему доверие к агенту необходимо заново проверять после смены модели или системного промпта

— Как evals помогают контролировать недетерминированные системы

— Могут ли разработчики с ИИ заменить QA-команду

— Когда агент сможет провести фичу от бизнес-требования до продакшна без участия разработчика

ТАЙМКОДЫ

00:00 — Хайлайты и начало

01:25 — Дмитрий Андриянов: опыт в автоматизации тестирования

02:09 — Могут ли агенты писать тесты не хуже людей

05:33 — Почему тестировать нужно продуктовые сценарии

09:55 — Требования, разработчики и ответственность за качество

14:56 — Исчезнет ли QA из-за ИИ

15:14 — Как команда учит агента писать стабильные тесты

18:57 — Ошибки нейросети и проблема доверия

24:22 — Когда агент сможет выкатить фичу от идеи до продакшна

25:13 — Как подступиться к большому legacy-проекту

27:47 — Шаг первый: восстановить функциональные требования

29:39 — Как сделать приложение тестируемым

35:47 — Пирамида тестирования: результат, а не цель

37:20 — Рефакторинг для дешёвых и быстрых тестов

39:16 — Стоит ли временно покрывать legacy E2E-тестами

43:51 — Приёмочное и регрессионное тестирование

48:19 — ИИ в CI и автоматизации пайплайна

50:27 — Нейросетевое code review и бот, который делает задачи

52:52 — Что происходит с доверием после смены модели

55:35 — Evals для недетерминированных систем

58:29 — Как Дмитрий использует ИИ вне работы

01:02:42 — Как закрывать старые side-проекты за два-три дня

01:03:41 — Space Engineers, телеметрия и улучшение игрового скрипта

01:06:10 — Главный миф об автотестах

01:06:37 — Итоги

ССЫЛКИ ГОСТЯ

• Канал

• GitHub

• Habr

• Доклад «Как сделать автотесты полезными. Эволюция автотестов в Яндекс ID»

О ПОДКАСТЕ

• Telegram-канал про ИИ

• Чат сообщества

• Сайт — grinenko.pro

#автотесты #ИИагенты #тестирование #AIразработка #CodeReview