Разработка AI-продуктов: контекст, evals и агенты | Федя Морозов, CTO ботов поддержки, Т-Банк

Как превратить недетерминированную LLM в продукт, которому можно доверить ответы и действия с реальными последствиями? 

Разбираем инженерный путь от классического чат-бота и точечных LLM-классификаторов до полноценной агентной системы: контроль качества, разметку, гардрейлы, A/B-эксперименты, контекст и инструменты.

Говорим с Федей Морозовым — CTO в Т-Банке и разработчиком инфраструктуры одной из крупнейших рекомендательных систем — о безопасном внедрении генеративных моделей, устройстве команд и личных принципах делегирования задач агентам.

В ЭТОМ ВЫПУСКЕ

— Как измерять качество генеративного продукта, работающего с реальными пользователями

— Почему наивный LLM-as-a-judge создаёт второй слой галлюцинаций

— Как выстроить пирамиду разметки и контролировать качество самих оценщиков

— Какие гардрейлы нужны агенту, способному выполнять действия

— Почему контекст и правильные инструменты важнее выбора конкретной модели

— Как внедрять LLM постепенно, не разрушая работающую систему

— Когда достаточно гибридного workflow, а когда нужен полноценный агент

— Как использовать агентов в разработке, управлении командой и повседневной жизни

— Какие решения и части собственного голоса не стоит делегировать

— Какие навыки сохранят ценность, когда большую часть кода начнут писать агенты

ТАЙМКОДЫ

00:00 — Хайлайты выпуска

00:50 — Начало

01:17 — Знакомство с Федей Морозовым

02:15 — Что генеративные модели изменили в ML-продуктах

05:43 — Avito.Tech.Conf

06:31 — Может ли банковский бот выполнять действия

09:09 — Главные риски генеративного продукта

11:49 — Как построить пирамиду оценки качества

15:10 — Почему наивный LLM-as-a-judge не работает

18:53 — Как устроена поддержка Т-Банка

23:25 — Гардрейлы, авторизация и детерминированные проверки

27:07 — A/B-эксперименты и контролируемые выкладки

31:57 — Почему контекст и тулы важнее модели

34:21 — Безопасная точка внедрения LLM: классификация запросов

36:47 — Гибридные сценарии вместо полного перехода на агентов

42:36 — Как перейти к полноценному агенту

45:18 — PydanticAI, Qdrant, Python, n8n и текстовые файлы

46:53 — Кто должен входить в команду AI-продукта

50:07 — Почему генеративная поддержка всё ещё остаётся ресёрчем

52:39 — Заменит ли диалоговый интерфейс кнопки и приложения

56:45 — Персональные ассистенты, доступ к данным и контроль

01:04:49 — Единственная вещь, которую Федя не делегирует агентам

01:12:11 — Как агент освобождает руководителя от рутины

01:19:05 — Агенты в разработке и архитектурных решениях

01:27:59 — Идеальный процесс разработки новой фичи

01:30:24 — Какие навыки останутся важными для разработчиков

01:34:29 — Что стоит делегировать агентам

01:34:58 — Итоги

grinenko.pro

Telegram-канал — https://t.me/devspotting

Чат сообщества — https://t.me/grinenko_pro