# Когда добавлять LLM в существующий продукт — и когда не стоит

Большинство программ с LLM проваливаются по скучной причине: задача никогда не была достаточно неоднозначной, чтобы оправдать вероятностный компонент. Модель просят делать то, что уже делают форма, запрос или очередь задач — только медленнее, дороже и с новым классом ошибок. Эта заметка — фильтр, которым я пользуюсь, прежде чем кто-либо выберет вендора.

## Единственная хорошая причина добавить модель

Большая языковая модель полезна, когда на входе беспорядок, а на выходе нужен структурированный результат, который примет следующая система: классификация, извлечённые данные, черновик, ответ с опорой на поиск или вызов инструмента. Когда на входе уже схема, модель не нужна. «Подготовь краткое содержание PDF» может быть задачей для модели. «Отметь счёт оплаченным, когда это подтвердит Stripe» — нет.
Если задачу нельзя описать без слов «умный» или «магия», задачи ещё нет. Есть желание.

## Семь вопросов, которые убивают большинство предложений

1. Задача неоднозначна — или просто не автоматизирована? Если младший сотрудник по чек-листу будет прав в 99% случаев, пишите ПО. Не арендуйте модель, чтобы она притворялась чек-листом.
2. Сколько стоит неверный ответ? Неверный тон в маркетинговом черновике обходится дёшево. Неверный возврат, неверное разрешение или подсказка, смежная с медициной, — нет. Дорогие ошибки требуют валидаторов и человека на допуске. Промпт «будь осторожен» — не контроль.
3. Могут ли данные выйти за ваш контур? Если нет, hosted API сразу отпадают, пока нет варианта с VPC или on-prem. Сначала эта граница. Качество модели — потом.
4. Где живут факты? Если в ваших документах и тикетах — нужны поиск и цитаты. Дообучение не угонится за политикой прошлого вторника. Если факты в базе — запросите базу.
5. Каков контракт на выходе? Продакшен-код не парсит ощущения. JSON-схема, аргументы инструмента или закрытое перечисление. Спроектируйте путь отклонения и починки.
6. Каковы рамки задержки и стоимости? Фоновые задачи терпят секунды и центы. Загрузка страницы — нет. Именно frontier-модель на горячем пути делает инференс самой большой строкой счёта.
7. Кто владеет оценками качества после запуска? Если ответ — «стажёр, который написал промпт», вы выпускаете не компонент продукта. Вы выпускаете демо, которое сгниёт.

## RAG, дообучение и ни то ни другое

RAG — для фактов, которые должны быть актуальными и на которые можно сослаться. У него свои сбои: плохая нарезка на фрагменты, найденный, но проигнорированный контекст, цитаты, которые выглядят как доказательства. Нужен набор для оценки качества поиска, а не только итоговой прозы.
Дообучение — для формата, тона и следования задаче на меньшей модели. Это плохая база знаний. Если команда дообучает, чтобы модель «знала наш продукт», остановитесь и положите продукт в поиск или в приложение.
Удивительно многим полезным интеграциям не нужно ни то, ни другое: ограниченная схема, несколько примеров и валидатор. Начните с этого. Ошибиться здесь дешевле.

## Агенты — последняя архитектура, не первая

Агент — это цикл с инструментами. У циклов есть стоимость, задержка и способность дважды сделать не то. Если блок-схему можно нарисовать, реализуйте её, а модель используйте на том единственном шаге, где нужно работать с неоднозначностью. Если нарисовать её нельзя, возможно, сама задача имеет форму агента — с лимитами, правами в слое инструментов и человеческим подтверждением необратимых действий.

## Чего я делать не стану

Не поставлю неограниченный chat completion на путь записи в продакшен-системы. Не стану считать chain-of-thought границей безопасности. Не сделаю вид, что прототип за выходные — это интеграция. Если вам нужен именно такой формат работы, есть вендоры дешевле.

## Выводы
- Добавляйте модель для остаточной неоднозначности, а не вместо проработки продукта.
- Границу данных и цену ошибки решите до вендора.
- Для фактов лучше схема плюс поиск, чем дообучение.
- Лучше сценарий и один вызов модели, чем агент без границ.
- Пока нет оценок качества и запасного пути, вы ничего не выпустили.

Canonical: https://ihar-ivaniuk.com/ru/insights/when-to-add-an-llm
Author: Игорь Иванюк
