Spec и eval set
Сценарии, JSON schema, golden examples, метрики качества.
LLM Engineering
Разработка LLM-приложений
Исполнитель: Павел Стасиньский
От прототипа до production: API, agents, eval и интеграции — не demo на Jupyter.
Разработка LLM-приложений — инженерная дисциплина: версии prompts, eval на реальных данных, structured output, fallback и observability. Bober AI Systems строит production-сервисы, а не одноразовые скрипты.
Стек: Python/TypeScript, LangChain/LangGraph, GigaChat или private LLM API, PostgreSQL для state, Redis для cache. Agents вызывают CRM, 1С, search — через MCP или REST.
Каждый LLM-шаг покрываем eval-набором: input → expected JSON → regression в CI. Без этого каждое обновление модели — лотерея.
Примеры: генератор КП с catalog grounding, классификатор тикетов, copilot для менеджера в CRM, multi-step agent для согласования документов.
Срок MVP — 3–5 недель. NDA, on-prem inference — стандарт. Бюджет — от 500 000 ₽.
Discovery помогает отделить «нужен LLM» от «достаточно regex» — экономим бюджет клиента.
Почему LLM-проекты застревают
- Промпты работают в demo, но ломаются на реальных данных
- Нет structured output — парсинг ответов ненадёжен
- Latency и cost не учтены — система не выдерживает нагрузку
- Отсутствует eval и версионирование prompts
Что разрабатываем
- LLM-сервис с API, auth и мониторингом
- Prompt/version management и eval pipeline
- Agents на LangGraph с tool calling
- Интеграции CRM, документов, мессенджеров
Процесс разработки
Prototype
Быстрый POC на sample data, проверка latency и cost.
Production code
API, retries, caching, logging, feature flags.
Handover
Документация, runbook, обучение dev-команды клиента.
LLM app stack
- API layer: FastAPI / Next.js routes, OpenAI-compatible client
- Orchestration: LangGraph state machine, tool registry
- Storage: conversation state, audit log, prompt versions
- Eval: pytest + LLM judge / exact match on structured fields
- Deploy: Docker, K8s, CI/CD with eval gate
Результат
3–5 нед.
MVP в production
−60%
время на ручную обработку в целевом сценарии
CI eval
регрессия качества при каждом релизе
Цена и условия
| Цена | от 500 000 ₽ |
|---|---|
| Срок | 28 дн. |
| Формат | Фиксированная смета · удалённо |
| Состав | Архитектура, разработка, тестирование и передача команде. |
Связанные кейсы
Автоматизация коммерческих предложений
45 мин → 2–5 мин на КП
По данным пилотного процесса заказчика на типовых запросах из PDF
Типовое КП собирается за 2–5 минут вместо ~45. Цены и артикулы только из каталога — без выдуманных позиций. Таблица, НДС, условия и скачивание DOCX/PDF.
RAG-бот по продуктам Kaspersky для сотрудников дистрибьютора 1С
до −50% повторных вопросов по продуктам
На пилотной группе сотрудников дистрибьютора 1С, по внутренней оценке заказчика
Сотрудники быстрее получают ответы по продуктам Kaspersky, меньше повторяют одни и те же вопросы и реже уходят в долгий ручной поиск по базе знаний.
Доверие
Отзывы на Яндексе
Публичные отзывы с Яндекс Услуг — тот же профиль исполнителя, что в фиде.
“Невероятный специалист. Откликнулся сразу, на протяжении всего процесса был на связи, работа выполнена качественно в минимальные сроки.”
“Павел — ас своего дела! Всё на высшем уровне, всегда на связи, оперативно отвечал на вопросы. Чувствовалось, что ему важен результат.”
“Объёмно проконсультировал по кластеризации данных. Вопросов не осталось.”
“Отличный исполнитель, всё в срок, чётко и правильно. Всегда на связи, рекомендую!”
FAQ
- LangChain или свой код?
- LangGraph для agents. Тонкая логика — чистый Python без лишних абстракций.
- Какая модель?
- GigaChat для RU enterprise. Open-source — при on-prem. Выбор на Discovery.
- Structured output?
- JSON mode, Pydantic validation, repair loop при parse errors.
- Cost control?
- Caching, smaller models для простых шагов, batch где возможно.
- Передача кода?
- Да. Repo клиента, документация, pair programming на handover.
- Бюджет?
- От 500 000 ₽ за MVP. Agents с интеграциями — от 500 000 ₽.
Контакт
Или оставьте заявку
От прототипа до production: API, agents, eval и интеграции — не demo на Jupyter.