Сначала задача, потом модель
Для чата по регламентам важны RAG и русский язык. Для извлечения полей из PDF — точность и структурированный вывод. Для агентов в CRM — tool-calling и стабильный JSON.
от 150 000 ₽
аудит или пилот
2–4 нед.
типовой пилот
смета до старта
фиксированный scope
Гайд
Локальная LLM: какую выбрать для бизнеса
Основатель: Павел Стасиньский
Критерии выбора локальной LLM: задача, язык, VRAM, лицензия, RAG. Не «лучшая модель», а модель под ваш сервер и процесс.
Критерии выбора локальной LLM: задача, язык, VRAM, лицензия, RAG. Не «лучшая модель», а модель под ваш сервер и процесс.
Для чата по регламентам важны RAG и русский язык. Для извлечения полей из PDF — точность и структурированный вывод. Для агентов в CRM — tool-calling и стабильный JSON.
Локальный запуск LLM упирается в GPU. 24–48 ГБ VRAM — комфортный старт для 7–32B в квантизации. 2× A100 — запас под более крупные модели и параллельных пользователей.
Сделаем shortlist и тест на ваших промптах. Офер — /lokalnye-llm.
Работаем с компаниями на amoCRM, Битрикс24, 1С, ERP и самописных системах — внедряем поверх текущего контура.
Услуга — для компаний-заказчиков. Субподряд, резюме и предложения услуг рассматриваем только на отдельной странице: Партнёрам .
Типичные проблемы
- Слишком много моделей — непонятно, с чего начать
- Демо на чужих бенчмарках не равно вашей задаче
- Не хватает VRAM под «флагманскую» модель
- Нужен русский язык и работа с регламентами
Что получите
- Короткий shortlist моделей под GPU/CPU
- Тест на ваших промптах и документах
- Оценка TCO: железо + inference + сопровождение
- Рекомендация: облако / локальный LLM / гибрид
Как идём по шагам
Железо и VRAM
Локальный запуск LLM упирается в GPU. 24–48 ГБ VRAM — комфортный старт для 7–32B в квантизации. 2× A100 — запас под более крупные модели и параллельных пользователей.
Как сравнить честно
Один и тот же набор: 20–50 ваших вопросов, эталонные ответы, метрика «полезно / с цитатой / ошибка». Без этого выбор модели — лотерея.
Чеклист
- Один процесс и KPI до выбора модели
- Эталонный набор вопросов на ваших данных
- Лимит VRAM / бюджет железа
- Нужен ли RAG с ACL
Ориентир
от 150 000 ₽
аудит или пилот
2–4 нед.
типовой пилот
смета до старта
фиксированный scope
Цена и условия
| Цена | от 500 000 ₽ |
|---|---|
| Срок | 21 дн. |
| Формат | Фиксированная смета · удалённо |
| Состав | Аудит процессов, настройка автоматизации, интеграция с CRM и документами, обучение команды. |
Частые вопросы
- Qwen или Llama?
- Зависит от языка, VRAM и лицензии. Часто Qwen сильнее на русском в том же размере; финальный выбор — по вашему эталонному набору.
- Можно без своего GPU?
- Да — пилот в изолированном РФ-облаке, затем перенос. Или только API, если данные позволяют.
Заявка
Получить оценку проекта
Опишите процесс, который нужно автоматизировать. Ответим в течение 4 рабочих часов, после 30-минутного созвона пришлём план и вилку бюджета за 24 часа.
Услуга: Автоматизация бизнес-процессов