Требования и compliance
Какие данные, где inference, SLA, бюджет GPU/CPU. Выбор GigaChat vs open-source.
Private AI
Приватный LLM-контур
Исполнитель: Павел Стасиньский
GigaChat, self-hosted LLM и изолированное облако — корпоративные данные не покидают ваш периметр.
Приватный LLM-контур — фундамент для любого корпоративного AI. Пока модель и данные не под вашим контролем, compliance не пропустит production. Bober AI Systems разворачивает GigaChat, Yandex GPT и open-source модели в изолированной инфраструктуре с API, мониторингом и политиками безопасности.
Типовые варианты: GigaChat API в корпоративном договоре, vLLM/Ollama на серверах Selectel или Yandex Cloud, гибрид — inference on-prem, embedding в cloud. Выбор зависит от latency, бюджета и требований регулятора.
Мы не просто «поднимаем модель». Настраиваем gateway: аутентификация, квоты по отделам, логирование без сохранения чувствительного контента, интеграция с Active Directory. Поверх — RAG, ассистенты, агенты.
Кейс Kaspersky показал: enterprise AI возможен только с grounding на внутренних документах и строгим контуром. Мы повторяем эту архитектуру для клиентов с NDA — финтех, промышленность, IT.
Срок развёртывания базового контура — 3–5 недель. Дальше — подключение каналов (Telegram, Open WebUI, CRM) и RAG. Бюджет — от 500 000 ₽.
152-ФЗ, on-prem, air-gapped — обсуждаем на Discovery. Не обещаем «100% локально» там, где нужен внешний embedding — предлагаем компромисс с изоляцией данных.
Риски публичных LLM
- Сотрудники загружают договоры и ПДн в ChatGPT — нарушение 152-ФЗ и NDA
- Compliance блокирует любые облачные AI-сервисы за пределами РФ
- Нет единого API для внутренних приложений и ассистентов
- Отсутствует аудит запросов, квоты и политики доступа
Что разворачиваем
- LLM в on-prem, private cloud или изолированном сегменте Yandex Cloud
- Корпоративный API с auth, rate limiting и журналированием
- Guardrails: фильтрация ПДн, политики prompt/response
- Интеграция с RAG, Open WebUI и внутренними приложениями
Этапы развёртывания
Инфраструктура
Kubernetes/VM, GPU, сеть, секреты. Yandex Cloud, Selectel или ваш ЦОД.
API и guardrails
OpenAI-compatible API, auth, logging, PII filters, prompt templates.
Интеграции
RAG, Open WebUI, внутренние сервисы. Нагрузочное тестирование и handover.
Private LLM stack
- Inference: GigaChat API / vLLM / Ollama — по политике данных
- API Gateway: Kong, nginx, custom — auth, rate limit, audit log
- Secrets и конфигурация: Vault, env isolation per tenant
- Monitoring: latency, token usage, error rate, GPU utilization
- Downstream: RAG, agents, Open WebUI, CRM integrations
Зачем private LLM
0
утечек в публичные API при правильном контуре
3–5 нед.
базовый production API
1 API
для всех внутренних AI-приложений
Цена и условия
| Цена | от 500 000 ₽ |
|---|---|
| Срок | 28 дн. |
| Формат | Фиксированная смета · удалённо |
| Состав | Разворачиваем LLM в вашем контуре, настраиваем API, guardrails, мониторинг и интеграции. |
Связанные кейсы
RAG-бот по продуктам Kaspersky для сотрудников дистрибьютора 1С
до −50% повторных вопросов по продуктам
На пилотной группе сотрудников дистрибьютора 1С, по внутренней оценке заказчика
Сотрудники быстрее получают ответы по продуктам Kaspersky, меньше повторяют одни и те же вопросы и реже уходят в долгий ручной поиск по базе знаний.
Доверие
Отзывы на Яндексе
Публичные отзывы с Яндекс Услуг — тот же профиль исполнителя, что в фиде.
“Невероятный специалист. Откликнулся сразу, на протяжении всего процесса был на связи, работа выполнена качественно в минимальные сроки.”
“Павел — ас своего дела! Всё на высшем уровне, всегда на связи, оперативно отвечал на вопросы. Чувствовалось, что ему важен результат.”
“Объёмно проконсультировал по кластеризации данных. Вопросов не осталось.”
“Отличный исполнитель, всё в срок, чётко и правильно. Всегда на связи, рекомендую!”
FAQ по private LLM
- GigaChat или open-source?
- GigaChat — быстрый старт и качество русского. Open-source — полный контроль и on-prem без внешних вызовов.
- Нужны ли GPU?
- Для 7B–13B на CPU возможно с latency trade-off. 70B и высокий QPS — GPU обязательны.
- Можно ли air-gapped?
- Да, с open-source моделями и локальным embedding. Обновления моделей — offline-пакетами.
- Совместимость с OpenAI SDK?
- Да, через OpenAI-compatible endpoint — минимум изменений в коде.
- Как обновлять модели?
- Blue-green деплой, версионирование API, regression eval перед switch.
- 152-ФЗ?
- Логи без ПДн, хранение в РФ, DPA с облаком — проектируем на этапе архитектуры.
- Стоимость инфраструктуры?
- Зависит от QPS и модели. Даём расчёт TCO на Discovery.
Связанные услуги
Контакт
Или оставьте заявку
GigaChat, self-hosted LLM и изолированное облако — корпоративные данные не покидают ваш периметр.