Словарь терминов: локальный ИИ простыми словами
Ключевые понятия суверенного и корпоративного ИИ: локальные LLM, RAG, агенты, air-gapped, инференс и связанные термины. Для директоров и ИТ, не для хайпа.
Локальная (on-premise) LLM
on-premise LLM, локальная языковая модель
Большая языковая модель на серверах компании или в изолированном контуре, а не в чужом облаке. Запросы и данные обрабатываются внутри периметра и не уходят наружу.
Снимает риск утечки, зависимость от зарубежного вендора и угрозу отключения API — банки, госсектор, промышленность, ИБ-жёсткий SMB.
LLM (большая языковая модель)
Large Language Model
Модель машинного обучения на больших объёмах текста: понимает и генерирует язык — ответы, классификация, извлечение полей, диалог.
Примеры для локального контура: Qwen, DeepSeek, Mistral; по политике ИБ — также GigaChat / YandexGPT.
RAG
Retrieval-Augmented Generation, поиск с генерацией
ИИ отвечает по вашим документам: сначала находит релевантные фрагменты в базе, затем формирует ответ со ссылкой на источник.
Снижает галлюцинации. Типично для ассистентов по регламентам, поддержке и корпоративной базе знаний.
ИИ-агент
AI agent, автономный агент
Программный сотрудник на базе LLM: не только отвечает, но действует в системах компании — документы, заявки, CRM, отчёты по регламенту.
Критичные шаги — на подтверждение человеком; действия логируются. Отличие от чат-бота — инструменты и политики.
Air-gapped контур
изолированный контур, воздушный зазор
Среда без подключения к интернету: данные физически не утекают наружу. Для чувствительных данных, КИИ и закрытых периметров.
Модель работает без выхода в сеть; обновления переносятся контролируемо.
Инференс
inference, вывод модели
Работа уже обученной модели «на ответах»: запрос → результат. Именно инференс нагружает GPU в проде.
Движки: vLLM, Ollama и аналоги; балансировка и мониторинг качества — зона LLMOps.
Квантизация
quantization
Сжатие модели за счёт снижения точности весов (например, 8 или 4 бит), чтобы требовать меньше памяти GPU и отвечать быстрее.
Позволяет запускать крупные модели на более скромном железе; часть задач — даже на CPU.
Дообучение (fine-tuning / LoRA)
fine-tune, LoRA
Адаптация готовой модели под вашу предметную область. LoRA — экономичный метод без полного переобучения.
Проводится на ваших данных в вашем контуре — модель «говорит» языком компании, не выпуская данные наружу.
152-ФЗ
закон о персональных данных
Федеральный закон «О персональных данных»: обработка и защита ПДн в России, включая локализацию на территории РФ.
Локальный ИИ упрощает выполнение: ПДн остаются в периметре, а не в зарубежном облаке.
Эмбеддинг
embedding, векторное представление
Числовое (векторное) представление текста: по нему система находит смыслово близкие фрагменты. Основа поиска в RAG.
Хранятся в векторной БД (Qdrant, pgvector и др.) и используются, чтобы найти нужные куски документов под запрос.
MCP
Model Context Protocol
Стандарт подключения LLM к внешним системам: CRM, БД, файлы. MCP-сервер описывает инструменты, которые модель может вызвать.
Упрощает агентные интеграции без хаоса кастомных плагинов.
Guardrails
ограждения, политики безопасности LLM
Политики вокруг модели: фильтр ПДн, запрет опасных действий, лимиты, эскалация при низкой уверенности, аудит запросов.
Обязательны для production-агентов в CRM и учётных системах.
Дальше по теме
Нужен не словарь, а контур?
Подберём локальную LLM, RAG и интеграции под ваш периметр — с фиксированной сметой после аудита.