Avito Pixel

Словарь

Словарь терминов: локальный ИИ простыми словами

Ключевые понятия суверенного и корпоративного ИИ: локальные LLM, RAG, агенты, air-gapped, инференс и связанные термины. Для директоров и ИТ, не для хайпа.

Локальная (on-premise) LLM

on-premise LLM, локальная языковая модель

Большая языковая модель на серверах компании или в изолированном контуре, а не в чужом облаке. Запросы и данные обрабатываются внутри периметра и не уходят наружу.

Снимает риск утечки, зависимость от зарубежного вендора и угрозу отключения API — банки, госсектор, промышленность, ИБ-жёсткий SMB.

Локальные LLM под ключ

LLM (большая языковая модель)

Large Language Model

Модель машинного обучения на больших объёмах текста: понимает и генерирует язык — ответы, классификация, извлечение полей, диалог.

Примеры для локального контура: Qwen, DeepSeek, Mistral; по политике ИБ — также GigaChat / YandexGPT.

RAG

Retrieval-Augmented Generation, поиск с генерацией

ИИ отвечает по вашим документам: сначала находит релевантные фрагменты в базе, затем формирует ответ со ссылкой на источник.

Снижает галлюцинации. Типично для ассистентов по регламентам, поддержке и корпоративной базе знаний.

RAG под ключ

ИИ-агент

AI agent, автономный агент

Программный сотрудник на базе LLM: не только отвечает, но действует в системах компании — документы, заявки, CRM, отчёты по регламенту.

Критичные шаги — на подтверждение человеком; действия логируются. Отличие от чат-бота — инструменты и политики.

Разработка ИИ-агентов

Air-gapped контур

изолированный контур, воздушный зазор

Среда без подключения к интернету: данные физически не утекают наружу. Для чувствительных данных, КИИ и закрытых периметров.

Модель работает без выхода в сеть; обновления переносятся контролируемо.

Secure AI

Инференс

inference, вывод модели

Работа уже обученной модели «на ответах»: запрос → результат. Именно инференс нагружает GPU в проде.

Движки: vLLM, Ollama и аналоги; балансировка и мониторинг качества — зона LLMOps.

GPU для LLM

Квантизация

quantization

Сжатие модели за счёт снижения точности весов (например, 8 или 4 бит), чтобы требовать меньше памяти GPU и отвечать быстрее.

Позволяет запускать крупные модели на более скромном железе; часть задач — даже на CPU.

Дообучение (fine-tuning / LoRA)

fine-tune, LoRA

Адаптация готовой модели под вашу предметную область. LoRA — экономичный метод без полного переобучения.

Проводится на ваших данных в вашем контуре — модель «говорит» языком компании, не выпуская данные наружу.

152-ФЗ

закон о персональных данных

Федеральный закон «О персональных данных»: обработка и защита ПДн в России, включая локализацию на территории РФ.

Локальный ИИ упрощает выполнение: ПДн остаются в периметре, а не в зарубежном облаке.

Безопасное облако 152-ФЗ

Эмбеддинг

embedding, векторное представление

Числовое (векторное) представление текста: по нему система находит смыслово близкие фрагменты. Основа поиска в RAG.

Хранятся в векторной БД (Qdrant, pgvector и др.) и используются, чтобы найти нужные куски документов под запрос.

MCP

Model Context Protocol

Стандарт подключения LLM к внешним системам: CRM, БД, файлы. MCP-сервер описывает инструменты, которые модель может вызвать.

Упрощает агентные интеграции без хаоса кастомных плагинов.

Расширенный глоссарий (AEO, GEO, Claude)

Guardrails

ограждения, политики безопасности LLM

Политики вокруг модели: фильтр ПДн, запрет опасных действий, лимиты, эскалация при низкой уверенности, аудит запросов.

Обязательны для production-агентов в CRM и учётных системах.

Дальше по теме

Нужен не словарь, а контур?

Подберём локальную LLM, RAG и интеграции под ваш периметр — с фиксированной сметой после аудита.

Опишите задачу и оставьте телефон, email или Telegram.

Укажите в тексте телефон, email или @telegram — иначе не сможем ответить.

Форма зависла? Напишите напрямую: contact@bober-systems.ru · Telegram

Telegram Позвонить