ITequipment.ruсетевое и серверное оборудование · МоскваПерейти в каталог →
Основы

Что такое LLM и зачем она бизнесу

LLM (Large Language Model) — большая языковая модель: нейросеть, которая обучена на огромном объёме текстов и умеет продолжать, пересказывать, переводить и анализировать текст и код. На ней работают чат-ассистенты, поиск по базе знаний компании и агенты, которые выполняют задачи.

Токен≈ часть слова, единица текста
Параметры«размер» модели: 7–400+ млрд
Контекстсколько текста модель видит за раз
Инференсработа уже обученной модели
Содержание
  1. Как работает LLM
  2. Обучение, дообучение и инференс
  3. Открытые и закрытые модели
  4. Что делают с LLM в компании
  5. Что нужно, чтобы запустить LLM у себя

Как работает LLM

Модель получает текст, разбитый на токены (части слов), и на каждом шаге предсказывает следующий токен. Внутри — архитектура трансформер: механизм внимания решает, какие части текста важны для ответа. Знания модели хранятся в параметрах — числах, подобранных во время обучения. Чем больше параметров, тем больше модель «знает» и тем больше памяти ей нужно.

Отдельно от параметров есть контекстное окно — сколько токенов модель учитывает одновременно: вопрос, историю диалога, приложенные документы. Длинный контекст расходует видеопамять на KV-кэш, поэтому сервер подбирают и под модель, и под длину запросов.

Обучение, дообучение и инференс

Обучение с нуля — самый дорогой этап: кластеры из сотен и тысяч ускорителей, недели работы. Компании почти никогда этого не делают, а берут готовые открытые модели.

Дообучение (fine-tuning, чаще LoRA/QLoRA) подстраивает готовую модель под свой стиль, термины и форматы. Хватает одного-двух мощных GPU.

Инференс — это работа модели: ответы пользователям. Здесь важны объём видеопамяти, скорость генерации (токенов в секунду) и сколько запросов сервер держит одновременно.

Открытые и закрытые модели

Закрытые модели доступны только через облачный API провайдера — данные уходят наружу. Открытые модели (семейства Llama, Qwen, DeepSeek, Mistral, Gemma и другие) можно скачать и запустить на своём сервере: данные не покидают контур компании, нет платы за каждый запрос, модель можно дообучить. Перед использованием проверяйте лицензию конкретной модели — у некоторых есть ограничения для коммерческого применения.

Что делают с LLM в компании

Что нужно, чтобы запустить LLM у себя

Главное ограничение — видеопамять: веса модели и KV-кэш должны поместиться в память GPU (или в общую память у настольных станций с единой памятью). Оцените требования калькулятором:

Сколько видеопамяти нужно под модель

Грубая оценка: веса = параметры × байты на параметр, плюс запас на KV-кэш и активации. Точный расчёт зависит от длины контекста, числа одновременных пользователей и движка (vLLM, TensorRT-LLM, llama.cpp).

Дальше — выбор между настольной станцией, сервером на несколько ускорителей и кластером. Подробно — в разборе какой сервер нужен под LLM.

Оборудование в каталоге

GPU-ускоритель NVIDIA H200 141GB HBM3e SXM — AI-ускоритель (Hopper)в наличии 2 шт · цена по запросуGPU-ускоритель NVIDIA H200 NVL 141GB PCIe — GPU/ускорительв наличии 2 шт · цена по запросуGPU-ускоритель NVIDIA L40S 48GB — GPU/ускорительв наличии 5 шт · цена по запросуGPU-ускоритель NVIDIA RTX PRO 6000 Blackwell 96GB — профессиональная видеокартв наличии 4 шт · цена по запросуGPU-сервер Supermicro SYS-421GU-TNXR (8x H200) — сервер 2U с GPUв наличии 3 шт · цена по запросуGPU-сервер ASUS ESC N8-E11 (8x H200) — сервер 2U с GPUв наличии 3 шт · цена по запросуГрафический 900-2G133-0080-000 ускоритель NVIDIA L40S 48GB GDDR6 PCIe GPU Acceпод заказ · 1 103 998 ₽Ускоритель NVIDIA H200 SXM 141 ГБ (Hopper, HBM3e)под заказ · цена по запросу

Читайте дальше

Что такое ИИПростыми словами: машинное обучение, нейросети, генеративный ИИ.Какой сервер нужен под LLMСчитаем видеопамяти под модель и пользователей.Как запустить свою нейросетьOllama, vLLM, RAG и дообучение — по шагам.GPU-сервер дешевлеГде экономить без потери результата: б/у, квантизация, аренда против покупки.

Купить GPU-серверGPU-сервер дёшевоСервер для ИИ · Весь раздел GPU

Вопросы и ответы

Вопросы по теме

Чем LLM отличается от ChatGPT?
ChatGPT — готовый сервис поверх закрытых моделей. LLM — сама модель; открытую LLM можно запустить на своём оборудовании и получить похожего ассистента без передачи данных наружу.
Сколько параметров нужно для бизнес-задач?
Для поиска по документам и черновиков ответов часто хватает моделей на 7–32 млрд параметров; для сложных рассуждений и кода берут 70 млрд и больше. Правильный размер подбирают на пилоте с вашими данными.
Можно ли запустить LLM без видеокарты?
Небольшие квантизованные модели работают и на процессоре, но медленно. Для нескольких пользователей и приемлемой скорости нужен GPU или станция с единой памятью.
Что такое квантизация?
Хранение весов с меньшей точностью (8 или 4 бита вместо 16). Модель занимает в 2–4 раза меньше памяти при небольшой потере качества — это главный способ сэкономить на железе.
Безопасно ли держать LLM у себя?
Своя модель в закрытом контуре — самый надёжный вариант для персональных и коммерческих данных: запросы и документы не покидают инфраструктуру компании.