AM.SALESСвоя нейросеть на сервере: что нужно и сколько это стоит
Главный вопрос не «какую нейросеть выбрать», а «сколько видеопамяти она займёт». От этого зависит железо, а от железа — бюджет. Разбираем по цифрам, без общих слов.
/ Что обеспечиваем
Из чего складывается конфигурация
Размер модели
7-8B тянет простые переформулировки, 14B закрывает сводки, письма и разбор документов, 32B нужна для сложного анализа длинных регламентов. Для офисных задач 70B избыточна.
Сжатие модели
Квантование Q4 сжимает сильно с потерей качества 3-5%, Q8 мягче — около 1%. Модель 14B в Q4 занимает 10-12 ГБ, в Q8 уже 15 ГБ.
Видеокарта
16 ГБ достаточно для старта на модели 14B, 24-48 ГБ берут с запасом под рост. Именно карта определяет, какая модель поместится.
Процессор, память, диск
16+ ядер на подготовку данных и разбор PDF, 64-128 ГБ оперативной памяти, 1-2 ТБ NVMe под модели, индекс документов и логи.
Питание и охлаждение
750-1000 Вт и ИБП: карта под нагрузкой потребляет много. Нужна серверная стойка, офисный шкаф не подойдёт — греется постоянно.
Аренда или покупка
Аренда в ЦОД по 152-ФЗ снимает капитальные затраты и санкционный риск, выдача за 15 минут. Покупка оправдана требованием безопасности, но не экономикой.
/ Что даёт
Как меняется инфраструктура
- Непонятно, какая видеокарта нужна под задачу
- Подрядчики называют цену без обоснования
- Риск купить железо и не угадать с моделью
- Санкционные риски и сроки поставки на вас
- Конфигурация посчитана от задач, а не наугад
- Видно, из чего складывается каждая цифра
- Начинаем с аренды, масштабируемся по факту
- Аренда в российском ЦОД снимает оба риска
При аренде 10 900 ₽ в месяц покупка сервера окупается примерно за десять лет. За это время сменятся три поколения видеокарт.
Почему мы почти всегда советуем аренду
Что вы получаете, кроме кода
Сначала аудит, потом изменения
Разбираем инфраструктуру и риски до того, как что-то трогать. План работ и точки отката согласуем заранее.
Переезд без простоя
Миграции и обновления делаем так, чтобы сервис оставался доступным для клиентов.
Документируем всё
Схемы, доступы, инструкции по восстановлению — команда не зависит от одного человека.
Мониторинг и дежурство
Договор на сопровождение: следим за нагрузкой и реагируем до того, как упадёт.
/ Как выстраиваем
Контур надёжности
Считаем от задач
Смотрим, что модель должна уметь и сколько человек будут работать одновременно. Отсюда размер модели и число параллельных запросов.
Подбираем железо
Считаем видеопамять под модель со сжатием, добавляем контекст и запас. Получаем конкретную карту и конфигурацию сервера.
Разворачиваем
Установка, firewall, доступы, нагрузочные тесты на ваших реальных запросах, а не на синтетике.
Сопровождаем
Обновление версий моделей в плановое окно, мониторинг нагрузки, расширение конфигурации при росте.
Посчитаем конфигурацию под вашу задачу
Опишите задачи и число пользователей — вернёмся с моделью, видеокартой и сметой на развёртывание.