Выберите модель и сценарий — посчитаем необходимый объём видеопамяти, подберём платформу и ускорители, покажем ориентир по цене и лизинговому платежу. Расчёт мгновенный, без заявки.
Все расчёты — ориентировочные. Финальную конфигурацию подтверждает инженер.
Сколько видеопамяти нужно в полной точности и в квантовании, на какой платформе запускается и с какой скоростью.
| Модель | Параметров | VRAM FP16 | VRAM Q4 | Платформа | Скорость | Цена от |
|---|
Чтобы вы могли проверить расчёт, а не верить на слово.
Вес модели. Число параметров умножается на размер одного параметра: FP16 — 2 байта, FP8 — 1 байт, Q5 — 0,65, Q4 — 0,5. Модель на 70 млрд параметров в FP16 занимает около 140 ГБ только весами.
Инференс. К весам добавляется 20% на KV-кэш и активации, плюс поправка на число одновременных пользователей: до 50 — без надбавки, 50–200 — плюс 15%, свыше 200 — плюс 30%.
Дообучение QLoRA. Базовые веса берутся в Q4, сверху адаптеры и активации — коэффициент 1,6.
Полное обучение. Веса в FP16 плюс состояние оптимизатора, градиенты и активации — примерно четырёхкратный запас. Для этого сценария подбирается платформа с NVLink.
Несколько моделей одновременно добавляют 70% к требуемому объёму — часть памяти переиспользуется.
Пришлём коммерческое предложение с точной конфигурацией и сроками поставки. Отвечаем в рабочее время, обычно в течение часа.