GPU-сервер нужен, когда компания хочет запускать языковые модели и другие задачи искусственного интеллекта на своём оборудовании: внутри периметра, без передачи данных во внешние сервисы. Data General подбирает и поставляет серверы HPE ProLiant и Dell PowerEdge с ускорителями NVIDIA под конкретную модель и нагрузку.
Сколько видеопамяти нужно под модель
Главный параметр при подборе: объём видеопамяти. Модель должна в неё поместиться вместе с запасом под контекст и одновременные запросы. Ориентиры для запуска готовых открытых моделей:
| Размер модели | Формат | Видеопамять, ориентир |
|---|---|---|
| 7–8 млрд параметров | 16 бит | около 16–24 ГБ |
| 7–8 млрд параметров | 4 бита | около 6–8 ГБ |
| 30–34 млрд параметров | 4 бита | около 20–24 ГБ |
| 70 млрд параметров | 4 бита | около 40–48 ГБ |
| 70 млрд параметров | 16 бит | около 140–160 ГБ, несколько ускорителей |
Дообучение модели требует в несколько раз больше памяти, чем запуск. Точный расчёт делаем под выбранную модель, число пользователей и длину контекста.
Какие платформы подходят
- Один или два ускорителя: стоечные 2U-серверы Dell PowerEdge R760 и R770, HPE ProLiant DL380 Gen11 и Gen12. Подходят для внутреннего чат-бота, поиска по документам, распознавания речи.
- Четыре ускорителя и больше: специализированные платформы Dell PowerEdge серии XE и HPE ProLiant DL380a. Для больших моделей, многих пользователей и дообучения.
- Рабочая станция: для экспериментов одного специалиста иногда достаточно ноутбука или станции Dell Pro Max с NVIDIA RTX.
Свой сервер или облако
Свой сервер выгоден при постоянной нагрузке и строгих требованиях к хранению данных. Если нагрузка пока непредсказуема или нужен быстрый старт, можно начать с моделей в Microsoft Azure с оплатой в тенге и перейти на своё оборудование, когда станет понятен объём.
Что прислать для расчёта
- Какие модели планируете запускать и для каких задач.
- Сколько пользователей будут работать одновременно.
- Где будет стоять сервер: стойка, питание, охлаждение.
- Бюджет и желаемый срок.
Пришлём одну или две конфигурации в тенге. Ускорители NVIDIA часто поставляются под заказ, поэтому наличие и срок поставки подтверждаем в КП до оплаты.
Если GPU нужен на короткий срок или для пробного проекта, посмотрите аренду вычислительных мощностей в Microsoft Azure с оплатой за фактическое потребление.
Вопросы и ответы
Сколько стоит GPU-сервер для ИИ?
Цена зависит прежде всего от количества и модели ускорителей NVIDIA, затем от процессоров, памяти и дисков. Пришлите задачу, ответим КП с вариантами.
Можно ли запустить ChatGPT на своём сервере?
Сам ChatGPT нет, это сервис OpenAI. На своём сервере запускают открытые модели, сопоставимые по многим задачам, и строят на них внутренний чат-бот или поиск по документам.
Какой GPU нужен для модели на 70 млрд параметров?
В сжатом 4-битном формате нужно около 40–48 ГБ видеопамяти, в полном 16-битном около 140–160 ГБ, то есть несколько ускорителей.
Можно ли арендовать GPU вместо покупки?
Мы не сдаём оборудование в аренду, но можем подключить мощности Microsoft Azure с оплатой в тенге, это близкий по смыслу вариант без капитальных затрат.
Смотрите также: Сколько стоит сервер · Сервер для виртуализации · ChatGPT для компании