GPU-сервер для ИИ: HPE и Dell с NVIDIA

GPU-сервер нужен, когда компания хочет запускать языковые модели и другие задачи искусственного интеллекта на своём оборудовании: внутри периметра, без передачи данных во внешние сервисы. Data General подбирает и поставляет серверы HPE ProLiant и Dell PowerEdge с ускорителями NVIDIA под конкретную модель и нагрузку.

Сколько видеопамяти нужно под модель

Главный параметр при подборе: объём видеопамяти. Модель должна в неё поместиться вместе с запасом под контекст и одновременные запросы. Ориентиры для запуска готовых открытых моделей:

Размер моделиФорматВидеопамять, ориентир
7–8 млрд параметров16 битоколо 16–24 ГБ
7–8 млрд параметров4 битаоколо 6–8 ГБ
30–34 млрд параметров4 битаоколо 20–24 ГБ
70 млрд параметров4 битаоколо 40–48 ГБ
70 млрд параметров16 битоколо 140–160 ГБ, несколько ускорителей

Дообучение модели требует в несколько раз больше памяти, чем запуск. Точный расчёт делаем под выбранную модель, число пользователей и длину контекста.

Какие платформы подходят

  • Один или два ускорителя: стоечные 2U-серверы Dell PowerEdge R760 и R770, HPE ProLiant DL380 Gen11 и Gen12. Подходят для внутреннего чат-бота, поиска по документам, распознавания речи.
  • Четыре ускорителя и больше: специализированные платформы Dell PowerEdge серии XE и HPE ProLiant DL380a. Для больших моделей, многих пользователей и дообучения.
  • Рабочая станция: для экспериментов одного специалиста иногда достаточно ноутбука или станции Dell Pro Max с NVIDIA RTX.

Свой сервер или облако

Свой сервер выгоден при постоянной нагрузке и строгих требованиях к хранению данных. Если нагрузка пока непредсказуема или нужен быстрый старт, можно начать с моделей в Microsoft Azure с оплатой в тенге и перейти на своё оборудование, когда станет понятен объём.

Что прислать для расчёта

  1. Какие модели планируете запускать и для каких задач.
  2. Сколько пользователей будут работать одновременно.
  3. Где будет стоять сервер: стойка, питание, охлаждение.
  4. Бюджет и желаемый срок.

Пришлём одну или две конфигурации в тенге. Ускорители NVIDIA часто поставляются под заказ, поэтому наличие и срок поставки подтверждаем в КП до оплаты.

Если GPU нужен на короткий срок или для пробного проекта, посмотрите аренду вычислительных мощностей в Microsoft Azure с оплатой за фактическое потребление.

Вопросы и ответы

Сколько стоит GPU-сервер для ИИ?

Цена зависит прежде всего от количества и модели ускорителей NVIDIA, затем от процессоров, памяти и дисков. Пришлите задачу, ответим КП с вариантами.

Можно ли запустить ChatGPT на своём сервере?

Сам ChatGPT нет, это сервис OpenAI. На своём сервере запускают открытые модели, сопоставимые по многим задачам, и строят на них внутренний чат-бот или поиск по документам.

Какой GPU нужен для модели на 70 млрд параметров?

В сжатом 4-битном формате нужно около 40–48 ГБ видеопамяти, в полном 16-битном около 140–160 ГБ, то есть несколько ускорителей.

Можно ли арендовать GPU вместо покупки?

Мы не сдаём оборудование в аренду, но можем подключить мощности Microsoft Azure с оплатой в тенге, это близкий по смыслу вариант без капитальных затрат.

Смотрите также: Сколько стоит сервер · Сервер для виртуализации · ChatGPT для компании