Сервер для ИИ YADRO G4208P G3

Одна модель на нескольких GPU или несколько параллельных задач

Комплектация G4208P G3 зависит от того, как приложение использует ускорители. До выбора оборудования определяем схему работы, которая нужна вашему ПО.

Одна ресурсоемкая модель. Рассчитываем видеопамять и распределение вычислений между GPU. Для языковых моделей учитываем также длину контекста и число одновременных запросов: память нужна для весов модели, KV-кэша и служебных данных.

Несколько моделей или сервисов. Планируем распределение ускорителей между приложениями, количество одновременно работающих экземпляров и резерв ресурсов для новых задач.

В первом случае особенно важен обмен между GPU. Во втором – соответствие каждого ускорителя своей нагрузке и возможность независимо развивать сервисы. Это влияет на состав закупки и требования к программной среде.

H200 NVL, RTX PRO 6000 Blackwell и L40S: какую конфигурацию собрать

G4208P G3 поддерживает GPU с разным объемом и пропускной способностью памяти. Эти параметры помогают определить, какие модели и режимы работы можно разместить на выбранных ускорителях.

Для H200 NVL предусмотрены соединения NVLink Bridge между двумя или четырьмя совместимыми GPU. L40S использует PCIe и не поддерживает NVLink. Поэтому одинаковое количество установленных ускорителей может требовать разных способов распределения модели.

Например, восемь L40S имеют суммарно 384 ГБ физической видеопамяти. Чтобы задействовать этот ресурс для одной модели, программная среда должна поддерживать ее распределение между GPU. Состав ускорителей выбираем вместе со способом запуска приложения.

В линейке совместимых GPU также представлены NVIDIA A30, A16, RTX 6000 Ada, RTX 4000 Ada, L4 и MetaX C500. Конкретные модели, количество и компоненты их установки закрепляем в спецификации сервера.

Если аппаратная платформа еще не определена, варианты архитектуры рассматриваем в решениях для обучения и дообучения нейросетей и инференса и видеоаналитики.

CPU, RAM и накопители для выбранных ускорителей

Серверная часть обеспечивает подготовку данных, выполнение операций на CPU, загрузку моделей и сохранение результатов. Ее ресурсы рассчитываем вместе с GPU.

Для дисковой подсистемы определяем размещение ОС, моделей, рабочих наборов данных и контрольных точек. Подбираем накопители по емкости, интенсивности записи и требованиям к скорости доступа. Возможности RAID зависят от выбранного контроллера; для NVMe предусмотрен VROC.

Если ускорители планируется добавлять позднее, заранее проверяем состав питания, охлаждения и соединений для будущей конфигурации.

Полная GPU-конфигурация в вашем ЦОД

G4208P G3 размещается в корпусе 4U. Воздушное исполнение поддерживает восемь GPU по 600 Вт при температуре входящего воздуха до 30 °C. В системе предусмотрены четыре блока питания по 3200 Вт и 12 двухроторных вентиляторов с резервированием N+2.

При таком составе суммарная расчетная мощность GPU достигает 4,8 кВт. Электропитание и охлаждение подбираем для узла целиком, включая процессоры и остальные компоненты.

До размещения определяем:

• доступную мощность на стойку и возможности ИБП;
• подключение к питающим линиям и PDU;
• схему резервирования блоков питания;
• подачу воздуха и отвод тепла;
• пространство для кабелей и обслуживания.

Резервирование питания 2+2 или 3+1 выбирается для конкретной комплектации. При расширении количества GPU повторно учитываем нагрузку на инженерные системы.

Жидкостное охлаждение процессоров и GPU

Для высокой вычислительной плотности доступно исполнение G4208P G3 с жидкостным охлаждением. Оно отводит тепло от CPU и ускорителей через подключение к внешней системе охлаждения.

Проверяем совместимость с контуром площадки, необходимые подключения и условия обслуживания. Подготовку новой GPU-зоны или расширение существующей можно объединить с проектом ЦОД для ИИ.

Данные и подключения для GPU-узла

Для G4208P G3 определяем три вида обмена: доступ приложений к серверу, работу с хранилищем и взаимодействие между вычислительными узлами.

Сетевые адаптеры и соединения выбираем под эти задачи. Выделенный порт 1GbE BMC используем для управления оборудованием.

При работе с большими датасетами рассчитываем скорость чтения исходных данных и записи результатов. Если требуется общее производительное хранилище, включаем в архитектуру YADRO TATLIN.AFA с подходящими интерфейсами и составом накопителей.

Для группы серверов G4208P G3 проектируем межузловые соединения с учетом способа распределенных вычислений. План расширения охватывает адаптеры, коммутаторы, кабели и ресурсы площадки.

Программную среду готовим под выбранные GPU и приложения: согласуем ОС, драйверы, вычислительные библиотеки и необходимые компоненты запуска. Мониторинг оборудования подключаем через OpenBMC, Redfish, IPMI или другие поддерживаемые интерфейсы. Для парка серверов доступны YADRO СУПРИМ и VEGMAN Satellites.

Стоимость и поставка G4208P G3

Рассчитываем цену по готовой спецификации или требованиям к GPU и программному обеспечению. В стоимость оборудования включаем выбранные ускорители, процессоры, память, накопители, адаптеры и необходимые компоненты подключения.

Отдельно указываем стоимость лицензий, поддержки и внедрения. В КП фиксируем комплектацию, цену, НДС, сроки поставки и условия оплаты.

Поставляем отдельные серверы и партии оборудования. По проекту выполняем монтаж, установку ПО, подключение к сети и СХД.

В базовую поставку включаем годовую гарантию YADRO и техническую поддержку в режиме 9×5. Подбираем расширенную программу обслуживания, проводим диагностику и сопровождаем гарантийные обращения.

Часто задаваемые вопросы

1. Какие данные нужны для подбора сервера под нашу ИИ-модель?

Уточняем название и версию модели, используемое ПО, сценарий работы – обучение, дообучение или инференс – и требуемую производительность. Для языковых моделей дополнительно учитываем формат хранения весов, длину контекста и число одновременных запросов.

2. Можно ли использовать уже приобретенные GPU?

Проверяем точные модели и артикулы ускорителей, их совместимость с G4208P G3, требования к питанию, охлаждению и соединениям. Возможность установки и условия поддержки YADRO подтверждаем для выбранной комплектации.

3. Можно ли добавить ускорители после покупки сервера?

Возможность расширения проверяем по исходной комплектации. Учитываем свободные GPU-слоты, компоненты подключения, запас питания и охлаждения. Если планируете увеличивать количество ускорителей, закладываем необходимые компоненты в первоначальную поставку.

4. Обязательно ли жидкостное охлаждение для восьми GPU?

G4208P G3 поддерживает воздушное охлаждение, в том числе для восьми GPU по 600 Вт при температуре входящего воздуха до 30 °C. Проверяем возможности площадки и подбираем воздушное или жидкостное исполнение под выбранные ускорители и условия размещения.