Зачем бизнесу собственный ЦОД для ИИ, если есть облака?

Собственный ЦОД для ИИ нужен, когда постоянная GPU-нагрузка делает аренду облака дороже владения. Второй триггер – данные, которые нельзя выносить за периметр компании. Разберем, по каким признакам понять, что промышленный искусственный интеллект перерос облачные вычисления.

Коротко: главные выводы

Средняя мощность стойки в ЦОД выросла примерно с 8 до 17 кВт за два года. ИИ-платформы требуют 30-120 кВт (данные Uptime Institute и документации NVIDIA).

При круглосуточном обучении нейросетей и инференсе своя площадка часто выигрывает у аренды по совокупной стоимости владения.
152-ФЗ, 187-ФЗ и отраслевые требования не запрещают облачную модель автоматически, но требуют отдельно оценивать размещение данных, контур обработки, меры защиты, доступы, журналы событий и ответственность сторон. Для части сценариев собственная или контролируемая инфраструктура оказывается предпочтительнее.

По оценкам участников рынка, спрос на мощности ЦОД в России превышает доступное предложение, особенно в сегменте высокоплотных размещений. Обычная серверная GPU-кластер не выдержит: нужны жидкостное охлаждение и резервированное питание.

Почему промышленный искусственный интеллект перерастает облака

Облако – отличный старт для пилота. Но что происходит, когда модель уходит в промышленную эксплуатацию? Нагрузка становится постоянной, а счета за графические ускорители – регулярными и растущими.

Аренда GPU дорожает вместе с нагрузкой

Аренда GPU выгодна при коротких экспериментах и пиковых задачах. Однако обучение больших языковых моделей и круглосуточный инференс меняют экономику. В облачной модели капитальные затраты заменяются регулярными платежами. Это удобно для старта и пиковых задач, но при постоянной загрузке GPU нужно считать экономику на горизонте нескольких лет.

Посчитайте простую вещь: сколько часов в месяц ваши ускорители реально загружены? Если утилизация стабильно высокая, аренда превращается в переплату.

Дефицит мощностей в коммерческих ЦОД

Свободные стойко-места под высокие мощности – отдельная проблема. По оценкам участников рынка, спрос на мощности ЦОД в России превышает доступное предложение, особенно в сегменте высокоплотных размещений.

Под высокоплотные ИИ-нагрузки свободных залов еще меньше, чем под классические серверы. Поэтому крупные заказчики все чаще выбирают собственные объекты. На проектах СИНТО мы видим тот же запрос: выделенная зона на 30-100 кВт на стойку «под себя».

Задержки и объем данных

Видеоаналитика и компьютерное зрение генерируют потоки, которые дорого гонять в облако. Инференс рядом с источником данных снижает задержки и трафик. Поэтому производства все чаще строят локальный AI-контур на своей площадке.

Чем ИИ-нагрузка отличается от классической ИТ-инфраструктуры

Дата-центр под нейросети – это не «серверная побольше». Отличается сама физика: энергия, тепло, сеть.

Плотность мощности стойки: с 5 до 120 кВт

Классическая стойка потребляет 5–10 кВт. По оценкам Uptime Institute, средняя плотность мощности выросла с 8 до 17 кВт за два года и движется к 30 кВт. Операторы российских ЦОД фиксируют запросы ИИ-сегмента на 30-50 кВт на стойку.

Обучение крупных моделей требует еще больше. NVIDIA в документации указывает для платформы GB200 NVL72 около 120 кВт на стойку. Uptime Institute оценивает ее энергопотребление в 132 кВт.

Тепло: жидкостное охлаждение вместо воздушного

Воздушное охлаждение через фальшпол эффективно примерно до 15 кВт на стойку. Дальше воздух физически не успевает отводить тепловыделение GPU-серверов. Нужен жидкостный контур: DLC-плиты на чипах, блоки CDU, насосные группы, датчики протечек.

Жидкостное охлаждение заодно улучшает PUE – энергоэффективность всего объекта. Мы в СИНТО внедряли водяное охлаждение в действующем дата-центре под стойки до 100 кВт – без демонтажа существующих инженерных систем.

Сеть и хранение для GPU-кластера

Узлы GPU-кластера при распределенном обучении обмениваются терабайтами данных. Нужны оптические трассы, СКС с запасом по пропускной способности и низкие задержки между стойками. Обычная офисная сеть здесь не работает.

Облако, колокация или собственный ЦОД для ИИ: что выбрать

Универсального ответа нет – есть профиль нагрузки и требования к данным. Сравним три модели размещения.

Совокупная стоимость владения (TCO)

Считайте TCO на горизонте 3-5 лет: капитальные затраты, энергия, эксплуатация, персонал. В расчетах для заказчиков мы дополнительно закладываем стоимость простоя и резерв под рост плотности стоек. При загрузке ускорителей близкой к постоянной владение обычно окупает себя. Собственные ЦОД держат крупные банки.
 

Когда облака достаточно

Облачные вычисления оправданы для пилотов, сезонных пиков и редких дообучений. Гибридная инфраструктура тоже рабочий вариант: база – у себя, пики – в облаке. Так вы не замораживаете CAPEX раньше времени.

Когда нужна своя площадка

Признаки простые: постоянная нагрузка, чувствительные данные, требования регуляторов, горизонт от трех лет. Если совпали два и больше – пора считать проект собственного объекта.

Что требует закон: 152-ФЗ, КИИ и коммерческая тайна

Иногда вопрос выбора решает не экономика, а регуляторика. Проверьте три зоны риска.

Локализация персональных данных

152-ФЗ «О персональных данных» требует хранить и обрабатывать данные граждан РФ на территории России. Публичные зарубежные облака для таких задач закрыты. Локализация данных на своей площадке снимает вопрос полностью.

Критическая информационная инфраструктура

Если ваши системы попадают под 187-ФЗ «О безопасности КИИ», требования жестче. Промышленность, энергетика, финансы, транспорт обязаны обеспечивать защищенность значимых объектов. Контроль физического периметра здесь – весомый аргумент за собственную инфраструктуру для ИИ.

Модели и обучающие выборки – это актив

Обученная модель и датасеты – коммерческая тайна и конкурентное преимущество. Передавая их внешнему провайдеру, вы расширяете периметр риска. Суверенитет данных и моделей проще обеспечить на контролируемом объекте.

Каким должен быть дата-центр для нейросетей

Допустим, решение принято. Что закладывать в проект, чтобы объект не устарел через два года?

Электропитание с резервированием

Под высокоплотные стойки проектируют отдельные вводы, ИБП, PDU и резервное питание. Пиковое энергопотребление GPU-серверов при старте обучения выше среднего – это учитывают в расчетах. Ошибка на этом этапе – самая дорогая.

Отказоустойчивость уровня Tier III

Обучение, прерванное аварией питания, – это потерянные недели и деньги. Поэтому машинный зал под ИИ проектируют с резервированием по схемам уровня Tier III: обслуживание без остановки нагрузки. СИНТО строила такой объект для ГК «Тензор» (СБИС) – с расчетом на пики свыше 1 млн одновременных сессий.

Мониторинг и паспорт мощностей

Система мониторинга контролирует мощность, температуру, протечки жидкостного контура и PUE. Паспорт мощностей фиксирует, сколько кВт безопасно размещать по зонам и стойкам. Без этих документов масштабирование превращается в лотерею.

Как перейти от облака к своей инфраструктуре: план

Переход – это управляемый проект, а не прыжок. Последовательность такая:

1. Аудит нагрузки: тип задач (обучение, инференс, RAG), утилизация, рост на 3-5 лет.
2. Аудит площадки: доступная электрическая мощность, перекрытия, трассы, помещения.
3. Расчет TCO и сравнение сценариев: облако, свой объект, гибрид.
4. Выбор формата: новый объект, высокоплотная зона в действующем ЦОД или модернизация.
5. Проектирование питания, охлаждения, СКС, мониторинга и строительной части.
6. Поставка, монтаж, пусконаладка, испытания и передача документации.

С чего начать аудит

Начните с честных цифр утилизации ускорителей и счетов за аренду. Затем оцените площадку: часто узкое место – не деньги, а подведенная электрическая мощность. Эти два среза дают 80% ответа.

Форматы: не всегда нужен новый объект

Отдельное здание – лишь один из вариантов. Высокоплотная зона в действующем зале или модульный ЦОД запускаются быстрее и дешевле. Модернизация существующей площадки под серверы с GPU для обучения ИИ тоже рабочий сценарий.

Частые вопросы о собственной ИИ-инфраструктуре

При каком масштабе облака перестает хватать?

Ориентир – стабильная загрузка ускорителей и горизонт задач от 1-3 лет. Если GPU работают почти круглосуточно, аренда GPU начинает проигрывать владению. Точный порог показывает только расчет TCO под ваш профиль.

Подойдет ли обычная серверная под GPU-кластер?

Как правило, нет. Плотность мощности стойки 30-100 кВт требует других вводов питания, охлаждения и усиленных перекрытий. Нужен аудит: иногда помещение спасает модернизация, иногда – только новая зона.

Обязательно ли жидкостное охлаждение?

Не всегда. До 15-20 кВт на стойку справляются воздушные и гибридные схемы. Выше – без жидкостного контура не обойтись: это вопрос физики, а не моды.

Что делать, если не хватает электрической мощности?

Варианты есть: поэтапный модульный ввод мощности, перераспределение нагрузки, вынос части задач в гибрид. Решение подбирается по итогам аудита площадки и расчета пиков потребления.

Вывод: считайте, а не гадайте

Собственный ЦОД для ИИ – это ответ на постоянную нагрузку, дефицит мощностей и требования к данным. Решение стоит принимать на цифрах: утилизация, TCO, доступная энергия, план роста. Планируете свой объект или высокоплотную зону под GPU? Закажите расчет на странице услуги строительство ЦОД для ИИ – разберем исходные данные, оценим мощность и охлаждение, подготовим структуру бюджета.

Как мы это знаем

СИНТО проектирует и строит инженерную и ИТ-инфраструктуру с 2010 года. Мы построили ЦОД уровня Tier III для ГК «Тензор» (СБИС) – объект рассчитан на непрерывную работу сервисов при пиках свыше 1 млн одновременных сессий. Внедрили водяное охлаждение в действующем дата-центре под стойки плотностью до 100 кВт – без остановки и демонтажа существующих систем. Проектируем ИИ-объекты со стойками 30–100+ кВт: DLC, CDU, резервированное питание, СКС, мониторинг и паспорт мощностей.

Материал подготовила инженерная команда СИНТО – проектируем и строим ЦОД с 2010 года.