Какие серверы подходят для работы с искусственным интеллектом?

В последние два года мы наблюдаем настоящий бум внедрения технологий искусственного интеллекта в российских компаниях. От логистических центров до промышленных предприятий — везде требуются вычислительные мощности для обучения нейросетей и обработки больших данных. Однако главный вопрос, который нам задают инженеры и технические директора: какие серверы подходят для работы с искусственным интеллектом? Наша компания, Шэньчжэньская компания коммуникационного оборудования Xianghao, Ltd., накопила большой опыт в подборе и поставке оборудования для ИИ-задач. В этой статье мы подробно разберем архитектурные требования, приведем конкретные цифры и рекомендации.

Исходя из нашей практики, типичная ошибка — пытаться использовать обычные серверы для офисных задач (так называемые «серверы начального уровня») для обучения нейросетей. Это приводит к тому, что обучение модели, которое могло бы занять сутки, растягивается на три недели. Правильно подобранный сервер для ИИ должен учитывать четыре ключевых аспекта: вычислительные ядра (CPU), ускорители (GPU), пропускную способность памяти и скорость дисковых операций. Мы разберем каждый пункт с конкретными цифрами.

1. Требования к процессорам (CPU) для ИИ-серверов

Многие ошибочно полагают, что центральный процессор не важен для задач ИИ, поскольку основную работу выполняют графические ускорители. Однако наш опыт работы на российских объектах показывает обратное. Процессор отвечает за предобработку данных, их загрузку в память GPU и управление пайплайном вычислений. Если CPU не справляется, мощные ускорители будут простаивать более 40% времени. Какие серверы подходят в этом плане? Оптимальными считаются решения как минимум с двумя процессорами архитектуры x86, имеющие не менее 24 физических ядер каждый. Например, мы успешно внедряем серверы на базе Intel Xeon Scalable (3-го или 4-го поколения) с частотами выше 3.0 ГГц в турбо-режиме. Обязательно обращайте внимание на поддержку большого количества линий PCI Express (минимум 80 линий на сокет) — это критически важно для подключения нескольких ускорителей.

В соответствии с рекомендациями ГОСТ Р 57700-2017 для вычислительных систем высокопроизводительной обработки данных, мы советуем также учитывать межпроцессорные соединения. Intel Ultra Path Interconnect (UPI) или AMD Infinity Fabric должны обеспечивать пропускную способность не менее 20 ГТ/с. Без этого даже самый мощный сервер для ИИ будет «задыхаться» при обмене данными между процессорами. В нашей практике был случай: заказчик из Екатеринбурга пытался использовать однопроцессорную платформу с 16 ядрами для обучения модели обработки изображений. После замены на двухпроцессорную систему (32 ядра) скорость загрузки данных выросла в 2.7 раза, а время эпохи сократилось на 38%.

2. Главный ускоритель: выбор GPU для обучения нейросетей

Без сомнения, это самый важный компонент. Какие серверы подходят для ИИ с точки зрения графических ускорителей? На текущий момент индустриальный стандарт — это NVIDIA Tesla A100 или H100, а для менее бюджетных задач — A40 или A6000. Но также мы видим рост популярности решений от AMD (Instinct MI series). Мы рекомендуем ориентироваться на объем видеопамяти: для задач компьютерного зрения нужно минимум 24 ГБ, для больших языковых моделей (LLM) — от 40 ГБ на один GPU. В сервере для искусственного интеллекта должно быть предусмотрено NVLink или другое высокоскоростное соединение между ускорителями. Шэньчжэньская компания коммуникационного оборудования Xianghao, Ltd. поставляет серверы с поддержкой до 8 GPU на одну систему, причем с прямым подключением к CPU через PCIe 4.0 или 5.0.

Обратите внимание на охлаждение: типичный сервер для ИИ генерирует более 300 Вт тепла на один GPU. В российских условиях, особенно при установке в плотно набитых стойках (по стандартам ГОСТ Р 52907-2008), мы рекомендуем системы с продвинутым воздушным охлаждением или пряможидкостным охлаждением (DLC). По данным наших тестов, даже при +35°C в помещении сервер NVIDIA DGX с DLC сохраняет стабильность, в то время как воздушные системы начинают троттлить частоты. Поэтому при выборе обязательно запрашивайте у поставщика тепловую карту.

3. Требования к оперативной памяти и дисковым системам

Не менее важен объём и пропускная способность RAM. Какие серверы подходят для ИИ-задач с большими наборами данных? Мы используем правило: оперативной памяти должно быть в 2-4 раза больше, чем суммарной видеопамяти всех GPU. Например, для сервера с 4×A100 (40 ГБ каждый = 160 ГБ видеопамяти) нужно иметь минимум 320 ГБ, а лучше 512 ГБ ОЗУ. Тип памяти — только DDR4 с частотой от 3200 МГц или DDR5. Также критична поддержка ECC (коррекция ошибок) — в задачах ИИ на длинных прогонах (более 48 часов) битовые ошибки памяти могут испортить модель. Наши серверы комплектуются только сертифицированной памятью с ECC.

Дисковая подсистема — частое узкое место. Для обучения требуется быстрая загрузка датасетов. Поэтому мы рекомендуем следующую конфигурацию:

Мы настоятельно советуем держать активный датасет именно на NVMe — это даёт прирост скорости обучения до 50% по сравнению с SATA SSD. Наши инженеры из Шэньчжэньской компании Xianghao всегда проверяют совместимость NVMe-накопителей с конкретной моделью сервера при разных режимах работы.

4. Сетевая инфраструктура и масштабирование кластера

Если вы планируете объединять несколько серверов для ИИ в кластер, то внутристоечная и межноодная сеть становится критичной. Какие серверы подходят для создания распределенных вычислительных систем? Те, которые имеют хотя бы два порта 25GbE или, лучше, опциональный адаптер InfiniBand (100 Гбит/с). Обычные 1 GbE — это тупик. По нашим замерам, при синхронном обучении модели на двух серверах с 4 GPU каждый, соединенных по 1GbE, накладные расходы на синхронизацию съедают до 60% времени. Переход на 25GbE снижает накладные расходы до 8%. Мы настаиваем на использовании RoCE (RDMA over Converged Ethernet) или InfiniBand, если сервер для искусственного интеллекта претендует на звание промышленного решения.

Для российских клиентов мы также учитываем требования о локализации данных и необходимость внутренних аналогов сетевых карт. По нашему опыту, карты от Mellanox (теперь NVIDIA) или Intel E810 работают наиболее стабильно на длинных прогонах (неделя и более). Мы всегда проверяем каждую сетевую карту перед отправкой в составе сервера. И ещё один важный момент: планируйте запас по количеству слотов расширения. Через год вам почти наверняка понадобится добавить ещё ускорители.

Часто задаваемые вопросы (FAQ)

Вопрос 1: Нужно ли для старта обязательно покупать сервер с 8 GPU или достаточно 1-2? 

Для начала работы и обучения небольших моделей (например, классификатор изображений на ResNet-50) вполне достаточно одного сервера с 2 GPU, например, RTX 4090 или A4500. Однако если вы планируете работать с большими языковыми моделями (даже с дообучением LLaMA-2) или с видеоаналитикой высокого разрешения, то будет не хватать ни памяти, ни скорости. Наша рекомендация: начинайте с 4 GPU (A6000 или A100) и возможностью расширения. Мы, Шэньчжэньская компания Xianghao, часто предлагаем конфигурации с «пустыми» слотами и возможностью добавления GPU в течение полугода без замены шасси. 

Вопрос 2: Какие серверы подходят для работы с ИИ в условиях ограниченного бюджета (до 1 млн рублей)? 

При таком бюджете вы не сможете купить готовый новый сервер с мощными GPU. Но есть решение: б/у серверы поколения Intel Xeon Scalable (Purley) второго поколения и добавление 1-2 GPU потребительского класса (например, 2×RTX 3090 c 24 ГБ). Важно, чтобы материнская плата поддерживала Resizable BAR. Наша компания собирала такие системы для тестовых стендов, и они показывали результат в 2-3 раза быстрее, чем любой офисный сервер за те же деньги. Однако помните: вырастет энергопотребление и тепловыделение. Мы не рекомендуем такие сборки для production без качественного охлаждения в соответствии со СНиП 23-05-95. 

Вопрос 3: Влияет ли марка сервера (Dell, HP, Supermicro, Lenovo) на производительность ИИ? 

Если внутри стоят одинаковые процессоры, одинаковые GPU и одинаковый объём памяти, то производительность в задачах ИИ будет идентичной плюс-минус 2-3% (погрешность из-за прошивок). Однако разница есть в управлении питанием, системе охлаждения и технической поддержке. Мы, протестировав более 10 брендов, заметили: у Supermicro более гибкое BIOS с тонкой настройкой энергопотребления для GPU, а у Dell PowerEdge более удобная система мониторинга iDRAC при простое кластера. Наш выбор — платформы Supermicro и ASUS для ИИ, так как они позволяют установить нестандартные длины GPU. В конечном итоге, главное — правильная сборка, которую мы обеспечиваем для каждого заказчика индивидуально. 

Об авторе

Данный материал подготовлен техническими специалистами Шэньчжэньской компании коммуникационного оборудования Xianghao, Ltd. Наши инженеры имеют более чем 15-летний совокупный опыт работы с серверным оборудованием для высоконагруженных систем. С 2018 года мы специализируемся именно на комплектации решений для задач искусственного интеллекта под ключ: от проектирования до пусконаладки. Более 70 наших кластеров работают на территории РФ и стран Таможенного союза.

CTA: Готовы подобрать сервер для ваших ИИ-задач? Шэньчжэньская компания коммуникационного оборудования Xianghao, Ltd. предлагает помощь в конфигурации. Перейдите на страницу с нашими готовыми решениями и получите расчёт стоимости за 24 часа: посмотреть каталог ИИ-серверов → Индивидуальная сборка, тестирование под нагрузкой и доставка по всей России. Давайте вместе построим ваш вычислительный кластер будущего!