Сетевые коммутаторы для ИИ — практическое руководство по выбору

Для устойчивой работы систем искусственного интеллекта решающим фактором становится сеть. Даже самые производительные GPU и CPU окажутся бесполезными, если передача данных даёт сбои или задержки. Задача не в том, чтобы взять самые быстрые порты, а в том, чтобы выстроить надёжную и масштабируемую инфраструктуру без потерь, подходящую под конкретный тип нагрузки — обучение, дообучение или инференс.

С чего начинать?

Прежде чем выбирать модели и скорости, ответьте на три базовых вопроса:

• Профиль трафика. Обучение и дообучение — это преобладающий East-West (узел ↔ узел). Инференс — больше North-South (клиент ↔ узел). От этого зависит и скорость, и оверсабскрипция.
  
  

• Горизонт роста. Что произойдёт за 12–18 месяцев: удвоение числа GPU, переход к распределённому обучению, появление параллельной ФС? Сеть должна масштабироваться без переделки архитектуры.
  
  

• Площадка. Тепло и питание, глубина шасси, направление воздушного потока (F2B/B2F), кабель-менеджмент — эти «мелочи» быстро превращаются в стоп-факторы на высоких скоростях.
  
  

Скорости и топология

Компактные стойки (до 8–16 GPU).
Реалистичный выбор — 100–200 GbE на ToR. Можно стартовать без spine (прямая перемычка между двумя ToR), если заранее предусмотрен маршрут роста.

Средние кластеры (32–64 GPU).
Оптимальный уровень — 400 GbE на ToR и spine в двухуровневой схеме spine-leaf с ECMP. Это даёт предсказуемую полосу и простой масштаб.

Крупные проекты (128+ GPU).
Нужны 400/800 GbE на всех уровнях, иногда — трёхуровневый spine. Для обучения оверсабскрипция держится около 1:1…1:1.3; для инференса допускается выше, но считается по профилю запросов.

Что в свитче влияет на результат? 

• RoCE v2 как основа без потерь. Работает корректно только в связке ECN + DCQCN + PFC:
  — ECN помечает перегрузку;
  — DCQCN регулирует источники (отправителей);
  — PFC даёт точечные паузы ровно на одном приоритете (и с watchdog, чтобы очереди не «залипали»).
  
  

• Буферы и очереди. Нужен общий пул и VOQ (виртуальные выходные очереди), чтобы всплески не «раскачивали» задержку.
  
  

• Латентность на хоп. Режим cut-through с детерминированной задержкой — то, что держит обучение «ровным».
  
  

• PTP (IEEE 1588). Boundary/transparent clock дают единую шкалу времени для диагностики; без точного времени разбор инцидентов превращается в гадание.
• Наблюдаемость и автоматизация. INT/IOAM, sFlow/ERSPAN, счётчики очередей и потерь, экспорт в систему мониторинга; OpenConfig/gNMI, ZTP.
  

Порты, оптика, кабели: единообразие — половина успеха

Внутри стойки используйте DAC/AOC, между стойками — оптику по дистанции (SR/DR/LR). Форм-факторы без сюрпризов: QSFP28 — 100G, QSFP56 — 200G, QSFP-DD/OSFP — 400G, OSFP — 800G. Чем меньше «зоопарка» модулей и ревизий, тем меньше «призрачных» потерь и флапов. Проверьте направление воздушного потока и запас по PSU: 400/800G-порты горячие.

Наша компания поставляет любое оборудование под ваши задачи напрямую из Китая. Организуем быструю доставку, поможем с подбором решений под конкретные требования и проконсультируем по всем вопросам.

Заполните форму ниже и мы свяжемся с вами, чтобы обсудить детали.

Три рабочих сценария: как это выглядит в реальности

1. Edge-инференс в филиалах

Локальные запросы рядом с источником данных, критична задержка, умеренный трафик.
Архитектура: ToR 100–200 GbE с RoCE; «без потерь» включён ровно для одного приоритета; два аплинка 25/100 GbE в ядро.
Что получаем: предсказуемый отклик, простое обслуживание, линейное масштабирование без переплаты за магистраль.

2. Дообучение средних моделей / распределённые пайплайны

Много East-West, синхронизация, регулярные чекпойнты.
Архитектура: ToR и spine на 400 GbE, ECMP; ECN+PFC настроены; сервисный трафик (управление, мониторинг, снапшоты) вынесен в отдельный QoS-класс/VRF.
Что получаем: ровный обмен между узлами, чекпойнты пишутся без «икоты», графики обучения не пляшут.

3. Смешанный HPC/AI (одна-две стойки)

GPU-обучение + параллельные вычисления + общая ФС.
Архитектура: spine-leaf 400/800 GbE; параллельная ФС (BeeGFS/DAOS) по выделенной линии 100/200 GbE на узел; управление — в собственном классе QoS.
Что получаем: нагрузочные профили не мешают друг другу, добавление узлов даёт предсказуемый прирост.

Частые ошибки — и как их не допускать

• Включили PFC, забыли ECN/DCQCN → очереди «залипают».
  Как правильно: сначала ECN/DCQCN, затем PFC на один класс + watchdog.
  
  

• Поставили «кампусный» кремний с мелкими буферами → дрожит задержка.
  Как правильно: свитчи с общим пулом буферов и VOQ, подтверждённой low-latency.
  
  

• Намешали оптику/кабели/ревизии «что было» → флап-интерфейсы, фантомные потери.
  Как правильно: единый список одобренных модулей и обязательные тест-линии до ввода.
  
  

• Нет телеметрии → «всё хорошо, пока не упало».
  Как правильно: включайте INT/IOAM, sFlow/ERSPAN, PTP, настраивайте алерты по очередям/потерям.
  
  

Как выбирать класс устройств: ориентиры без привязки к брендам

• ToR 100/200G: 32–48 портов, глубокие буферы, PFC/ECN/DCBX, PTP-BC, предсказуемая латентность.
  
  

• ToR 400G: 32×400G с возможностью разветвления (4×100G или 2×200G на порт), low-latency-кремний.
  
  

• Spine 400/800G: неблокирующая матрица, высокая плотность портов, быстрый control-plane, ECMP.
  
  

• NIC/SmartNIC: единый стек RoCE, при высоких шифровых/overlay-нагрузках DPU/SmartNIC разгружает CPU.
  
  

Основы 

• Целевые задержки для коллективных операций и для API-ответа (милисекунды, не «быстро/медленно»).
  
  

• Допустимая оверсабскрипция на уровне leaf↔spine для вашего профиля (обучение/инференс).
  
  

• Список классов трафика и политика QoS (какой поток действительно «lossless»).
  
  

• Перечень оптики/кабелей по длинам и типам, с ревизиями и сертификацией.
  
  

• Набор метрик для наблюдаемости: очереди/потери/ECN-метки/INT-телеметрия/синхронизация времени.
  
  

• План обновлений (golden-image, staged-upgrade, резерв конфигов) и отката.
  
  

Итог

При проектировании сети для ИИ важно начинать с понимания задачи. Сначала определяется тип трафика (обучение или инференс), перспектива роста и ограничения площадки. От этого зависит выбор топологии и скоростей — от 100 до 800 GbE. Главное — предсказуемая работа без потерь. Для этого нужны правильные настройки RoCEv2 (ECN, DCQCN, PFC), свитчи с достаточными буферами и низкой задержкой, синхронизация времени и телеметрия. Единообразие в оптике и кабелях, чёткая политика QoS и план обновлений позволяют собрать сеть, которая будет масштабироваться без сюрпризов.

Азияторг поможет выстроить такую инфраструктуру: подберём коммутаторы, оптику, SmartNIC или DPU под конкретный профиль нагрузки и планы развития, а также обеспечим поставку с полным комплектом документов в согласованные сроки. Для консультации пишите на server@tkasiatorg.ru.