InfiniBand

InfiniBand — это высокоскоростная коммутируемая сеть (сетевая фабрика), предназначенная для соединения серверов, систем хранения и специализированных ускорителей в кластерах. Она изначально разрабатывалась для окружений, где требуются максимальная пропускная способность и минимальные задержки при передаче данных между узлами.

Ключевые характеристики InfiniBand — пропускная способность от 100 до 400 Гбит/с (поколения EDR, HDR, NDR) и субмикросекундные задержки (менее 1 микросекунды). Технология аппаратно поддерживает RDMA, что позволяет обмениваться данными напрямую между памятью узлов, практически не загружая центральные процессоры. Сеть масштабируется до десятков тысяч узлов за счёт топологий типа Fat-Tree.

InfiniBand — стандарт де-факто для суперкомпьютеров из списка Top500 и инфраструктур распределённого обучения AI. В AI-тренинге она критична для синхронизации градиентов между тысячами GPU. Также применяется в высоконагруженных кластерных базах данных и системах big data (Shuffle-фазы Hadoop/Spark).

Ethernet остаётся выбором для универсальных ЦОД благодаря стоимости и простоте. InfiniBand выбирают, когда приложения упираются в задержки сети и требуют гарантированной низкой латентности при интенсивном обмене сообщениями (MPI). Это нишевое, но безальтернативное решение для задач, где скорость межсоединений определяет итоговую производительность кластера.