Сервер ITPOD-ASR201-S08R (AI) — оптимальное решение для задач ИИ и компьютерного зрения

Компания ITPOD представляет новый сервер ITPOD-ASR201-S08R (AI), разработанный для максимальной эффективности в задачах искусственного интеллекта, машинного обучения и графической обработки. Сервер поддерживает установку двух AI/ML ускорителей. Например, NVIDIA L40S на архитектуре Ada Lovelace, что обеспечивает исключительную производительность при работе с большими нейронными сетями, такими как LLaMA, Stable Diffusion и другими генеративными моделями. Каждая карта L40S, оснащенная 48 ГБ видеопамяти GDDR6 с ECC, позволяет обрабатывать крупные наборы данных и модели без задержек, связанных с нехваткой памяти.

ITPOD-ASR201-S08R (AI) демонстрирует впечатляющие результаты: в тестах с моделью LLaMA 3.1 70B два ускорителя L40S показали почти двукратное увеличение производительности по сравнению с одним A800. При работе с Qwen 14B сервер обеспечил 10 токенов в секунду, что близко к результатам топовых решений.

В дополнение к возможностям работы с NVIDIA L40S, сервер также может быть оснащен TPU SOPHGO SC7 HP75, что позволяет добиться впечатляющей скорости. В тестировании с моделью YOLOv5s на 30-секундном видео один такой TPU завершил инференс всего за 6.2 секунды, что подчеркивает его мощные возможности в задачах компьютерного зрения.

ITPOD-ASR201-S08R (AI) предлагает лучшее соотношение цены и производительности, делая его оптимальным выбором для компаний, которые хотят минимизировать затраты, не жертвуя мощностью.