GEMM

GEMM (General Matrix Multiply)

Ядро нейросетевых вычислений

Базовая операция линейной алгебры - умножение двух матриц. Лежит в основе практически всех слоев нейронных сетей (сверточных, полносвязных, трансформеров). Эффективность выполнения GEMM на GPU определяет итоговую скорость обучения и работы модели. Современные тензорные ядра (Tensor Cores) в архитектурах NVIDIA оптимизированы именно под ускорение GEMM с использованием смешанной точности (FP16, BF16, INT8), что позволяет кратно повысить производительность в задачах ИИ по сравнению с классическими арифметическими операциями.