O que é GPU de várias instâncias
A GPU Multi-Instância (MIG) é uma tecnologia da NVIDIA introduzida pela primeira vez com a arquitetura Ampere e disponível nas gerações subsequentes de GPUs (incluindo Hopper e Blackwell). Ela permite que uma única GPU física seja particionada em até sete instâncias de GPU virtuais totalmente isoladas e independentes, cada uma com sua própria memória dedicada, núcleos de unidade de processamento e memória cache. Isso otimiza os custos e oferece qualidade e serviço previsível para diferentes usuários e tarefas em ambientes de computação dimensionáveis.
Principais recursos e benefícios do MIG:
- Isolamento de recursos: Cada instância tem seus próprios recursos dedicados - núcleos de computação e memória de GPU. Isso proporciona desempenho previsível e proteção contra a influência de instâncias vizinhas, o que é especialmente importante para ambientes multilocatários, como nuvens.
- Otimize a utilização da GPU: As cargas de trabalho que não usam todo o potencial de uma única GPU podem ser executadas em paralelo em instâncias diferentes, melhorando a utilização geral da GPU e reduzindo a latência para os usuários. Por exemplo, você pode criar instâncias com diferentes quantidades de memória alocada, variando de 10 GB ou mais, para diferentes cargas de trabalho.
- Suporte à virtualização e à conteinerização: O MIG é compatível com Linux, Docker, Kubernetes e também é compatível com hipervisores (Red Hat Virtualization, VMware vSphere) para uso em máquinas virtuais e contêineres. Ele pode ser usado em configurações bare-metal, GPU pass-through e vGPU.
- Garantia de qualidade de serviço (QoS): Cada instância tem largura de banda de memória e recursos de computação dedicados, o que ajuda a garantir tempos de resposta previsíveis para determinados aplicativos e evita que cargas pesadas afetem o desempenho de outros.
- Limitações: O MIG não oferece suporte à comunicação entre processos (IPC) CUDA, o que limita o desempenho ideal em várias instâncias do mesmo aplicativo.
- Não há suporte para o uso de APIs gráficas (OpenGL, Vulkan etc.), e as tarefas que exigem um número muito alto de núcleos de CPU podem exigir uma GPU completa sem particionamento.
- Gerenciamento: As instâncias de MIG são gerenciadas por meio da NVIDIA Management Library (NVML) e da linha de comando (nvidia-smi). A ativação da MIG requer a reinicialização da GPU, e várias GPUs exigem a interrupção dos serviços de gerenciamento da GPU antes da ativação.
Exemplos de uso:
- Execução de várias tarefas de inferência de IA simultaneamente em uma única GPU.
- Suporte para sistemas de vários locatários e vários contêineres em data centers.
- Implantação eficiente de tarefas de IA e HPC de pequeno e médio porte sem a necessidade de dedicar toda a GPU.
