Intel oferece desempenho de IA aberto e escalável no MLPerf Inference v6.0

Novidades: Hoje, o MLCommons divulgou seus mais recentes benchmarks do MLPerf Inference v6.0, apresentando resultados em quatro testes-chave para os sistemas com GPUs da Intel. Os sistemas de IA da Intel contaram com CPUs Intel® Xeon® 6 e placas gráficas Intel® Arc™ Pro B70, demonstrando soluções acessíveis para cargas de trabalho de IA em estações de trabalho de alto desempenho, data centers e aplicações de edge.

Os resultados mostram que um sistema com quatro GPUs Intel Arc Pro B70/B65 oferece 128 GB de VRAM para executar modelos com 120 bilhões de parâmetros com alta simultaneidade, sendo que a Arc Pro B70 entrega até 1,8x mais desempenho de inferência em comparação com a Arc Pro B60 ¹. Otimizações de software, configuradas em uma stack aberta e containerizada, permitem escalar eficientemente o desempenho de inferência de um único nó para implantações corporativas com múltiplas GPUs, melhorando o desempenho e entregando ganhos de até 1,18x no mesmo hardware Intel Arc Pro B60 em comparação com o MLPerf v5.1 ².

“A combinação do Intel Xeon 6 com as GPUs Intel Arc Pro Série B representa nosso investimento em ampliar a escolha e o valor para os clientes, oferecendo soluções reais que atendem tanto a modelos de LLM quanto a cargas tradicionais de machine learning, com desempenho de ponta e excelente custo-benefício para profissionais de gráficos e desenvolvedores de IA em todo o mundo.”

- Anil Nanduri, vice-presidente da Intel, Produtos de IA e GTM, Intel Data Center Group

Por que isso importa: À medida que a demanda por inferência de IA cresce, o mercado de computação profissional passa por uma grande transformação, na qual criadores gráficos e desenvolvedores de IA buscam desempenho e valor sem comprometer a privacidade dos dados ou incorrer em altos custos de assinatura associados a modelos proprietários de IA.

Os sistemas com GPUs da Intel, com as recém-lançadas GPUs Intel Arc Pro B70/B65, foram projetados para atender às necessidades modernas de inferência de IA e oferecer uma plataforma completa de inferência, combinando hardware e software validados em toda a stack. Com maior capacidade de memória, esses sistemas visam simplificar a adoção e o uso por meio de uma solução containerizada desenvolvida para ambientes Linux, otimizada para oferecer alto desempenho de inferência com escalabilidade multi-GPU e transferências de dados PCIe P2P, além de incluir recursos de nível corporativo como ECC, SR-IOV, telemetria e atualizações remotas de firmware.

Por exemplo, em comparação com soluções concorrentes equivalentes, a Intel Arc Pro B70 é capaz de lidar com modelos significativamente maiores e janelas de contexto mais amplas em configurações multi-GPU — oferecendo até 1,6x mais capacidade de cache KV ao executar modelos maiores.

A inferência de IA é cada vez mais definida não apenas pelo throughput das GPUs, mas também pelo desempenho do sistema acelerado por CPU. A CPU, responsável por moldar a eficiência geral do cluster e o custo total de propriedade, também desempenha funções críticas como gerenciamento de memória, orquestração de tarefas e distribuição de cargas de trabalho, além de garantir a segurança, confiabilidade e continuidade operacional essenciais para infraestruturas modernas de IA.

A Intel continua sendo o único fornecedor de processadores para servidores a submeter resultados de CPU de forma independente nos benchmarks de inferência do MLPerf, reforçando sua liderança e compromisso com o avanço da inferência de IA tanto em plataformas centradas em computação quanto em aceleradores. Como a CPU host mais utilizada em sistemas acelerados por IA — com mais da metade das submissões do MLPerf 6.0 impulsionadas por Xeon — a Intel reforça sua posição no centro da infraestrutura de IA da indústria.

Essa liderança também se estende ao silício: os processadores Intel Xeon 6 com núcleos P entregaram até 1,9x de ganho de desempenho geracional no MLPerf Inference v5.1, enquanto tecnologias de aceleração de IA integradas, como AMX e AVX-512, permitem que cargas de trabalho como inferência de LLM, fine-tuning e machine learning clássico sejam executadas com eficiência, sem a necessidade de hardware acelerador dedicado.

Mais contexto: MLPerf Inference v6.0 Results