GPUs Intel Arc Pro Série B e Xeon 6 brilham no MLPerf Inference v5.1

O que há de novo: Hoje, a MLCommons lançou seus mais recentes benchmarks MLPerf Inference v5.1, apresentando resultados em 6 benchmarks principais para sistemas de GPU da Intel com Intel® Xeon® com núcleos P e gráficos Intel® Arc™ Pro B60, estações de trabalho de inferência com o codinome Project Battlematrix. No Llama 8B, o Intel Arc Pro B60 oferece vantagens de desempenho por dólar de até 1,25x e até 4x em comparação com NVIDIA RTX Pro 6000 e L40S, respectivamente.¹ Os resultados ressaltam o desempenho e a acessibilidade de uma plataforma totalmente Intel que aborda cargas de trabalho emergentes de inferência de IA em estações de trabalho de ponta e aplicativos de borda.

"Os resultados do MLPerf v5.1 são uma validação poderosa da estratégia de GPU e IA da Intel. Nossas GPUs Arc Pro B-Series com uma nova pilha de software otimizada para inferência permitem que desenvolvedores e empresas desenvolvam e implantem aplicativos baseados em IA com estações de trabalho de inferência poderosas, simples de configurar, com preços acessíveis e escaláveis."

- Lisa Pearce, vice-presidente corporativa da Intel e gerente geral do Grupo de Software, GPU e NPU IP

Por que é importante: Até agora, existiam opções limitadas para profissionais que priorizavam plataformas capazes de oferecer alto desempenho de inferência sem comprometer a privacidade dos dados ou incorrer em altos custos de assinatura vinculados a modelos proprietários de IA, mas exigiam recursos para implantar grandes modelos de linguagem (LLMs).

Esses novos sistemas de GPU Intel, codinome Project Battlematrix, são projetados para atender às necessidades da inferência de IA moderna e fornecer uma plataforma de inferência completa que combina hardware e software validados de pilha completa.

Os sistemas de GPU Intel visam simplificar a adoção e a facilidade de uso com uma nova solução em contêiner criada para ambientes Linux, otimizada para oferecer um desempenho de inferência incrível com dimensionamento de várias GPUs e transferências de dados PCIe P2P, e projetada para incluir recursos de confiabilidade e capacidade de gerenciamento de classe empresarial, como ECC, SRIOV, telemetria e atualizações remotas de firmware.

As CPUs continuam a desempenhar um papel vital nos sistemas de IA. Como hub de orquestração, a CPU lida com pré-processamento, transmissão e coordenação geral do sistema. As melhorias sustentadas da Intel no desempenho de IA baseado em CPU nos últimos quatro anos estabeleceram o Intel Xeon como a CPU preferida para hospedar e gerenciar cargas de trabalho de IA em sistemas alimentados por GPU.

A Intel também continua sendo o único fornecedor que envia resultados de CPU de servidor para o MLPerf, demonstrando liderança e um profundo compromisso em acelerar os recursos de inferência de IA em arquiteturas de computação e acelerador. Notavelmente, o Intel Xeon 6 com núcleos P alcançou uma melhoria de desempenho de 1,9x geração a geração no MLPerf Inference v5.1

Mais contexto: Resultados do MLPerf Inference v5.1 | Projeto Battlematrix