A Nvidia iniciou a produção do rack Groq 3 LPX e planeja torná-lo operacional ainda neste ano na neocloud Nebius. Essa tecnologia foi adquirida pela empresa após a compra de ativos da Groq por US$ 20 bilhões (aproximadamente R$ 103 bilhões), um valor que representa a maior aquisição já realizada pela Nvidia.
O principal objetivo dessa inovação é a inferência de baixa latência, que visa minimizar o tempo entre o pedido feito pelo usuário e a resposta gerada por um sistema de inteligência artificial. Essa característica é crucial em aplicações de programação, onde qualquer atraso pode ser rapidamente notado.
Expansão da Groq nos data centers
No ambiente da Nebius, os racks Groq 3 LPX serão integrados aos processadores Vera e às GPUs Rubin. Dion Harris, diretor sênior da Nvidia, confirmou que esses equipamentos estarão disponíveis ainda este ano.
A arquitetura desenvolvida pela Groq incorpora 500 MB de memória SRAM de alta velocidade diretamente no chip, com o intuito de eliminar os gargalos causados pelo acesso à memória durante a execução dos modelos.
Cada rack contém 256 chips Groq 3. Segundo a Nvidia, esse sistema alcança uma performance de até 3.400 tokens por segundo, conforme um benchmark realizado pela Artificial Analysis.
Principais características do Groq 3 LPX:
- Cada rack possui 256 chips Groq 3;
- O sistema atinge até 3.400 tokens por segundo;
- A arquitetura inclui 500 MB de SRAM integrada ao chip;
- A tecnologia foca na inferência rápida;
- A Nvidia investiu US$ 20 bilhões na aquisição dos ativos da Groq.
Não se trata da substituição das GPUs
A tecnologia desenvolvida pela Groq tem um papel mais específico, concentrando-se principalmente na fase de “decode” da inferência, que é responsável pela criação dos tokens que formam as respostas dos modelos.
As GPUs continuam essenciais para as fases de treinamento e inferência, oferecendo maior flexibilidade para se adaptarem a diferentes modelos e tecnologias. Para Harris, não há necessidade de que uma tecnologia substitua a outra:
Isso não implica em descartar as GPUs. O objetivo é empregar o processador adequado ao custo certo para cada parte da carga de trabalho.
Dion Harris, diretor sênior da Nvidia, à CNBC.
Dessa forma, a proposta é segmentar as tarefas com base nas especificações de cada tipo de processador.
Concorrência pela latência reduzida
A Nvidia está competindo nesse setor com outras empresas que também buscam acelerar o processo de geração de respostas por meio da inteligência artificial. A AMD revelou planos para integrar seus sistemas em escala de rack com chips da Cerebras, que recentemente se tornou pública.
A OpenAI também está nessa disputa. Seu modo Ultrafast promete uma taxa de 750 tokens por segundo e utiliza tecnologia fornecida pela Cerebras.
Leia mais:
- Servidores de IA com chips Nvidia chegam à China por rota indireta;
- Nvidia investe US$ 6 bilhões em IA aberta em resposta aos concorrentes chineses;
- Nvidia aumenta preços dos servidores de IA devido à alta nos custos das memórias.
Enquanto isso, a Nvidia está ampliando suas entregas dos sistemas Vera Rubin, cuja fabricação começou anteriormente. Em março, durante o lançamento dos sistemas Vera Rubin e Groq 3 LPX, Jensen Huang anunciou que alocaria um quarto do espaço disponível nos data centers voltados para aplicações programáticas para os chips da Groq.
“O restante do meu data center será totalmente dedicado ao Vera Rubin”, declarou Huang na ocasião.
Com esse movimento envolvendo a Groq, a Nvidia obtém uma alternativa especializada para acelerar uma fase específica da inferência. As GPUs permanecem como a base central dos seus sistemas, enquanto os novos racks assumem funções onde a rapidez na resposta é um fator crucial.
