Engenheiro monta rack com 12 placas de vídeo e 223 GB de VRAM para IA local

Um engenheiro de software mostrou no Reddit um rack com quatro computadores e 12 placas de vídeo, somando 223 GB de VRAM, montado para rodar serviços de inteligência artificial localmente. A informação é do Hardware.com.br.

As fotos foram publicadas pelo usuário u/negus123 na comunidade r/LocalLLM, voltada a quem executa modelos de linguagem no próprio computador.

O que tem em cada máquina

Os quatro PCs ocupam níveis diferentes do rack e funcionam de forma independente. Há componentes de várias gerações, de AMD e NVIDIA, incluindo placas feitas originalmente para mineração.

• Ryzen 5 9600X, 32 GB de DDR5 e duas NVIDIA CMP 170HX
• Ryzen 7 5700, 32 GB de DDR4 e cinco Radeon RX Vega 56
• Core i7-9700, 32 GB de DDR4, uma GeForce RTX 3070 e uma RTX 2080 Ti
• Ryzen 5 7500X3D, 32 GB de DDR5, uma Radeon RX 7900 XTX e duas Radeon RX 5600 XT

No total são 128 GB de RAM.

223 GB que não formam um bloco só

A conta da VRAM engana um pouco. Como as placas estão em computadores separados, a memória não se junta em um único pool. Para rodar um só modelo usando tudo, seria preciso distribuir a carga entre as máquinas com técnicas próprias de comunicação.

Nos comentários, o dono confirmou que não usa o rack assim. Cada máquina roda servidores de inferência distintos, que ele próprio e seus modelos de linguagem acessam. Os principais modelos dele ficam em outro lugar: ele disse ter mais dois servidores, com placas-mães e processadores de workstation e centenas de gigabytes adicionais de VRAM.

Peças reaproveitadas e custo

Parte das GPUs veio de PCs de jogos antigos. Outra parte saiu de uma estrutura de mineração que pertencia a um amigo. Segundo o engenheiro, as peças mais caras são a RX 7900 XTX e as duas CMP 170HX.

Perguntado sobre o valor total, ele estimou menos de US$ 10 mil, com cerca de metade disso nas duas placas CMP.

Críticas à montagem

A foto rendeu comentários sobre a organização. Alguns placas aparecem sem suporte adequado, e usuários citaram risco de vibração, contato entre componentes e desgaste dos coolers. Um deles contou ter visto ventoinhas com problema em rigs de mineração mal apoiados.

O dono respondeu com humor, disse que o rack fica fechado na maior parte do tempo e que a instalação ainda é experimental. Ele não relatou nenhuma falha.

Placas antigas costumam ter limites de desempenho, memória e compatibilidade com certos frameworks, mas ainda servem para tarefas específicas.

Fonte: Hardware.com.br. Texto produzido com apoio de inteligência artificial a partir da fonte citada e revisado pela redação.