RTX 3090 vai de 82 a 382 tok/s com LLM de 27B só com ajustes de software

Um desenvolvedor que usa o nome u/iamMess no Reddit relatou que a RTX 3090 passou de 82 para cerca de 382 tokens por segundo (tok/s) ao rodar o modelo Qwen3.8-27B. O ganho, de até 4,6x, veio de um motor de inferência personalizado, sem mudança de hardware nem de modelo. A informação é do Wccftech, que avisa que não verificou os números de forma independente.

A placa tem 24 GB de VRAM e largura de banda de memória de 936,2 GB/s. A memória de 24 GB limita o tamanho dos modelos, mas o gargalo da geração de texto está em outro ponto: a cada token, a GPU precisa buscar na memória os pesos do modelo, e essa busca pesa mais do que o cálculo. Com isso, o poder de processamento fica parado boa parte do tempo.

Como o ganho foi obtido

O desenvolvedor atacou o problema com decodificação especulativa. Um "drafter" rápido chuta vários tokens à frente, e o modelo principal confere todos de uma vez, mantendo os corretos e descartando o resto. Como o modelo principal tem a palavra final, o texto sai idêntico ao que ele geraria sozinho. O autor diz que a precisão em um benchmark de matemática ficou em 96,5%.

A evolução veio em etapas. Ajustar o MTP (multi-token prediction) embutido no Qwen3.8-27B, que faz o modelo prever os próprios tokens seguintes, levou a velocidade para cerca de 114 tok/s com um usuário. Depois entrou um segundo método, o DFlash2, que propõe sete tokens por vez, junto de um drafter de "lookup". Esse drafter procura no texto da conversa um trecho igual ao que acabou de ser escrito e supõe que as mesmas palavras vêm em seguida.

O lookup levou a velocidade a 138 tok/s. O desenvolvedor havia presumido que a etapa de checagem precisava ter o mesmo tamanho do palpite do DFlash2, de sete tokens, mas não precisava. O drafter de lookup preenche as vagas extras sem custo, e o motor passou a checar 16 tokens por passo.

Quando o modelo cita um documento, cerca de 15 desses 16 palpites são aceitos. Numa tarefa com documento de 25.000 tokens, a velocidade subiu de 260 para 382 tok/s. Em conversa comum, o mesmo ajuste rendeu cerca de 133 tok/s, contra os 82 tok/s do ponto de partida.

Contrapartidas

A checagem mais longa ocupa metade dos slots de requisição e 8.000 tokens de contexto, por isso é opcional. O desenvolvedor também ampliou a janela de contexto para 138.696 tokens ao guardar a memória de trabalho do modelo em um formato mais compacto.

Esse formato dobra o tempo de leitura inicial de um documento e serve melhor a quem carrega um texto uma vez e faz muitas perguntas sobre ele. Fora de tarefas em que o modelo repete texto, esse modo roda a cerca de metade da velocidade do MTP simples.

Para o uso diário em chat, o resultado fica perto de 133 tok/s. É um ganho sobre os 82 tok/s de antes, mas bem menor que o pico de 382 tok/s, que depende de o modelo estar citando ou repetindo trechos que já estão no contexto.

Fonte: Wccftech. Texto produzido com apoio de inteligência artificial a partir da fonte citada e revisado pela redação.