O repositório ryanzhou/deepseek-v4-flash-mi300x reúne uma configuração para rodar o DeepSeek V4 Flash (checkpoint 0731, 304 bilhões de parâmetros) em uma única AMD MI300X. Inclui Docker Compose, patches de kernel, kernels HIP próprios e ajustes de memória. A licença é Apache-2.0.
O que você precisa ter
- uma GPU AMD MI300X (gfx942, 304 CUs, cerca de 192 GiB de HBM3);
- cerca de 235 GB de RAM no sistema, usados como camada de cache KV na CPU;
- cerca de 500 GB de disco, dos quais uns 156 GB só para o cache do modelo;
- driver de kernel da AMD e Docker Compose recente.
A configuração validada fixa versões: um nightly do vLLM para ROCm (0.26.1rc1.dev229+g124154a88.rocm723), AITER 0.1.19 e uma revisão específica do modelo. A subida é docker pull da imagem por digest, ./prepare-artifacts.sh, conferência dos checksums e docker compose up -d. A primeira inicialização leva uns 10 minutos, por causa da compilação JIT e da captura de grafos.
Os números do README
Em prefill de prompts de 8,9 mil tokens sem cache, o autor mede 11,69 mil tokens por segundo estáveis, 2,19 vezes os 5,26 mil iniciais. No decode com uma stream só e decodificação especulativa DSpark-7, são 152,6 tokens/s agregados e 158,8 de mediana por stream. Sem especulação, o decode nativo fica em 67,3 tokens/s. Com 64 streams simultâneas, a variante K7 chega a 1.278 tokens/s agregados. O contexto validado é de 384 mil tokens.
Os pesos ocupam 156,67 GiB de HBM, sem quantização nem offload, e o pico de uso chega perto de 199,9 de 205,8 GB.
Correções de qualidade
O repositório descreve três correções de correção numérica: máscara de padding no roteamento MXFP4, incompatibilidade entre os formatos FP8 FNUZ e OCP no MI300X, e clamps de ativação dos experts que estavam ausentes. Depois delas, um teste de regressão de 61.440 tokens mostrou zero tokens soltos. Antes, 3 de 120 respostas tinham erro.
Limites
Sobra pouca folga de HBM, cerca de 5,9 GB no pico, e um pool de 30 GB falha durante a captura de grafos. O cache na CPU é oportunista e não aumenta a capacidade do agendador. Também é preciso usar --trust-remote-code para os parsers do DeepSeek. O README não compara custo com H100 ou H200 nem explica como ampliar para várias GPUs.
Leia também: Se você prefere rodar modelo aberto sem montar tudo à mão, veja o LM Studio Bionic. E para lembrar que nem todo resultado exige GPU cara: 44% no ARC-AGI-1 com um transformer treinado por 67 centavos.
