DeepSeek V4.1 Flash on 4×RTX Pro 6000: vLLM kernel recipe lifts throughput 25–40%

Seapy @seapyOriginally posted 2026.10.27

Open original on X

RTX Pro 6000 x 4 에서 속도가 빨라진다고 해서 올려봤는데, 생각보다 개선은 적었습니다. DeepSeek-V4.1-Flash-1017 공식 가중치 그대로, 기존 vLLM 대비 단일 스트림 · JSON 구조화 출력 400 → 519 tok/s · 코드 418 → 546 · 문장 201 → 226 원글의 750까지는 안 나왔어요. 제 장비는 Max-Q라 300W 전력 제한이 있고 메모리 OC도 안 해서 그런 것 같습니다. 동시 요청에서 문장 생성은 오히려 10~14% 느려지기도 해서 운영 전환은 우선 지켜보기로 했어요. 그래도 같은 GPU, 같은 가중치인데 커널 최적화만으로 25~40%가 빨라지는 걸 보면 소프트웨어 쪽 업사이드가 아직 꽤 크다는 생각이 드네요. 레시피 공유해주는 분들에게는 항상 감사합니다. 적용한 레시피 : https://github.com/kacper-daftcode/vLLM-Moet