748B DeepSeek V4.1 Flash runs on one RTX 3090 at 27.8 tok/s
Project Maya v1.1.28 maps experts from RAM to let a 24GB RTX 3090 run the 748B model, raising decode speed from 12.9 to 27.8 tok/s with 1M context support.
🤯牛哇！一张英伟达 3090 也能跑748B DeepSeek-V4.1-Flash-1017！解码速度直接翻倍！ @PeasantSmith Project Maya v1.1.28 重磅更新：当RAM装得下experts时，单卡NVIDIA（Linux）解码最高提升约2倍！ 实测（RTX 3090 24GB + Maya-XS）： 12.9 → 27.8 tok/s 优化亮点： 🔹Experts直接从RAM映射拉取到VRAM，零多余拷贝 🔹验证窗口流式处理 + 热点experts留VRAM 🔹完整1M上下文已支持 🔹长代码流式聊天更稳不跳 上手超简单（3步）： 1️⃣git clone https://github.com/mw00/project-maya && cd project-maya 2️⃣ ./maya.sh –setup –model DeepSeek-V4.1-Flash-1017 （选Maya-XS更省内存） 3️⃣打开 http://127.0.0.1:8080 直接聊！ 支持NVIDIA/AMD、Linux/Windows，从一张卡到多卡都能跑。 GitHub：https://github.com/mw00/project-maya Quant：https://huggingface.co/peasantsmith/DeepSeek-V4.1-Flash-1017-Maya-GGUF #DeepSeek #LocalAI #ProjectMaya #AI #GPU #OpenSource #本地大模型 #梁文峰 #单张显卡
This post quotes another post: x.com/nft_chen/status/2114256454731591726