单张 RTX 3090 跑 748B DeepSeek V4.1 Flash：解码 27.8 tok/s
Project Maya v1.1.28 让 24GB 3090 借助 RAM 映射 experts 跑起 748B 模型，实测解码从 12.9 提升到 27.8 tok/s，支持 1M 上下文。
🤯牛哇！一张英伟达 3090 也能跑748B DeepSeek-V4.1-Flash-1017！解码速度直接翻倍！ @PeasantSmith Project Maya v1.1.28 重磅更新：当RAM装得下experts时，单卡NVIDIA（Linux）解码最高提升约2倍！ 实测（RTX 3090 24GB + Maya-XS）： 12.9 → 27.8 tok/s 优化亮点： 🔹Experts直接从RAM映射拉取到VRAM，零多余拷贝 🔹验证窗口流式处理 + 热点experts留VRAM 🔹完整1M上下文已支持 🔹长代码流式聊天更稳不跳 上手超简单（3步）： 1️⃣git clone https://github.com/mw00/project-maya && cd project-maya 2️⃣ ./maya.sh –setup –model DeepSeek-V4.1-Flash-1017 （选Maya-XS更省内存） 3️⃣打开 http://127.0.0.1:8080 直接聊！ 支持NVIDIA/AMD、Linux/Windows，从一张卡到多卡都能跑。 GitHub：https://github.com/mw00/project-maya Quant：https://huggingface.co/peasantsmith/DeepSeek-V4.1-Flash-1017-Maya-GGUF #DeepSeek #LocalAI #ProjectMaya #AI #GPU #OpenSource #本地大模型 #梁文峰 #单张显卡
这条是引用着另一条写的：x.com/nft_chen/status/2114256454731591726