DeepSeek V4.1 Flash 1017 abliterated GGUF runs locally on 256GB RAM

旺旺 @TiagerBaoOriginally posted 2026.10.25

Open original on X

7630 亿参数的 DeepSeek，现在只用 256GB 内存就能本地运行了，而且还是去限制版。 OrcaRouter 放出了 DeepSeek-V4.1-Flash-1017 Abliterated GGUF。 几个关键数字： >763B 参数，MoE 架构 >235.8GB 内存占用，另有约 110.6GB Engram 数据放在 SSD 上 >100 万 Token 上下文，但长上下文能力尚未验证 >约 70 Token/s，双 H200 实测 >通过 Abliteration 技术大幅降低模型拒答率 最值得关注的是量化方案。 它不是全模型统一压缩，而是根据各层的精度损失分配位数。官方测试中，256G 版本与未量化模型的下一 Token 预测一致率达到 93.7%。 不过门槛也不低：需要 256GB 级内存，当前还得使用特定版本的 llama.cpp。 这是社区修改版，并非 DeepSeek 官方发布。安全限制明显减少，也不代表能力全面提升。 模型地址： https://huggingface.co/orcarouter/DeepSeek-V4.1-Flash-1017-abliterated-GGUF #DeepSeek #AI #LLM #GGUF #LocalAI #Agent