Strata local inference engine runs DeepSeek V4.1 Flash on 12GB VRAM
The open-source Strata engine tiers GPU memory, RAM and SSD so DeepSeek V4.1 Flash quantized builds run on 12GB VRAM plus 46–64GB system RAM, with OpenAI/Anthropic-compatible APIs for Claude Code and Codex CLI.
卧槽🤯这下普通游戏电脑也能跑超大规模模型了 Strata 是一款开源本地大模型推理引擎，通过 GPU 显存、系统内存与 SSD 协同调度，让普通游戏电脑也能运行 Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 等超大规模模型。 核心亮点： 💥低显存运行超大模型： 通过 MoE 专家动态缓存、按需加载与三级存储管理，支持在约 32GB 总内存资源的设备上运行部分 125B 模型量化版本，DeepSeek-V4.1-Flash 甚至可在 12GB 显存搭配 46～64GB 系统内存的环境中运行。 🚀高效推理加速： 采用推测解码技术，部分场景下生成速度提升约 1.6～1.8 倍；官方测试中，RTX 5070 运行 Qwen3.8-Flash-Next Q2_0 版本可达到约 94 Token/s。 ☁跨平台兼容： 支持 NVIDIA、AMD、Intel 和 Apple Silicon，覆盖 Windows、Linux、macOS，并支持多显卡协同推理。 无缝接入 AI Agent： 提供兼容 OpenAI、Anthropic 的 API 接口，可直接对接 Claude Code、Codex CLI、OpenCode 等 AI 编程工具。 https://github.com/Niko1221/Strata/tree/main