Project Maya 1.1.19 adds local support for 748B DeepSeek V4.1 Flash
Open-source inference engine Project Maya now runs the 748B DeepSeek-V4.1-Flash-1017 locally via three-tier expert scheduling across VRAM, RAM and NVMe SSD; its Maya-S quantization reportedly matches the original model's next-token predictions 92.6% of the time, with 16GB+ VRAM, 32GB RAM and 350GB+ SSD recommended.
【要試嗎 😱】一台 Gaming PC 也能本地執行 748B 超大型 AI 模型 !! 近日，「Project Maya」AI 開源專案發佈了 1.1.19 版本更新，正式加入對超大型 AI 模型「DeepSeek-V4.1-Flash-1017」的支援。此項更新讓原本必須仰賴資料中心等級硬體才能運作的 7,480 億（748B）參數大型模型，如今僅需透過搭載 NVIDIA GeForce 系列顯示卡的個人電腦，即可在本地端實現高速且具高度隱私保障的推論運算。 https://github.com/mw00/project-maya 為何 GeForce 遊戲卡那麼少 VRAM 也能跑？「Project Maya」是一套專為個人電腦打造的開源推論引擎軟體，先前已成功支援「GLM-5.3-Flash」的本地執行。該工具的核心優勢在於其專屬的三層分層調度技術，能突破 Gaming 顯示卡的記憶體限制。 系統會將對話過程中最頻繁啟用的專家網絡（Experts）優先保留於 GPU 顯示記憶體中，次常用的部分配置於系統記憶體（RAM），其餘部分則放置在高速 NVMe SSD 進行分級快取，再搭配專屬的量化演算法，讓電競 PC 硬體也能維持接近原始模型水準的推論精度，大幅降低硬體門檻並發揮高速運算表現。 在本次釋出的 v1.1.19 更新中，特別新增對 748B 參數量級的 DeepSeek-V4.1-Flash-1017 作出支援，Project Maya 預設採用自家研發的「Maya-S」量化版本。官方測試數據指出，該版本在預測下一個 Token（字符）的表現上，與原始未量化模型的吻合度高達 92.6%，兼顧了極致壓縮與高準確度。 此外，Project Maya 另一個優勢是原生支援多 GPU（Multi-GPU）並行運算環境，並在安裝與設定流程中提供「DSpark drafter」獲取功能。若用家的硬體環境支援推測解碼（Drafting）加速機制，系統將能進一步釋放硬體潛能，實現更顯著的推論速度最佳化，這意味著大家可以拿 4 張 GeForce RTX 5060 Ti 16GB，組合成「窮人的 64GB VRAM」配置。 目前該專案已於 GitHub 開放讓全球用家自行部署。官方建議如果要跑「DeepSeek-V4.1-Flash-1017」的話，最好配備 16GB 或以上 VRAM 的 GeForce 顯示卡、32GB 系統記憶體及 350GB 以上的 NVMe SSD 空間；如果只有 8GB VRAM 的話，則建議執行 321B 參數的「GLM-5.3-Flash」AI 模型。