Unsloth 支持 Laya 决策模型：4GB 内存本地跑 Jev 兼容 API
Unsloth 新增 Decision API，可在本地 4GB 内存运行 Laya 决策模型，暴露 Jev 兼容接口，现有 Jev 项目改地址即可平替。
🔥 本地 4GB 内存跑决策模型！Unsloth 正式支持 Laya Decision Models 还在为端侧结构化决策任务调用高成本的云端 API 发愁？Unsloth 带来了全新更新：现在仅需 4GB RAM，就能在个人设备本地部署并运行 Laya 决策模型。 作为开源的 Jev 替代方案，Laya 专注于将非结构化文本快速转化为系统与应用可直接执行的结构化决策（Structured Decisions）。它非常适合用于工单自动化路由、邮件标签分类、发票解析、安全事件审计以及 AI Agent 决策追踪等核心业务链路。 📌 核心特性与亮点： 极低硬件占用： Multilingual（默认多语言版）：权重仅 678 MB，最低 4GB RAM 即可运行，覆盖 100+ 种语言与 1024 token 上下文； English / Typed decisions 版：体积 846 MB，最低 5GB RAM，专为高精度结构化分类及发票/Agent 审计任务优化。 全平台与全硬件支持：覆盖 Mac、Windows、Linux、CPU 与各类 GPU 环境。默认直接跑在 CPU 上，开启 GPU 加速后推理更敏捷；若 GPU 显存不足，系统会自动智能回退（Fallback）至 CPU，保证服务持续稳定。 极简部署与 API 兼容：在 Unsloth Desktop 中进入 Settings → API → Decision API 开启服务，即可自动下载模型并在本地暴露 TypeSafe 与 Jev 兼容的 API。现有对接 Jev 的项目无需大改代码，直接将服务地址切为本地即可平替，所有数据 100% 留存在本地设备。 对追求端侧隐私、零网络延迟与零 API 账单的开发者来说，这是将轻量决策逻辑下沉到端侧的极佳方案。 🔗 项目与文档地址： https://github.com/unslothai/unsloth Laya 完整部署与配置指南 https://unsloth.ai/docs/models/decision-laya