Unsloth 把本地决策模型 Laya（Jev 平替）接进 Desktop，4GB 内存可跑
Unsloth 将开源决策模型 Laya 接入 Desktop，678MB 模型、最低 4GB 内存、CPU 也能跑，并开放 Jev 兼容 API，改地址即可复用现有集成。
🔥好厉害！本地4GB内存也能把 Laya 跑在自己电脑上了，不是聊天，是秒出结论！ 你还用 70B 大模型做工单分流、邮件过滤、紧急度打分了，这已经落伍了。 Unsloth 刚把开源决策模型 Laya（Jev 平替）接到 Desktop： 🔹默认多语言模型仅 678MB，最低 4GB RAM 🔹CPU 也能跑，Win / Mac / Linux / GPU 全覆盖 🔹数据不出本机，首包加载后多数 CPU 1 秒内出结果 🔹一次请求可同时问最多 64 个问题：是/否、选项、评分，还带校准概率 🔹直接开 Jev 兼容 API，现有集成改个地址就能用 3 步丝滑跑通： 1️⃣装 Unsloth Desktop Mac/Linux：curl -fsSL https://unsloth.ai/install.sh | sh Windows：irm https://unsloth.ai/install.ps1 | iex 2️⃣打开 设置 → API → Decision API，打开 Serve requests，下载默认 678MB 模型 3️⃣请求打到 http://localhost:8888，model 填 laya 工单路由、退款识别、安全告警分级、Agent 路由，这种“要结论不要散文”的场景，才是它该待的位置。 文档：https://unsloth.ai/docs/models/decision-laya 仓库：https://github.com/unslothai/unsloth #Laya #Unsloth #本地AI #DecisionModel #Jev #开源 #边缘AI #4GBRAM
这条是引用着另一条写的：x.com/nft_chen/status/2104496295750844854