DeepSeek V4.1 Flash on OpenDesign: empty thinking, dropped streams, 3–5x slower
Fingerprint matched official 1017, but on OpenDesign about 98% of streamed thinking was empty, with 6 dropped streams, 10 error events, 11 HTTP 5xx/524s, and 140–150s median per task versus 30–47s official.
顺便单独说一下 OpenDesign 的 DeepSeek V4.1 Flash,模型本身完没问题(指纹测试和官方 1017 对得上),是最新的1017,但测试过程出现了以下几个问题: 1. 思考内容被吞:5175 次调用里,流式返回约 98% 的 thinking 是空的,也没有签名;非流式是有的。官方同样监控下 80% 能看到思考 2. 不稳定:一轮下来断流 6 次、只吐思考不出正文 5 次、没有结束标记 6 次、报错事件 10 次,外加 503×5、500×3、524×3。官方 3404 次调用一次都没有。 3. 慢:单题耗时中位数 140–150 秒,官方 30–47 秒;OpenDesign 超时 16 题,官方 0 4. 改参数:设 max_tokens=500,它照样输出到 2000 多 token 结果就是同一个模型,在 OpenDesign 上 DSH 少过 22 题、Pi 少过 11 题。拿它跑长任务 Agent,测出来的分数会明显偏低,但这不能代表 DeepSeek 本身的水平
This post quotes another post: x.com/jiangkoumo_/status/2112222367925907765