GPT-6 Astra fails 20-run fine-tuning project run autonomously in Codex
The author let Astra autonomously fine-tune Qwen3.5-0.8B in Codex, burning two Pro weekly quotas; the dev set scored perfectly but real accuracy was only 58%.
我让 GPT-6 Astra 在 Codex 里全权负责一个类 Jev 的模型微调项目，结果跑完 20 次训练，浪费了两个 Pro 20× 的周额度，项目彻底失败，最后只能废弃。 项目叫 Necro，目标是把 Qwen3.5-0.8B 微调成一个能在本地做分类、条件判断和打分的小模型。实验设计、数据准备、训练和评估，都交给它推进。 最离谱的一次，新开发集的 1,600 条条件题全部答对，换到另一组完整记录上，准确率只有 58.33%。 复盘才发现，训练集和开发集漏掉了相同的情况。比如判断 a ≥ b，它生成的数据只有等于和小于，居然漏掉了大于。实际评估这一类时，16 道题全错。 开发集满分，就这样掩盖了一个检查数据生成逻辑就能发现的问题。 而且整个过程都在反复发生类似的事。修好一种错误，另一项能力又退步，然后继续补数据、继续训练。文档和检查流程写得很细，最关键的数据覆盖却一次次漏掉。最后统一重训，连中间 checkpoint 都没保存，想回头检查训练过程都缺证据。 我觉得 GPT-6 Astra 被过度营销了，实际自主完成任务的能力被吹得太强。它能写代码、调用工具、连续执行很多步骤，但到了需要自己设计实验、判断结果、调整方向的时候，就暴露出非常严重的局限。 把目标交给它之后，我仍然需要替它发现关键问题、判断什么时候该停、什么方向值得继续。这些恰恰是全权负责一个实验最需要完成的工作。 我现在的判断很明确，GPT-6 Astra 根本不具备自主完成这类实验任务的能力。时间和算力花出去了，我得到了一份很长的失败复盘。 这就是 OpenAI 的最强模型。