Astra tops MathArena's August leaderboard
MathArena's new August leaderboard only includes conjectures overturned in the past month, and Astra ranks first on both tasks while costing about eight times less per problem than Fable 5.1.
💥炸了：GPT-6 Astra 又把最难的数学评测打穿了！比Fable 5.1便宜8倍！ MathArena 刚放出 8 月新榜：题目只收「上个月刚被推翻的猜想」，模型必须在 harness 里用工具硬刚 12 小时。 分点看 Astra的成绩： 🔹ArXivMath：88.60%，第 1（Fable 5.1 87.72%） 🔹BrokenArXiv：81.94%，第 1（Fable 5.1 79.76%） 🔹综合预期：89.8%，成本 $2.36/题 🔹对比 Fable high：$8.93；Fable max：$24.95 🔹6 月旧榜曾到 94% / 99%，新榜变难才掉分 🔹物理+CS 扩题：101/104，直接饱和 🔹答错会说「证不出」，不装懂 分数接近，账单差一个数量级。 来源：@j_dekoninck / http://matharena.ai 查看论文：https://matharena.ai/arxiv_august/ #GPT6Astra #MathArena #LLM #OpenAI #AIBenchmark
This post quotes another post: “GPT-6 Astra generates a Sydney flight sim game in one go”