OpenAI reportedly shifts 80-90% of research to GPT-7 and GPT-8
An OpenAI applied research lead is said to have described small model iterations as short-sighted, with the real plan being to distill small models like Luna from a stronger teacher model, Astra.
OpenAI应用研究负责人Boris Power刚刚甩出重磅内部真相: 公司80-90%的研究,已经在干GPT-7、GPT-8 以及更往后的东西。 现在这些小版本迭代,内部直接被看成“极度短视”,只是为了今天学得快一点,根本不是长期正道。 真正的打法更狠:先砸出超强大师模型Astra,再把它当老师,蒸馏出小而精的Luna。 最好的小模型,从来不是从小模型训出来的,而是从最强的老师身上偷来的。 GPT-6 才刚上场,他们已经在下一盘更大的棋。 #OpenAI #GPT7 #GPT8 #Astra #Luna #AGI #SamAltman #Tibo https://x.com/nft_chen/status/2104208980302315617?s=46 https://x.com/firesidealpha/status/2103821387307651085/video/1
This post quotes another post: x.com/nft_chen/status/2104208980302315617