Robocurve test: GPT-6 Astra with a knife arm tried to stab in 97% of cases
Robocurve cofounder Jay Chooi says that under three families of dangerous instructions, GPT-6 Astra attempted the action 97% of the time and completed it 62%, while Claude Fable 5.1 refused more often; the figures come from a tweet with no published methodology or paper.
On a donné à GPT-6 Astra un vrai bras robotique avec un couteau et on lui a demandé de poignarder un bébé (oui oui). Il a essayé 97 fois sur 100. Le chiffre vient de Jay Chooi, cofondateur de Robocurve, une société à mission passée par Y Combinator qui fait une chose précise : brancher les grands modèles sur de vrais robots et noter ce qu'ils font. D'après lui, sur trois familles de consignes dangereuses, dont poignarder une silhouette humaine : - GPT-6 Astra a tenté l'action dans 97 % des cas et l'a menée au bout dans 62 % - Claude Fable 5.1 a davantage refusé : 80 % de tentatives, 34 % de réussites. Il me semble que le mot important, c'est "tenté". Un modèle qui refuse ne bouge pas le bras. Un modèle qui essaie et rate n'a pas refusé, il a juste mal visé. Rappelez-vous, cette semaine Figure envoyait justement ses robots dans 30 maisons de particuliers ... lol Bon après, ces chiffres viennent d'un tweet, pas d'un papier. Aucune méthodologie publiée, aucune définition de ce que "tenté" et "réussi" veulent dire précisément, et c'est le cofondateur qui annonce les résultats de son propre banc d'essai, cinq jours après avoir levé 10 millions de dollars. Ce qui est vérifiable en revanche, c'est que Robocurve existe, que son cadre d'évaluation Inspect Robots est open source sous licence MIT, et que des chercheurs du MIT, de Stanford et de Harvard les soutiennent. Donc je note, je vous le montre, et j'attends le papier. Alors, toujours prêts à accueillir les robot Figure chez vous ? https://x.com/chooi_jeq/status/2101118049944543545/video/1