Opus 5.5 turns a forecasting study into a 5-hour video, and the experts were wrong
He asked Claude Opus 5.5 to check the Forecasting Research Institute's four-year prediction study and got a finished video 5 hours later, concluding experts badly underestimated AI progress.
J'ai demandé à Claude Opus 5.5 de me montrer si les experts en IA ont eu raison dans leurs prédictions concernant les avancées en IA. Il a été chercher une étude et, 5h plus tard il m'a retourné une vidéo ... Concernant l'étude en elle-même : Les plus grands experts de l'IA viennent de se faire noter sur 4 ans de prédictions ... et ils se sont plantés dans les grandes largeurs : l'IA va beaucoup plus vite que prévu. L'étude vient du Forecasting Research Institute, l'institut de Philip Tetlock (le chercheur derrière le best-seller Superforecasting). Depuis 2022, il interroge des centaines d'experts et de "superforecasters", des amateurs repérés parce qu'ils prédisent l'avenir mieux que tout le monde. En 2022, il leur demande quand une IA décrochera l'or aux Olympiades internationales de maths. Les experts répondent 2030, les superforecasters 2035. C'est arrivé en juillet 2025. Les experts donnaient 8,6 % de chances à ce scénario, à peu près une chance sur 12. Pareil côté business. Ils voyaient la plus grosse boîte d'IA à 20 milliards de dollars de revenus annuels fin 2026. D'après le New York Times, Anthropic serait déjà sur un rythme de plus de 100 milliards, 5 fois plus (GG Anthropic). Les autres prédictions ratées : → Code : fin 2025, ils pariaient sur 14 % de réussite aux problèmes les plus durs de LiveCodeBench Pro. Les IA en étaient à 53,8 % dès mai 2026 → FrontierMath, des maths de niveau recherche : 31 % prévu pour fin 2025, c'est 40,7 % Cependant ils se sont aussi trompés dans l'autre sens. → Les experts en biosécurité pensaient que 22,5 % d'étudiants aidés par une IA réussiraient des manipulations de biologie en labo, ils n'ont été que 5,2 %. → Et ils voyaient les robotaxis à 7,3 % des courses VTC aux États-Unis fin 2027, on n'en prend pas le chemin. MAIS sur ce que l'IA sait faire, ils ont presque toujours eu un train de retard (et c'était avant GPT-6 et Opus 5.5). Alors la prochaine fois qu'un expert vous dit "ça, l'IA ne le fera pas avant 10 ans" ... vous le croyez ou pas ? Étude complète en commentaire