Sam Altman affirme que les sceptiques du passage à l'échelle ont freiné le développement de l'IA

Le PDG d'OpenAI, Sam Altman, réaffirme sa conviction quant à la puissance du passage à l'échelle, soutenant qu'une génération précédente de chercheurs a entravé le progrès en sous-estimant le potentiel des grands modèles de langage (LLM). Alors que le débat sur le plafond des architectures transformer s'intensifie, Altman affirme que les preuves empiriques favorisent massivement la poursuite de l'expansion de la puissance de calcul et des données.

Le coût du dogmatisme intellectuel

Lors d'une récente intervention à Stanford, Altman a abordé les frictions entre les partisans du passage à l'échelle et les sceptiques, citant notamment des critiques comme Yann LeCun de Meta, qui a notoirement qualifié les LLM de « impasse ». Altman suggère qu'une grande partie de la résistance à l'hypothèse du passage à l'échelle provient du fait que les chercheurs sont trop confiants dans leurs prédictions sur ce que l'IA ne peut pas faire.

Il a soutenu que certaines figures de l'industrie ont lié leur identité professionnelle à des positions théoriques spécifiques, ce qui les rend résistantes aux nouvelles données contredisant leurs convictions de longue date. Tout en reconnaissant que les « modèles de monde » sont essentiels aux progrès dans des domaines tels que la robotique, Altman maintient que la trajectoire actuelle des LLM n'est pas un détour, mais le moteur principal de l'intelligence.

Preuve empirique : aller au-delà de la reconnaissance de formes

L'un des points les plus significatifs de la défense du passage à l'échelle par Altman est la transition des LLM de simples prédicteurs de texte vers des outils capables de raisonnement original. Il a cité une étape récente où un modèle d'OpenAI a réussi à infirmer une conjecture mathématique qui était restée sans solution par des experts humains pendant une période prolongée.

Ce développement est crucial car il remet en question le récit selon lequel les LLM ne seraient que des « perroquets stochastiques » incapables de véritable découverte. « Il est donc clair que les LLM sont capables de dégager de nouvelles connaissances », a déclaré Altman, notant que la communauté mathématique s'attaque désormais activement aux implications des preuves générées par l'IA. Ce changement suggère que le passage à l'échelle ne se contente pas d'améliorer la fluidité ; il élargit l'horizon des capacités cognitives.

La frontière : raisonnement vs tâches à long terme

Malgré son optimisme, Altman reste lucide quant aux limites actuelles de la technologie. Il a noté un écart de performance distinct lorsqu'il s'agit de « tâches à long horizon » — des flux de travail complexes qui nécessitent un jugement de haut niveau soutenu et une planification en plusieurs étapes sur des périodes prolongées. Dans ces domaines spécifiques, il a admis que les LLM « semblent bien moins performants que les humains ».

Pour l'ensemble du paysage de l'IA, cette distinction définit la prochaine frontière de la recherche. L'industrie passe d'une phase de « mise à l'échelle pour la connaissance » à une phase de « mise à l'échelle pour le raisonnement et l'agentivité ». Alors que des entreprises comme OpenAI et Anthropic (dirigée par le PDG Dario Amodei, qui partage la conviction d'Altman sur la mise à l'échelle) continuent d'investir des milliards dans la puissance de calcul, l'objectif est de combler l'écart entre l'intelligence momentanée et une autonomie fiable à long terme.

Points clés

• La mise à l'échelle est le principal moteur : Altman soutient que sous-estimer l'impact de l'augmentation de la puissance de calcul et des données a historiquement ralenti le rythme des percées en IA.
• La découverte plutôt que le mimétisme : La capacité des modèles d'OpenAI à résoudre des conjectures mathématiques complexes prouve que les LLM évoluent vers une véritable création de connaissances.
• Le prochain goulot d'étranglement : Bien que la mise à l'échelle résolve de nombreux problèmes, atteindre un niveau de performance humain dans les tâches à long horizon exigeant un jugement élevé reste le prochain défi majeur de l'industrie.