L'essentiel
Un billet partagé sur Hacker News décrit un écart croissant dans la compréhension des capacités des grands modèles de langage (LLM). L'auteur estime que la population se répartit en plusieurs cercles très inégaux : environ 6 milliards de personnes (75 % de la population) n'ont presque pas eu de contact avec les LLM ; 1 à 2 milliards (20 %) les utilisent occasionnellement via des versions gratuites de produits type ChatGPT ; environ 20 millions (0,2 %) en font un usage professionnel de pointe, notamment en mathématiques et en programmation ; et environ 5 000 personnes (0,00006 %) ont accès en interne à des systèmes de frontière.
Cette répartition ne relève pas seulement d'une différence d'opinion : elle dépend de l'ambition des problèmes traités, du caractère vérifiable des domaines, et du niveau d'accès. L'auteur souligne que ces situations coexistent au même moment, ce qui rend le débat public difficile.
Les détails
Quatre niveaux d'exposition
L'auteur distingue quatre groupes. Le premier, le plus nombreux, n'a quasiment pas utilisé de LLM. Le deuxième, environ 1 à 2 milliards de personnes, se sert de versions gratuites et perçoit des chatbots approximatifs, utiles comme moteur de recherche amélioré ou aide à la rédaction. Même des professionnels hors mathématiques et code s'y trouvent : des dirigeants, par exemple, passent beaucoup de temps à parler à d'autres personnes et gardent une compréhension abstraite de ces outils.
Le troisième groupe, environ 20 millions de personnes, utilise des LLM de qualité frontière en mathématiques et en programmation. L'auteur y voit des projets complexes, qui prenaient des semaines ou des mois, réalisés par des agents sur simple invite : construire des applications, les copier, les traduire, les décompiler à partir de binaires. Il rappelle qu'il y a moins d'un an, il écrivait encore son code manuellement, caractère par caractère, avec parfois la touche Tab pour compléter un fragment.
Le quatrième groupe, environ 5 000 personnes, a accès en interne à des systèmes de frontière. L'auteur évoque des essaims de milliers d'agents collaborant sur des semaines pour des mégaprojets logiciels : découverte de failles zero day, attaques et défenses informatiques à la vitesse de la machine, nouvelles découvertes scientifiques, avancées en mathématiques. Des travaux qui auraient pris des années à des professionnels de premier plan. Il note que la relecture et la compréhension humaines commencent à prendre du retard, citant l'« archéologie » de l'incident OpenAI-HF de plusieurs mois auparavant, ou les 722 manuscrits de mathématiques de frontière que les mathématiciens pourraient mettre du temps à examiner.
Trois facteurs qui expliquent l'entonnoir
L'auteur avance trois causes. D'abord, l'impact croît avec l'ambition, la taille du problème et l'horizon : une question dont la réponse tient en un paragraphe sollicite peu le système ; il faut un réservoir de problèmes difficiles qui comptent vraiment. Ensuite, la « jaggedness » du système : les capacités culminent dans les domaines numériques, vérifiables et économiquement précieux, car elles émergent d'un apprentissage par renforcement sur des récompenses vérifiables, dans un mélange d'environnements guidé par le potentiel de revenus. Enfin, l'accès : gratuit, payant, interne.
Pourquoi c'est important
Pour un développeur ou une équipe, ce constat suggère que l'écart de perception ne se réduit pas à une question d'opinion. Il dépend du niveau d'accès et du type de problèmes traités. Une équipe qui n'utilise que la version gratuite d'un chatbot risque de sous-estimer ce que permettent les systèmes de pointe sur du code ou des mathématiques, tandis qu'une équipe qui travaille sur des projets longs et vérifiables peut au contraire surestimer la facilité de généralisation à d'autres domaines.
Mon hypothèse est que les équipes qui sauront calibrer leurs attentes par domaine, plutôt que par impression générale, tireront mieux parti de ces outils que celles qui se fient à un seul essai sur la version gratuite.
Source
- The gap in shared understanding of LLM capability is widening · twitter.com (via Hacker News)