L'essentiel
Un chercheur en interprétabilité mécaniste affirme que les réseaux de neurones sont bien plus lisibles que son domaine ne le pensait. L'argument central en faveur de la « superposition », l'idée qu'un réseau empile des concepts sans rapport faute de place, reposait selon lui sur une lecture erronée. Ce qui ressemblait à un empilement arbitraire relève surtout d'un motif qu'il nomme « généralisation récursive » et qui pose bien moins de problèmes. On pourrait donc étudier les réseaux directement sans devoir d'abord les « dénouer ».
Il s'appuie sur plusieurs cas concrets, dont InceptionV1 et des modèles de langue récents. Sa thèse : la polysémanticité canonique venait en grande partie d'outils d'analyse insuffisants et de défauts d'architecture.
Les détails
Le cas InceptionV1
La dernière couche d'InceptionV1 semblait pleine de mélanges arbitraires et presque aucun neurone n'y était facilement interprétable. L'auteur l'explique par des défauts d'architecture qui saturaient les dernières couches et par des outils d'interprétabilité trop grossiers pour le voir. Des corrections d'architecture ordinaires suffisent à rendre 99 à 100 % des neurones de cette couche faciles à interpréter. Ni la taille du modèle ni les données d'entraînement ne changent. Il dit avoir entraîné des versions dont la taille varie d'un facteur 300 et toutes restent largement lisibles.
Le circuit « chien/voiture »
En 2019 il avait présenté avec Chris Olah un circuit où une caractéristique « voiture » semblait se répandre dans des neurones « chien » sans rapport. Il estime aujourd'hui qu'aucune partie du réseau n'exploite cette combinaison en aval. Il s'agissait de généralisation et de composition ordinaires. À sa connaissance personne n'a publié depuis un second circuit de cette forme.
Les modèles de langue
Le texte cite deux travaux de 2023. « Towards Monosemanticity » d'Anthropic étudiait un petit modèle à une couche où le neurone médian obtenait 0 sur une échelle de 14. Un projet d'interprétabilité automatisée lancé chez OpenAI trouvait environ 1,7 % de neurones interprétables. Avec de meilleurs outils et des modèles actuels le tableau change. Des audits préliminaires de Qwen3-32B attribuent une tâche principale à environ 90 % des pôles de neurones. Environ 7 % en ont deux liées et seulement 2 à 4 % restent incompris. L'auteur rapporte des résultats comparables sur des modèles de plusieurs milliers de milliards de paramètres comme Kimi K3 et annonce un second article pour les détailler.
La généralisation récursive
Le motif est simple. Un neurone qui détecte « iy » se met à détecter « diy » puis « do it yourself » qui ne contient plus « iy ». L'idée figurait déjà dans une sous-section passée inaperçue d'un article de 2021 sur les neurones multimodaux. L'auteur prévient que les pourcentages dépendent des seuils choisis et qu'il ne faut pas les traiter comme un score précis à optimiser.
Pourquoi c'est important
Pour une équipe d'interprétabilité la thèse change l'ordre du travail. Au lieu d'entraîner un second modèle comme un autoencodeur parcimonieux pour approcher le réseau « déplié » on inspecterait directement neurones et circuits en suivant leur croissance pendant l'entraînement. Les boucles d'expérimentation seraient plus simples et moins chères.
Mon hypothèse est que l'effet le plus concret portera sur les outils. L'auteur cite un neurone « Titanic » mal jugé parce que l'outil ne regardait que le contexte précédent. Si l'essentiel de la polysémanticité apparente vient de là alors améliorer les métriques compte plus que changer de méthode d'analyse. Deux points à surveiller : la reproduction de ces chiffres sur d'autres modèles et la façon de fixer les seuils puisque l'auteur lui-même prévient que le résultat en dépend fortement.
Source
- Neural networks are clean · already-clean.goodfire.com (via Hacker News)