En clair
La polysémanticité décrit le cas d'un neurone d'un réseau de neurones qui s'active pour plusieurs idées ou caractéristiques distinctes. Un neurone « polysémique » ne détecte pas un seul concept mais plusieurs, parfois sans lien évident. Cela rend l'analyse du réseau plus complexe car on ne peut pas associer simplement un neurone à une fonction unique.
Pourquoi c'est important
Comprendre le fonctionnement interne des réseaux de neurones est essentiel pour les améliorer et les sécuriser. Si les neurones sont polysémiques, il devient difficile d'identifier les représentations internes et de corriger d'éventuels biais. La polysémanticité est souvent citée comme un obstacle à l'interprétabilité. Certains chercheurs pensent qu'elle résulte d'un manque de place dans le réseau, qui oblige à superposer des concepts. D'autres estiment qu'elle peut être réduite par de meilleures architectures ou outils d'analyse.
Dans la pratique
Dans les modèles de vision comme InceptionV1, les dernières couches présentaient des neurones réagissant à des mélanges arbitraires. Une étude récente suggère que des corrections d'architecture suffisent à rendre 99 à 100 % des neurones de cette couche faciles à interpréter, sans changer la taille du modèle ni les données d'entraînement. Cela indique que la polysémanticité n'est pas une fatalité et peut être atténuée.
À ne pas confondre avec
La polysémanticité se distingue de la superposition, qui est l'idée que le réseau encode plus de concepts que de neurones disponibles. La superposition peut entraîner de la polysémanticité mais les deux notions ne sont pas identiques. Elle ne doit pas non plus être confondue avec l'ambiguïté des mots en langage naturel.