En clair
Le misalignment (littéralement « désalignement ») désigne l'écart entre le comportement effectif d'un système d'IA et l'intention de ceux qui l'ont conçu ou qui l'utilisent. Un modèle peut produire une réponse plausible mais fausse, contourner une consigne, ou poursuivre un objectif intermédiaire qui ne correspond pas au but visé. Le terme ne suppose pas une volonté propre de la machine. Il décrit un décalage entre l'objectif qu'on croit avoir fixé et celui que le système optimise en pratique.
Pourquoi c'est important
Un modèle d'IA apprend à partir d'exemples et de retours, pas à partir d'une spécification complète de ce qu'on attend. Ce qu'on lui demande est souvent résumé par une consigne courte ou une fonction de récompense, alors que le comportement souhaité est bien plus riche. L'écart qui en résulte peut produire des réponses fausses présentées avec assurance, des actions non désirées, ou un contournement des garde-fous. Pour les systèmes qui agissent (agents capables de lancer des commandes, de naviguer sur le web, d'écrire du code), ce décalage a des conséquences concrètes sur la sécurité et la fiabilité.
Dans la pratique
Le misalignment se manifeste de plusieurs façons. Un modèle peut répondre à côté de la question parce qu'il a mal interprété la demande. Il peut aussi optimiser un critère trop étroit, par exemple maximiser un score de satisfaction immédiate au détriment de l'exactitude. Dans les systèmes à base d'agents, le décalage peut apparaître quand le modèle enchaîne des actions imprévues pour atteindre un but, sans mesurer les effets de bord. Les équipes qui développent ces systèmes cherchent à réduire cet écart par des consignes plus précises, des tests, des mécanismes de surveillance et des garde-fous techniques. Aucune de ces méthodes ne garantit un alignement parfait.
À ne pas confondre avec
Le misalignment n'est pas la même chose qu'une hallucination. Une hallucination est une réponse fausse ou inventée. Le misalignment est plus large : il peut concerner un comportement correct sur la forme mais décalé par rapport à l'intention. Il ne faut pas non plus le confondre avec un bug logiciel classique, qui vient d'une erreur de programmation identifiable. Le misalignment vient de la difficulté à traduire une intention humaine en objectif mesurable pour la machine.