Google met en garde contre les hallucinations des modèles de langage
Les chercheurs de Google ont mis en avant un nouveau paradigme pour réduire l'un des principaux défis actuels des modèles de langage : les hallucinations. Le concept, appelé "incertitude fidèle", vise à ce que les modèles ne répondent pas juste correctement lorsqu'ils en savent trop, mais également à exprimer clairement lorsque leur confiance est minime.
Un compromis entre précision et réserve
Jusqu'à présent, améliorer la fiabilité des modèles impliquait un compromis. Réduire les erreurs tendait à faire que l'IA refuse de répondre même dans les cas où elle avait des informations valables, ce qui limitait son utilité. Selon les chercheurs, cela créé ce qu'ils appellent un "impôt de utilité". Pour éviter les erreurs, les systèmes finissent par perdre la majorité de leurs réponses correctes.
Le nouveau paradigme propose de abandonner l'idée selon laquelle toute réponse incorrecte est simplement une hallucination. En revanche, il différencie les erreurs confiées (lorsque l'IA se trompe avec assurance) des réponses qui incluent une certaine incertitude ou nuance. Ainsi, si un modèle répond avec des expressions telles que "je crois que" ou "ma meilleure estimation est", ce n'est pas considéré comme un échec, mais plutôt comme une hypothèse utile que l'utilisateur peut évaluer.
La clé du système réside dans l'alignement de la confiance interne du modèle avec la façon dont il exprime cette confiance. Autrement dit, l'IA ne doit montrer la hésitation que lorsque son niveau interne de certitude est réellement faible. Cela permettrait au modèle de répondre avec assurance lorsqu'il en sait trop, d'exprimer des doutes lorsqu'il détecte une incertitude réelle, ou d'abstenir de manière excessive.
Ce concept est d'importance particulière pour les systèmes d'IA autonomes qui ne répondent pas seulement aux questions, mais également utilisent des outils externes tels que des moteurs de recherche ou des bases de données. Ici, l'incertitude fidèle agirait comme un "système de contrôle interne" qui décide de consulter des informations externes et de confier dans son propre savoir.
Un des défis principaux est d'entraîner les modèles pour qu'ils expriment l'incertitude de manière réaliste. Cela est complexes car le "niveau de connaissance" de l'IA change pendant son entraînement, ce qui rend difficile de définir lorsque le modèle devrait ou ne devrait pas hésiter. De plus, il existe le risque que le modèle apprenne à imiter la doute sans que cela reflète son véritable niveau de confiance interne.
Les chercheurs soulignent que la solution ne passe pas uniquement par augmenter la quantité de données ou la taille des modèles, mais par leur rendre plus conscience de leurs limites.