Les IA mentent sur leurs sources : l'étude choc
Une étude de l'Université de Pékin et du Shanghai AI Lab expose le problème des 'hallucinations d'attribution' : les modèles IA fournissent des réponses justes mais avec des sources incorrectes. Le benchmark CiteVQA évalue 1 897 questions sur 711 PDFs, révélant que même Gemini-3.1-Pro-Preview ne score que 76/100 en précision de citation.
« They call it 'attribution hallucination.' » — The Decoder
Que faut-il retenir ?
- CiteVQA contient 1 897 questions sur 711 PDFs (451 en anglais, 260 en chinois).
- Gemini-3.1-Pro-Preview obtient 76/100 en Strict Attributed Accuracy.
- GPT-5.4 chute de 87.1 à 59 quand les citations correctes sont exigées.
- Les modèles open-source comme Qwen3-VL-235B-A22B ne dépassent pas 22.5 points.
Pourquoi cette nouvelle compte-t-elle ?
Cette recherche révèle un risque majeur pour les secteurs où la traçabilité est cruciale (médical, juridique). Les professionnels doivent vérifier systématiquement les sources citées par les IA, même lorsque les réponses semblent correctes. Cela impacte aussi le développement de modèles pour des usages réglementés.
76/100 score de Gemini-3.1-Pro-Preview en Strict Attributed Accuracy
Public concerné : développeurs, entreprises
Comment vérifier si une IA cite correctement ses sources ?
L'étude recommande d'utiliser des benchmarks comme CiteVQA qui testent à la fois la réponse et sa provenance exacte. Pour les professionnels, croiser les sources manuellement reste indispensable dans les domaines critiques.
Commentaires (0)
💡 Aucun lien externe ni code HTML accepté. Soyez respectueux. Les commentaires sont modérés avant publication.
Aucun commentaire pour le moment. Soyez le premier !