General-purpose large language models outperform specialized clinical AI tools on medical benchmarks.

Évaluation comparative des LLMs généralistes (GPT-5.2, Gemini 3.1 Pro, Claude Opus 4.6) vs outils IA cliniques spécialisés sur des benchmarks médicaux

Cette étude dans Nature Medicine évalue quantitativement deux outils IA cliniques spécialisés (OpenEvidence et UpToDate Expert AI) par rapport à trois LLMs généralistes frontière (GPT-5.2, Gemini 3.1 Pro et Claude Opus 4.6) sur des benchmarks médicaux standardisés incluant 500 questions MedQA. Les LLMs généralistes surpassent les outils IA cliniques spécialisés sur l'ensemble des dimensions évaluées, remettant en question la valeur ajoutée de la spécialisation clinique des modèles.

Synthèse rédigée par Geno'X. Pour l'abstract original complet, consulter la publication source.

Un résultat contre-intuitif et important : les LLMs généralistes surpassent les outils IA cliniques spécialisés construits sur ces mêmes LLMs. Cela soulève des questions sur la valeur réelle des couches de spécialisation clinique ajoutées par les éditeurs — et sur les critères à utiliser pour choisir un outil IA en pratique médicale.

Impact clinique : 2/3 · Solidité de l'évidence : 2/3 · Nouveauté : 1/2 · Effectif : 1/1 · Statut de publication : 1/1 → Total : 7/10