Leakage-Controlled Benchmarking of Variant Effect Predictors and Development of Gradient-Boosting Consensus Model

Méta-prédicteur consensus par gradient boosting, évalué sur un jeu de référence contrôlé contre la circularité des données

Les auteurs ont examiné 18 prédicteurs d'effet de variants récents et 3 plus anciens largement utilisés, et constitué un jeu de référence contrôlé contre la circularité des données, associant des variants humains annotés cliniquement (ClinVar, Humsavar) et des variants d'autres espèces annotés fonctionnellement. Les performances des outils se situent dans une plage étroite (AUC de 0,631 à 0,758), avec une baisse constante des données cliniques vers les données fonctionnelles. Plusieurs outils publiés il y a vingt ans font jeu égal avec les prédicteurs modernes de rang intermédiaire. Le modèle consensus PredictSNPprot, fondé sur le gradient boosting, atteint une AUC de 0,82 sur un jeu de test mis de côté, soit 13,6 points de plus que le méta-prédicteur PredictSNP d'origine et 5,7 points de plus que le meilleur outil individuel. Le jeu de référence (Zenodo) et le code (GitHub) sont publics.

Synthèse rédigée par Geno'X. Pour l'abstract original complet, consulter la publication source.

Preprint non relu par les pairs. Le message principal est le benchmark : une fois la circularité contrôlée, les prédicteurs faux-sens se tiennent dans un mouchoir de poche, ce qui invite à ne pas surinterpréter l'écart entre deux scores au moment d'appliquer PP3 ou BP4. Une AUC de 0,82 reste modeste pour un usage diagnostique, et l'abstract ne détaille pas la performance du consensus sur le seul sous-ensemble clinique humain.

Analyse par Dr Thibaut Benquey