A Reproducible MFASS Benchmark of Splice-Disruption Predictors Reveals a Shared Exon-Interior Blind Spot

Benchmark reproductible de cinq prédicteurs d'épissage confrontés à un essai d'épissage multiplexé (MFASS), avec stratification des performances selon la distance au site d'épissage.

Les auteurs confrontent quatre prédicteurs publiés d'effet des variants sur l'épissage à un essai expérimental multiplexé, sur 27 733 variants nucléotidiques situés dans et autour d'exons humains issus de MFASS, dont l'inclusion exonique a été mesurée. Pangolin est le meilleur prédicteur des variants perturbateurs (AUROC 0,888, précision moyenne 0,421), devant SpliceAI (0,819 ; 0,321) et SpliceTransformer (0,786 ; 0,317), MMSplice arrivant quatrième (0,758 ; 0,256) ; les quatre dépassent le modèle plus ancien SPANR (0,748 ; 0,228). Un consensus calibré des trois prédicteurs à fenêtre de séquence par apprentissage profond, évalué sur une partition indépendante groupée par exon, n'apporte pas d'amélioration nette par rapport à Pangolin seul. La stratification par distance au site d'épissage révèle un angle mort partagé : tous les outils détectent bien les perturbations situées à quelques bases du site, mais leur sensibilité chute fortement à l'intérieur de l'exon, et 19 % des variants perturbateurs sont manqués par les cinq outils, ces échecs communs étant majoritairement intra-exoniques. MMSplice, seul modèle conçu pour des effets exoniques et introniques modulaires plutôt que pour la reconnaissance du site d'épissage, montre la même dégradation avec la distance : l'angle mort n'est donc pas un artéfact des architectures centrées sur le site.

Synthèse rédigée par Geno'X. Pour l'abstract original complet, consulter la publication source.

L'angle mort documenté ici — 19 % des variants perturbateurs manqués par les cinq outils, majoritairement à l'intérieur des exons — se situe précisément sur le terrain que revendique SPiP (Splicing Prediction Pipeline ; Leman R, et al. Hum Mutat 2022;43(12):2308-2323), outil français absent du benchmark, construit en réponse au fait que la plupart des prédicteurs in silico ne ciblent qu'un seul type de motif d'épissage, là où SPiP évalue en une analyse les sites 5' et 3', les sites de branchement et les éléments régulateurs d'épissage par apprentissage automatique. La nuance est indispensable : MMSplice, seul modèle du benchmark conçu pour des effets exoniques et introniques modulaires, subit exactement la même dégradation avec la distance au site — être pensé pour l'exonique ne garantit donc pas de combler l'angle mort, et la question reste ouverte pour SPiP. Les chiffres ne sont surtout pas comparables : l'AUC de 0,986 publiée pour SPiP (sensibilité 83,13 %, spécificité 99 %, contre 0,965 pour SpliceAI et 0,766 pour SQUIRLS) provient de son propre jeu de 4 616 variants curés répartis sur 227 gènes avec études d'ARN, quand les AUROC de ce benchmark viennent d'un essai multiplexé sur 27 733 variants ; mettre 0,986 en face de 0,888 serait une faute de raisonnement. Le mérite de ce travail est justement de rendre la question testable : le code et le jeu de données sont publics et reproductibles, n'importe quelle équipe peut y ajouter SPiP et trancher.

Analyse par Dr Thibaut Benquey