OmniGene-4: A Unified Bio-Language MoE Model with Router-Level Interpretability.

Modèle MoE (Mixture-of-Experts) traitant conjointement langage naturel, séquences ADN et séquences protéiques avec interprétabilité des routeurs

OmniGene-4 est un modèle de langage biologique multimodal de type Mixture-of-Experts (MoE) traitant conjointement le langage naturel, les séquences d'ADN et les séquences protéiques pour répondre à des questions séquence-dépendantes.Une analyse de l'interprétabilité au niveau des routeurs révèle que chaque expert se spécialise sur des types de questions distincts (structure, fonction, annotation), offrant une fenêtre sur les mécanismes internes du modèle.Les performances sur des benchmarks génomiques mixtes surpassent celles de modèles spécialisés unimodaux.Le modèle est disponible en open source via Hugging Face.

Synthèse rédigée par Geno'X. Pour l'abstract original complet, consulter la publication source.

Les modèles MoE multimodaux sont une voie prometteuse pour l'IA génomique : ils permettent d'unifier des représentations hétérogènes (séquence, annotation, phénotype) dans un espace commun.L'interprétabilité des routeurs est une contribution méthodologique originale, mais les performances sur des benchmarks cliniques réels (variants pathogènes, diagnostic) restent à démontrer.

Impact clinique : 2/3 · Solidité de l'évidence : 2/3 · Nouveauté : 2/2 · Effectif : 1/1 · Statut de publication : 0/1 → Total : 7/10