Directives de soumission d'échantillons
Pourquoi un score de validation élevé peut toujours échouer lors de la prochaine étude
Le principal risque n'est souvent pas l'algorithme. C'est ce que l'algorithme a été autorisé à apprendre avant l'évaluation.
Les modèles omiques sont généralement construits à partir de bien plus de caractéristiques moléculaires que d'échantillons. La normalisation, l'imputation, la correction de lot, le filtrage des caractéristiques, l'analyse différentielle, la réduction de dimensionnalité, l'équilibrage des classes et la recherche d'hyperparamètres peuvent tous apprendre à partir des données. Si une étape d'apprentissage utilise l'ensemble du jeu de données avant la séparation, l'ensemble de test n'est plus invisible.
La dépendance peut également entrer par la biologie et la conception de l'étude. Des échantillons répétés d'un même donneur, des individus apparentés, des régions tissulaires appariées, des répliques techniques, des plaques, des centres ou des points temporels séquentiels peuvent être plus proches les uns des autres que des échantillons futurs. Une séparation aléatoire au niveau de l'échantillon peut placer des quasi-duplicatas des deux côtés de la frontière d'évaluation et répondre à une question plus facile que l'utilisation de recherche prévue.
Nous auditons donc l'ensemble du parcours, des mesures brutes ou traitées jusqu'au score final. Un modèle n'est pas jugé sur un seul indicateur phare. Nous nous demandons si l'unité d'évaluation correspond à l'utilisation future, si chaque transformation a été ajustée uniquement sur les données d'entraînement, si le réglage a été séparé de l'évaluation, et si le résultat résiste aux changements pertinents.
Signaux qui méritent un audit indépendant
- La sélection des caractéristiques a eu lieu avant la validation croisée.
- Seule la meilleure séparation aléatoire a été rapportée.
- Les échantillons répétés ont été considérés comme indépendants.
- Les données de test ont influencé la normalisation ou la correction par lot.
- Aucune référence simple n'a été évaluée.
- Seul l'AUROC ou la corrélation a été rapporté.
- Le modèle s'est affaibli sur une nouvelle cohorte.
- Le code, le modèle et les résultats ne peuvent pas être reproduits ensemble.
Mangul et al. ont décrit l'évaluation systématique des omiques comme une comparaison par rapport à une vérité de référence appropriée avec des métriques standardisées, une exécution réutilisable et des limitations explicites. Ils ont également averti que la simulation seule ne peut pas reproduire toute la variation expérimentale. Lisez le cadre de référence de Nature Communications.
Six décisions qui déterminent si le modèle est fiable.
Chaque question d'audit modifie ce que la performance rapportée peut légitimement soutenir.
Pouvons-nous reproduire le résultat original ?
Votre décision : Le score rapporté est-il lié à un pipeline complet et exécutable ou seulement à une figure et une analyse partiellement documentée ?
Ce que nous inspectons : Versions de données, identifiants d'échantillons, construction d'endpoint, définitions de caractéristiques, ordre de prétraitement, manifestes de division, graines, environnement logiciel, hyperparamètres, objets ajustés et fichiers de prédiction.
Ce que nous faisons : Nous relançons le pipeline fourni lorsque cela est possible et comparons les comptes d'échantillons, les comptes de caractéristiques, les attributions de plis, les prédictions et les métriques rapportées. Les différences sont attribuées au code, aux données, à l'environnement ou à des choix manuels non documentés.
Base de preuves : Le cadre de référence pour l'évaluation systématique des omiques recommande une représentation des données commune, une documentation des paramètres, une exécution réutilisable et des conditions de comparaison transparentes. Examinez les principes de benchmarking.
Sortie : Un registre de reproductibilité qui sépare la reproduction exacte, la reconstruction approximative et les éléments qui ne peuvent pas être vérifiés.
Les informations de test ont-elles été intégrées au modèle ?
Votre décision : Le score rapporté mesure-t-il la généralisation, ou mesure-t-il en partie les informations réutilisées à partir des échantillons exclus ?
Ce que nous inspectons : Filtrage global, sélection de caractéristiques guidée par les résultats, normalisation, imputation, correction de lot, suréchantillonnage, réduction de dimensionnalité, spécimens dupliqués, donneurs répétés, échantillons apparentés et changements de division post hoc.
Ce que nous faisons : Nous traçons une carte de lignée des données et étiquetons chaque opération comme fixe, ajustée à l'entraînement ou dépendante du test. Les opérations apprises sont reconstruites à l'intérieur de chaque pli d'entraînement. Les divisions groupées maintiennent les échantillons liés ensemble.
Base de preuves : Ambroise et McLachlan ont montré dans la classification par expression génique que la validation croisée est biaisée lorsque la sélection des gènes est effectuée en dehors de la boucle de rééchantillonnage. Corriger le processus de sélection a transformé une erreur apparemment négligeable en une erreur non nulle. Lisez l'étude PNAS.
Sortie : Un registre de fuite, un pipeline corrigé et un changement de performance attribuable à chaque frontière corrigée.
La sélection de modèle a-t-elle été séparée de l'évaluation de modèle ?
Votre décision : Le même résultat de validation croisée a-t-il été utilisé à la fois pour choisir le modèle et pour revendiquer sa performance finale ?
Ce que nous inspectons : Filtrage d'algorithmes, sélection de caractéristiques par comptage, grilles d'hyperparamètres, arrêt précoce, sélection de seuils, sélection de métriques, sélection de graines et tentatives répétées sur le même ensemble de validation.
Ce que nous faisons : Lorsque l'ajustement fait partie de la procédure de construction du modèle, nous le plaçons dans une boucle interne et réservons les plis externes pour l'estimation des performances. Une cohorte finale non touchée reste séparée de la révision du modèle.
Base de preuves : Varma et Simon ont constaté que les estimations d'erreur sont biaisées lorsque la validation croisée est utilisée pour ajuster un classificateur et que le même résultat est rapporté comme son erreur. Leur procédure imbriquée a produit des estimations proches d'un ensemble de test indépendant dans leurs expériences. Lisez l'étude BMC Bioinformatics.
Sortie : Un design d'évaluation prédéfini, des résultats imbriqués, une incertitude à travers les plis externes et une règle de modèle final verrouillée.
Le modèle complexe dépasse-t-il une base de référence pertinente ?
Votre décision : La complexité ajoutée consiste-t-elle à acheter des informations fiables, ou une règle plus simple fonctionne-t-elle de manière similaire sous le même test ?
Ce que nous inspectons : Lignes de base de majorité ou de prévalence, lignes de base de valeur moyenne, modèles linéaires régularisés, modèles à une couche, scores informés par la biologie et méthodes spécifiques à des tâches établies.
Ce que nous faisons : Chaque candidat reçoit les mêmes caractéristiques disponibles au moment de la prédiction, les mêmes plis, le même budget de réglage et les mêmes métriques. Nous rapportons les différences au niveau des plis appariés plutôt que de comparer des chiffres provenant de différentes divisions.
Base de preuves : Cawley et Talbot ont montré que le surajustement du critère de sélection de modèle peut produire des différences de performance comparables à celles entre les algorithmes d'apprentissage. Une évaluation équitable doit donc contrôler le processus de sélection, et pas seulement l'entraînement du modèle. Lisez l'article de la Revue de Recherche en Apprentissage Automatique.
Sortie : Une échelle de référence, une comparaison de performance appariée, une évaluation de la complexité par rapport aux preuves, et une recommandation pour conserver ou simplifier le modèle.
Les probabilités, les caractéristiques et les explications sont-elles stables ?
Votre décision : Le modèle peut-il soutenir des décisions de recherche basées sur la probabilité ou au niveau des caractéristiques, ou seulement une tâche de classement limitée ?
Ce que nous inspectons : Courbes d'étalonnage, intercept et pente d'étalonnage, règles de notation appropriées, sensibilité au seuil, incertitude bootstrap, fréquence de sélection des caractéristiques, stabilité de classement et cohérence des explications à travers les plis et les cohortes.
Ce que nous faisons : Nous séparons le classement de la calibration. Pour les conclusions basées sur les caractéristiques, nous répétons la sélection au sein du rééchantillonnage et quantifions à quelle fréquence les caractéristiques, les directions et les classements se reproduisent. Les explications sont interprétées comme un comportement du modèle, et non automatiquement comme une causalité biologique.
Base de preuves : Van Calster et al. ont soutenu que l'étalonnage est souvent négligé et doit être évalué lors de la validation, en particulier lorsque les prédictions sont interprétées comme des probabilités. Lisez l'article de BMC Medicine. Nogueira et al. ont développé un traitement statistique de la stabilité de la sélection de caractéristiques, incluant l'incertitude et la comparaison entre les procédures de sélection. Lisez l'étude de stabilité.
Sortie : Évaluation de la calibration, matrice de stabilité, rapport d'explication-consistance et une déclaration claire des résultats suffisamment stables pour être interprétés.
Où le modèle cesse-t-il de généraliser ?
Votre décision : Le modèle se transfère-t-il à la cohorte, au site, à la plateforme, à la population, au tissu, au contexte cellulaire ou à la perturbation qui est la plus importante ensuite ?
Ce que nous inspectons : Provenance des ensembles de données, chevauchement des participants, différences d'essai et de plateforme, caractéristiques manquantes, construction des étiquettes, prévalence, décalage des covariables, effets de centre et contextes biologiques non vus.
Ce que nous faisons : Nous préservons les cohortes externes en tant que tests non touchés, rapportons chaque cohorte séparément et utilisons l'évaluation leave-one-group-out ou leave-one-site-out lorsque cela correspond à l'utilisation prévue. Si le modèle est révisé après avoir vu une cohorte externe, cette cohorte devient une preuve de développement et un nouveau test non touché est requis.
Base de preuves : Whalen et al. ont décrit comment la dépendance, la profondeur de séquençage, la sélection des caractéristiques et l'équilibre des classes peuvent biaiser l'évaluation de l'apprentissage automatique en génomique. Lisez l'article de Nature Reviews Genetics. Rosenblatt et al. ont ensuite quantifié comment plusieurs formes de fuite ont modifié la performance de prédiction à travers quatre ensembles de données et trois phénotypes. Lisez l'étude publiée dans Nature Communications.
Sortie : Résultats spécifiques à la cohorte, analyse des décalages et des échecs, limite d'utilisation observée et le prochain cadre de validation requis.
Ce que nous évaluons et comment nous isolons l'échec
Un audit utile change une source d'optimisme à la fois, tout en maintenant la question de recherche fixe.
| Module d'audit | Questions testées | Méthodes sélectionnées par le design de l'étude | Sortie de décision |
|---|---|---|---|
| Provenance et reproductibilité | Le jeu d'échantillons signalé, les caractéristiques, les divisions, les prédictions et le score peuvent-ils être recréés ? | Inventaire des versions, réconciliation des identifiants, reconstruction de l'environnement, sommes de contrôle au niveau des prévisions, recomputation des métriques | Reproduit, reconstruit avec des différences, ou non reproductible |
| Audit de fuite | Quelles transformations ont été apprises à partir des échantillons de test, et quelles unités biologiques ont été mal classées ? | Traçage de la lignée des données, prétraitement sensible aux plis, reconstruction de la séparation des groupes, vérifications des doublons et des chevauchements, ablation des étapes suspectes. | Carte de fuite et performance corrigée |
| Évaluation de référence | Le modèle s'améliore-t-il par rapport à un comparateur simple ou établi dans des conditions identiques ? | Baselines naïfs, linéaires, informés par la biologie et standardisés par la tâche prédéfinis ; comparaison par paires des plis | Preuves de valeur ajoutée ou recommandation de simplification |
| Validation imbriquée | Le réglage de l'optimisme a-t-il été séparé de l'évaluation finale ? | Validation croisée imbriquée, répétition des plis externes lorsque justifié, seuils verrouillés, évaluation externe intacte. | Estimation de performance moins biaisée avec incertitude |
| Revue des métriques et de l'étalonnage | Les métriques correspondent-elles à l'équilibre des classes, au type de sortie et à la décision de recherche prévue ? | Matrices de confusion, analyse de précision-rappel, métriques d'erreur, métriques de classement, courbes de calibration, règles de score appropriées, analyse de seuil. | Ensemble métrique, déclaration d'utilisation calibrée et limites de seuil |
| Robustesse et stabilité | Les prédictions, les caractéristiques sélectionnées et les explications persistent-elles sous une variation raisonnable des données ? | Bootstrap ou rééchantillonnage répété, sensibilité aux graines, tests de perturbation, fréquence des caractéristiques, concordance des rangs, analyse de sous-groupes | Résultats stables, composants instables et facteurs de sensibilité |
| Transfert inter-cohorte | Où la performance varie-t-elle selon le site, la plateforme, la population, le tissu ou le contexte expérimental ? | Tests externes verrouillés, conceptions de type leave-one-group-out, calibration spécifique à la cohorte, caractérisation des décalages, analyse des caractéristiques manquantes | Matrice de transférabilité et limite de défaillance |
| Documentation | Une autre équipe peut-elle comprendre à quoi le modèle doit et ne doit pas être utilisé ? | Carte du modèle, lignée des données, manifeste d'évaluation, limitations, scripts reproductibles, journal des décisions | Paquet de preuves prêt à être remis |
Les utilitaires assistés par l'IA peuvent aider à tracer les dépendances des pipelines, à comparer de grands fichiers de prédiction et à faire ressortir des comportements de pliage inhabituels. Nos scientifiques déterminent si une transformation est scientifiquement appropriée, si une division correspond à l'unité de recherche et si un échec reflète une mise en œuvre, une mesure ou une biologie.
Conceptions de référence pour différentes tâches de prédiction omique
Le benchmark suit la décision que le modèle est censé soutenir, et non un menu fixe d'algorithmes.
Classification et sous-typage moléculaire
Nous examinons les définitions de classe, la prévalence, les échantillons répétés, la sélection de seuil et les erreurs par classe. L'AUROC n'est pas utilisé seul lorsque le déséquilibre des classes ou la valeur prédictive positive sont importants. Pour les sous-types découverts, la stabilité et les règles d'attribution externe sont évaluées séparément de la prédiction supervisée. Monti et al. ont introduit le clustering par consensus basé sur le rééchantillonnage pour évaluer la stabilité du nombre de classes et de l'appartenance dans les données d'expression génique. Examinez l'étude sur le regroupement par consensus.
Prédiction de réponse continue
Nous comparons les moyennes ou les baselines uniquement basées sur les covariables, l'erreur absolue et l'erreur au carré, la corrélation, les motifs résiduels et la calibration de l'échelle de prédiction. Une forte corrélation peut coexister avec des magnitudes biaisées, donc l'utilisation revendiquée détermine quelles preuves sont pertinentes. Van Calster et al. expliquent pourquoi la discrimination seule n'établit pas des prédictions calibrées. Examinez les preuves de calibration.
Modèles de recherche sur le temps jusqu'à l'événement
Nous préservons l'origine temporelle, la logique de censure et l'éligibilité des cohortes. L'évaluation peut inclure la discrimination dans le temps, la calibration à des horizons définis et le rééchantillonnage tenant compte des groupes. Royston et Altman décrivent la validation externe des modèles de Cox à travers la discrimination et la calibration dans un échantillon indépendant. Examinez l'étude de validation du modèle de survie. Aucun modèle n'est présenté pour la gestion des patients individuels.
Modèles de classement et de priorisation
Pour les cibles, les composés, les variantes ou les caractéristiques, nous testons l'enrichissement par rapport à un ensemble de référence masqué, la stabilité des classements, la sensibilité top-k et la performance par rapport à des scores de preuve simples. La confirmation expérimentale est distinguée de l'accord avec une base de données utilisée lors du développement. Börnigen et al. ont montré que les benchmarks de priorisation des gènes rétrospectifs peuvent être optimistes lorsque les sources de données sous-jacentes contiennent déjà l'association, et ont plutôt testé les associations nouvellement rapportées avant les mises à jour de la base de données. Examine la référence de priorisation de style prospectif.
Modèles à cellule unique et de perturbation
Les séparations au niveau cellulaire peuvent être trompeuses lorsque des cellules du même donneur ou de la même expérience apparaissent dans les deux ensembles. Nous définissons séparément le donneur, le lot, le type cellulaire, la perturbation, la dose et la généralisation des espèces, et sélectionnons des métriques qui reflètent à la fois l'ampleur de l'expression et la réponse biologique. Wei et al. ont comparé 27 méthodes sur 29 ensembles de données dans des scénarios de généralisation contextuelle cellulaire et de perturbation. Examinez le benchmark de perturbation à cellule unique.
Modèles de séquences spatiales et réglementaires
Nous empêchons les régions voisines, les sections de tissu appariées ou les fenêtres génomiques connexes de créer un test facile. La continuité spatiale, l'accord de domaine, la robustesse, le contexte de type cellulaire et les conceptions de chromosomes, de tissus ou de donneurs retenus sont sélectionnés en fonction de la revendication prévue. Yuan et al. ont évalué le regroupement spatial à travers divers ensembles de données spatiales réelles et simulées. Examinez la référence spatiale. DART-Eval a évalué des modèles de séquences régulatrices sur des tâches d'accessibilité et fonctionnelles avec des bases de référence supervisées appropriées. Examinez la référence réglementaire.
Quand une nouvelle expérience est le seul test défendable
Les données existantes peuvent révéler un problème d'évaluation, mais elles ne peuvent pas toujours créer un véritable défi biologique inédit.
Nous recherchons d'abord des données internes, partenaires, publiques ou de référence appropriées. Une nouvelle expérience n'est proposée que lorsque l'utilisation suivante du modèle nécessite une cohorte, un essai, une perturbation, un tissu ou une vérité de référence que les données existantes ne contiennent pas. Le design expérimental est créé autour du modèle verrouillé et de l'hypothèse d'échec. Les échantillons générés pour la réparation sont conservés séparément des échantillons réservés pour les tests finaux.
| Écart de preuves identifié par l'audit | Option expérimentale ciblée | Pourquoi l'option est-elle pertinente ? |
|---|---|---|
| Un modèle de variante de codage manque d'un ensemble de défis de séquence indépendant ou d'une comparaison de vérité appropriée. | Séquençage de l'exome complet humain et murin | Zook et Salit ont décrit l'évaluation normalisée des variantes avec des données de référence, des représentations appariées, des performances stratifiées et des limites explicites de l'ensemble de vérité. Le service est considéré uniquement pour les questions de variantes de codage et les spécimens appariés au projet. Examinez les recommandations de benchmarking des variantes. |
| Un modèle de séquence régulatrice nécessite des étiquettes de accessibilité de la chromatine mesurées dans un contexte cellulaire pertinent. | ATAC-seq | DART-Eval a utilisé des mesures d'accessibilité et des tâches réglementaires biologiquement significatives pour tester si des représentations complexes de l'ADN surpassent des bases de référence supervisées appropriées. Examinez le benchmark DART-Eval. |
| Un modèle de réponse composite a été évalué uniquement sur des composés ou des doses observés pendant le développement. | Drug-seq | Ye et al. ont démontré des profils de perturbation à l'échelle du transcriptome à travers 433 composés et huit doses, fournissant une base directe pour concevoir des défis de composés, de doses ou de mécanismes non utilisés. Examinez l'étude DRUG-seq. |
| Un modèle de classement des cibles ou de perturbation manque de preuves fonctionnelles pour les régulateurs prédits. | Séquençage de criblage CRISPR | Des benchmarks récents de perturbation à cellule unique séparent la généralisation du contexte cellulaire et de la perturbation, et comparent des méthodes complexes avec plusieurs métriques et des bases simples. Examinez le benchmark de réponse aux perturbations. |
| Un modèle d'état cellulaire ou de réponse n'a pas été testé chez de nouveaux donneurs, types cellulaires ou contextes de perturbation. | Séquençage d'ARN à cellule unique | Wei et al. ont évalué la prédiction de perturbations généralisables à travers des ensembles de données et des contextes hors distribution, montrant pourquoi le contexte biologique retenu doit être défini explicitement. Lisez le design de l'étude et les résultats. |
| Un modèle spatial n'a été testé que sur un seul tissu, une seule section, une seule plateforme ou un seul étalon simulé. | Séquençage de transcriptome spatial 10x | Yuan et al. ont évalué 13 méthodes de regroupement spatial sur 34 ensembles de données spatiales et d'autres ensembles de données difficiles en utilisant la précision, la continuité, la détection de marqueurs, l'évolutivité et la robustesse. Examinez l'étude de référence spatiale. |
Ce sont des voies de preuves conditionnelles, pas un package standard. D'autres mesures peuvent être plus appropriées pour un modèle spécifique. Nous recommandons un essai uniquement après que l'audit précise quelle revendication il testera, ce qui reste verrouillé, comment les échantillons seront séparés et quel résultat changerait la décision du client.
Un flux de travail préservant les preuves, de l'admission à la carte du modèle
Le flux de travail maintient la reproduction, l'audit, la réparation et les tests indépendants clairement séparés.
| Étape | Ce que nous faisons | Porte de décision |
|---|---|---|
| 1. Définir la revendication | Verrouillez la cible de prédiction, l'unité d'évaluation, le cadre de recherche prévu, les informations disponibles au moment de la prédiction et ce qui constitue un succès ou un échec. | La revendication demandée est-elle testable avec les preuves disponibles ? |
| 2. Reproduire le modèle | Reconstruire les versions de données, l'environnement, le prétraitement, l'ajustement du modèle, les seuils, les affectations de plis et les résultats rapportés. | Le résultat original peut-il être reproduit suffisamment fidèlement pour un audit ? |
| 3. Limites des preuves d'audit | Trace de fuite, chevauchement, dépendance, confusion et réutilisation de la sélection de modèle. Construire des groupes corrigés ou des divisions sensibles au temps. | La partition originale reste-t-elle interprétable ? |
| 4. Effectuer des benchmarks équitables | Évaluez des baselines simples et standard de tâche, effectuez une validation imbriquée si nécessaire, et rapportez l'incertitude en utilisant des divisions communes. | La complexité ajoute-t-elle une valeur répétable ? |
| 5. Tester le comportement et le transfert | Évaluer la calibration, les seuils, la stabilité des caractéristiques, le comportement des sous-groupes, le changement et la performance de la cohorte non touchée. | Où le modèle fonctionne-t-il, s'affaiblit-il ou échoue-t-il ? |
| 6. Réparer les preuves si justifié | Révisez le pipeline ou ajoutez un benchmark expérimental ciblé. Les données de réparation restent des preuves de développement ; les tests finaux restent inchangés. | Un autre test indépendant est-il nécessaire ? |
| 7. Livrer la carte du modèle | Utilisation prévue du document, données, protocole d'évaluation, résultats, limitations, limites d'utilisation et prochaine étude. | Allez, révisez, limitez, collectez des preuves ou arrêtez. |
Que fournir pour un audit indépendant
Le meilleur audit commence par une traçabilité au niveau des prédictions, et pas seulement par un fichier de modèle enregistré.
| Catégorie d'entrée | Matériaux préférés | Pourquoi c'est important |
|---|---|---|
| Question de recherche | Cible verrouillée, utilisation prévue, unité d'évaluation, population prévue ou contexte expérimental, et seuil de décision s'il est utilisé. | Détermine la bonne répartition, la métrique, la référence et le test externe. |
| Données et métadonnées | Matrices brutes ou traitées, identifiants d'échantillons, étiquettes, identifiants de donneurs ou de sujets, relations de réplicats, centre, lot, plateforme, temps, traitement et enregistrements d'exclusion. | Prend en charge les chevauchements, la dépendance, les confusions et les audits de décalage. |
| Pipeline | Code, carnets, fichiers de flux de travail, configuration, environnement ou conteneur, versions de paquets, graines et instructions d'exécution. | Permet de reconstruire le résultat et de localiser chaque étape apprise. |
| Artéfacts de modèle | Modèle ajusté, liste des caractéristiques, transformations, seuils sélectionnés, objet de calibration et version du modèle. | Connecte les prédictions finales au modèle exact en cours d'examen. |
| Dossiers d'évaluation | Manifests d'entraînement, de validation et de test ; affectations de plis ; historique de réglage ; fichiers de prédiction ; code métrique ; chiffres de référence antérieurs. | Révèle la réutilisation de la sélection de modèle et permet le recalcul des scores. |
| Preuves externes | Cohorte interne ou partenaire non touchée, ensembles de données publiques éligibles, documents de référence ou biospécimens stockés. | Détermine si la transférabilité peut être testée sans générer de nouvelles données. |
| Contraintes d'accès | Conditions d'utilisation des données, exigences de calcul sécurisé, sorties autorisées et restrictions sur le code ou le modèle. | Définit ce qui peut être inspecté et le niveau de preuve résultant. |
Des audits partiels sont possibles lorsque certains artefacts ne sont pas disponibles. Nous indiquons quelles conclusions restent soutenables et quels risques ne peuvent pas être écartés. Les quantités de biospécimens et les exigences d'analyse ne sont spécifiées qu'après que l'écart de preuve du modèle et le design expérimental ont été convenus ; elles ne sont pas déduites de la page.
Livrables pour une décision d'Aller, Réviser, Restreindre ou Arrêter
Le rapport est conçu pour l'action par des data scientists, des biologistes et des responsables de programme.
Audit des preuves
- Provenance des données et des modèles
- Résultats de reproductibilité
- Carte de fuite et de dépendance
- Justification de la répartition et des mesures
- Composants non vérifiables
Résultats de référence
- Lignes de base simples et standardisées pour les tâches
- Validation imbriquée ou groupée
- Incertitude et sensibilité
- Calibration et stabilité
- Résultats des cohortes et des sous-groupes
Paquet de décision
- Carte de modèle
- Limite d'utilisation observée
- Analyse des défaillances
- Options de réparation
- Nouveau plan d'expérience ou de cohorte
Nous distinguons cinq résultats : conserver le modèle pour l'utilisation de recherche testée ; réviser le pipeline et retester ; restreindre l'utilisation aux cohortes ou résultats pris en charge ; générer une nouvelle référence ; ou cesser d'utiliser le modèle pour la revendication proposée. Un résultat négatif est retenu lorsqu'il s'agit de la conclusion la plus défendable.
Les cartes de modèle ont été proposées pour documenter les usages prévus, les conditions d'évaluation, les caractéristiques de performance et les limitations. Nous adaptons cette idée à la recherche en omique en ajoutant le contexte des tests, la provenance des cohortes, la disponibilité des caractéristiques, les dépendances expérimentales et la limite de transfert biologique observée. Lisez le cadre de la carte du modèle.
Références
- Mangul S, Martin LS, Hill BL, et al. Évaluation systématique des outils informatiques en omique. Communications Nature. 2019.
- Ambroise C, McLachlan GJ. Biais de sélection dans l'extraction de gènes sur la base de données d'expression génique par microarray. Actes de l'Académie nationale des sciences. 2002.
- Varma S, Simon R. Biais dans l'estimation de l'erreur lors de l'utilisation de la validation croisée pour la sélection de modèles. BMC Bioinformatique. 2006.
- Cawley GC, Talbot NLC. Sur le surajustement dans la sélection de modèles et le biais de sélection subséquent dans l'évaluation des performances. Journal de la recherche sur l'apprentissage automatique. 2010.
- Whalen S, Schreiber J, Noble WS, Pollard KS. Naviguer dans les pièges de l'application de l'apprentissage automatique en génomique. Nature Reviews Génétique. 2022.
- Van Calster B, McLernon DJ, van Smeden M, Wynants L, Steyerberg EW. Calibration : le talon d'Achille de l'analyse prédictive. BMC Médecine. 2019.
- Nogueira S, Sechidis K, Brown G. Sur la stabilité des algorithmes de sélection de caractéristiques. Journal de la recherche sur l'apprentissage automatique2018.
- Rosenblatt M, Tejavibulya L, Jiang R, Noble S, Scheinost D. La fuite de données gonfle les performances de prédiction dans les modèles d'apprentissage automatique basés sur le connectome. Communications Nature. 2024.
- Mitchell M, Wu S, Zaldivar A, et al. Cartes de modèle pour le reporting des modèles. Actes de la Conférence sur l'Équité, la Responsabilité et la Transparence. 2019.
- Zook JM, Salit M. Meilleures pratiques pour l'évaluation des appels de petites variantes germinales dans les génomes humains. Biotechnologie de la Nature. 2019.
- Ye C, Ho DJ, Neri M, et al. DRUG-seq pour le profilage transcriptomique miniaturisé à haut débit dans la découverte de médicaments. Communications Nature. 2018.
- Wei Z, Wang Y, Gao Y, et al. Algorithmes de référence pour la prédiction généralisable de la réponse aux perturbations à l'échelle de la cellule unique. Méthodes de la nature. 2026.
- Yuan Z, Zhao F, Lin S, et al. Évaluation des méthodes de clustering spatial avec des données de transcriptomique résolues spatialement. Méthodes de la nature. 2024.
- Monti S, Tamayo P, Mesirov J, Golub T. Clustering par consensus : une méthode basée sur le rééchantillonnage pour la découverte de classes et la visualisation des données d'expression génique issues de microarrays. Apprentissage automatique. 2003.
- Royston P, Altman DG. Validation externe d'un modèle de pronostic de Cox : principes et méthodes. BMC Méthodologie de la recherche médicale. 2013.
- Börnigen D, Tranchevent LC, Bonachela-Capdevila F, et al. Une évaluation impartiale des outils de priorisation des gènes. Bioinformatique. 2012.
Exemple de rapport d'audit du modèle Omics
Le rapport de démonstration compare la réclamation publiée ou interne avec une référence reproductible sous des limites de preuve corrigées. Les résultats restent séparés par pli, cohorte et contexte de recherche.
Un rapport spécifique à un projet peut inclure un diagramme de frontière des preuves, un delta de reproduction, des performances rapportées par rapport aux performances corrigées, une échelle de référence, une distribution de validation croisée imbriquée, une courbe de calibration, un tableau de seuils, la stabilité de la sélection des caractéristiques, des résultats par sous-groupe, une matrice de transfert inter-cohortes et une carte de modèle. L'objectif est de montrer quelle partie de la preuve a changé et pourquoi, et non simplement de remplacer un score par un autre.
FAQ sur l'évaluation et la validation des modèles d'IA Omics
1. Pouvez-vous auditer un modèle si nous n'avons que des prédictions et pas de code source ?
Nous pouvons examiner les fichiers de prédiction, les manifestes divisés, les métriques, la calibration, le comportement des cohortes et la documentation disponible. Nous ne pouvons pas exclure une fuite au niveau du code ni reproduire un prétraitement caché sans les artefacts pertinents, donc le rapport final mentionne cette limitation.
2. Reconstruisez-vous le modèle pendant la validation ?
Nous reproduisons d'abord et auditons le modèle verrouillé. Si une fuite ou un problème d'implémentation est trouvé, la remédiation est considérée comme une étape de développement distincte. Un modèle réparé est réévalué et nécessite un test intact si une validation indépendante est revendiquée.
3. La validation croisée imbriquée est-elle toujours nécessaire ?
Non. Cela est utile lorsque la sélection de caractéristiques, les hyperparamètres, les seuils ou les choix d'algorithmes sont ajustés à l'aide de rééchantillonnage et qu'une estimation de performance interne non biaisée est nécessaire. Un modèle fixe évalué une fois dans une cohorte externe réellement non touchée n'a pas besoin d'une autre boucle d'ajustement.
4. Quel indicateur de performance allez-vous utiliser ?
La métrique suit la sortie et la décision. La classification, la régression, le classement, le temps jusqu'à l'événement, la perturbation et les tâches spatiales nécessitent différentes métriques et références principales. Nous rapportons généralement plusieurs mesures complémentaires et évitons de sélectionner une métrique après avoir vu laquelle semble la meilleure.
5. Un modèle peut-il avoir une bonne discrimination mais une mauvaise calibration ?
Oui. Un modèle peut classer des échantillons dans un ordre utile tout en attribuant des probabilités trop élevées ou trop basses. Si les probabilités ou les seuils soutiennent la décision de recherche, la calibration doit être évaluée dans le contexte pertinent.
6. Comment évaluez-vous l'importance des caractéristiques ?
Nous répétons la sélection de caractéristiques et l'explication dans le cadre du rééchantillonnage, quantifions la sélection et la stabilité des classements, et comparons les directions à travers les plis et les cohortes. L'importance décrit comment le modèle ajusté se comporte ; elle n'établit pas à elle seule qu'une caractéristique cause le résultat biologique.
7. Que se passe-t-il si le modèle échoue dans une cohorte externe ?
Nous conservons le résultat et testons des causes plausibles telles que les différences d'implémentation, les fonctionnalités manquantes, le changement de plateforme, la construction des étiquettes, la prévalence, les effets de centre, la composition de l'échantillon ou un usage biologique réellement plus étroit. Nous ne faisons pas d'ajustement sur la cohorte échouée et la décrivons toujours comme une validation indépendante.
8. Pouvez-vous travailler avec des données publiques ?
Oui, lorsque la provenance, le chevauchement des participants, la couverture des caractéristiques, les étiquettes et les conditions d'utilisation soutiennent le test prévu. Un ensemble de données public utilisé lors du développement du modèle n'est pas un test externe intact.
9. Quand recommandez-vous un nouveau séquençage ou un autre test omique ?
Ce n'est que lorsque l'audit identifie un contexte ou une vérité de référence spécifique manquant que les données existantes ne peuvent pas fournir. La nouvelle étude est conçue autour d'une réclamation verrouillée, d'une unité d'échantillonnage définie, d'une analyse prédéfinie et d'un résultat clair qui changerait la décision.
10. Que contient la carte du modèle ?
Il documente l'utilisation de recherche prévue, le contexte des données et des tests, la version du modèle, les entrées, le protocole d'évaluation, les références, les métriques, l'étalonnage, la stabilité, les résultats spécifiques aux cohortes, les limitations connues, les utilisations non prises en charge et les prochaines preuves requises.
Étude de cas publiée
Mise en lumière de la recherche indépendante
Comment la fuite de caractéristiques a modifié un modèle apparemment prédictif
Cette publication est un exemple de recherche indépendante. Ce n'est pas un projet client de CD Genomics.
Contexte
Rosenblatt et al. ont étudié comment la fuite de données modifie les résultats des apprentissages machine basés sur le connectome. L'étude a couvert quatre ensembles de données publiques, trois phénotypes et plus de 400 pipelines d'analyse. Les problèmes testés comprenaient la sélection de caractéristiques, le prétraitement lié aux covariables, la structure familiale et les sujets répétés.
Méthodes
Les auteurs ont utilisé la régression ridge avec une validation croisée à cinq plis, la sélection de 5 % des caractéristiques et une recherche par grille pour le paramètre de régularisation. Leur pipeline de référence contrôlé pour les fuites a effectué une régression des covariables, une correction par site et une sélection des caractéristiques à l'intérieur de la validation croisée, tandis que la construction des divisions tenait compte de la structure familiale. La figure 3 a comparé la sélection des caractéristiques effectuée correctement à l'intérieur des plis avec la sélection des caractéristiques effectuée sur les données d'entraînement et de test combinées.
Résultats
Pour la prédiction des problèmes d'attention dans le jeu de données HCPD, le pipeline contrôlé pour les fuites était au niveau du hasard avec une médiane r = 0,01 et q.2 = −0,13. La sélection de caractéristiques par fuite a modifié le résultat rapporté à r = 0,48 et q2 = 0,22, correspondant à Δr = 0,47 et Δq2 = 0,35. L'étude a également révélé que 20 % des fuites de sujets répétés ont gonflé les performances à travers les ensembles de données et les phénotypes, bien que l'ampleur du changement dépende de la tâche.
Pourquoi c'est important
L'algorithme, le phénotype et les données sous-jacentes peuvent rester les mêmes tandis qu'une étape de sélection de caractéristiques mal placée change la conclusion apparente. L'étude a également montré que la fuite n'inflation pas toujours chaque métrique ; certaines fuites liées aux covariables ont réduit la performance. Un audit doit donc reconstruire chaque frontière et mesurer son effet plutôt que de supposer une correction universelle.
Conclusion
La figure 3 fournit un exemple concret de pourquoi la sélection de caractéristiques doit se faire à l'intérieur de la boucle de rééchantillonnage. Un score corrigé n'est pas une pénalité appliquée au résultat original. C'est une estimation différente et plus défendable de la performance sur des données non vues.
Note en libre accès : L'article est sous licence Creative Commons Attribution 4.0 International. Cette page décrit l'étude vérifiée et la Figure 3 sans reproduire la figure.
Référence
- Rosenblatt M, Tejavibulya L, Jiang R, Noble S, Scheinost D. La fuite de données gonfle les performances de prédiction dans les modèles d'apprentissage automatique basés sur le connectome. Communications Nature. 2024.
Publications Sélectionnées
Ces publications indépendantes fournissent la base méthodologique et expérimentale pour cette solution. Elles ne sont pas présentées comme des projets clients de CD Genomics.
- Mangul S, Martin LS, Hill BL, et al. Évaluation systématique des outils informatiques en omique. Communications Nature. 2019.
- Ambroise C, McLachlan GJ. Biais de sélection dans l'extraction de gènes sur la base de données d'expression génique par microarray. Actes de l'Académie nationale des sciences. 2002.
- Varma S, Simon R. Biais dans l'estimation de l'erreur lors de l'utilisation de la validation croisée pour la sélection de modèle. BMC Bioinformatique2006.
- Cawley GC, Talbot NLC. Sur l'overfitting dans la sélection de modèles et le biais de sélection subséquent dans l'évaluation des performances. Journal de la recherche sur l'apprentissage automatique. 2010.
- Whalen S, Schreiber J, Noble WS, Pollard KS. Naviguer dans les pièges de l'application de l'apprentissage automatique en génomique. Nature Reviews Génétique. 2022.
- Van Calster B, McLernon DJ, van Smeden M, Wynants L, Steyerberg EW. Calibration : le talon d'Achille de l'analyse prédictive. BMC Médecine. 2019.
- Nogueira S, Sechidis K, Brown G. Sur la stabilité des algorithmes de sélection de caractéristiques. Journal de la recherche sur l'apprentissage automatique. 2018.
- Rosenblatt M, Tejavibulya L, Jiang R, Noble S, Scheinost D. La fuite de données gonfle les performances de prédiction dans les modèles d'apprentissage automatique basés sur le connectome. Communications Nature. 2024.
- Mitchell M, Wu S, Zaldivar A, et al. Cartes de modèle pour le reporting de modèle. Actes de la Conférence sur l'Équité, la Responsabilité et la Transparence. 2019.
- Zook JM, Salit M. Meilleures pratiques pour l'évaluation des appels de petites variantes germinales dans les génomes humains. Biotechnologie de la Nature. 2019.
- Ye C, Ho DJ, Neri M, et al. DRUG-seq pour un profilage transcriptomique miniaturisé à haut débit dans la découverte de médicaments. Communications Nature. 2018.
- Wei Z, Wang Y, Gao Y, et al. Algorithmes de référence pour la prédiction généralisable de la réponse aux perturbations à l'échelle de la cellule unique. Méthodes de la nature. 2026.
- Yuan Z, Zhao F, Lin S, et al. Évaluation des méthodes de clustering spatial avec des données de transcriptomique résolue spatialement. Méthodes de la Nature. 2024.
- Monti S, Tamayo P, Mesirov J, Golub T. Clustering par consensus : une méthode basée sur le rééchantillonnage pour la découverte de classes et la visualisation des données d'expression génique des microarrays. Apprentissage automatique2003.
- Royston P, Altman DG. Validation externe d'un modèle de pronostic de Cox : principes et méthodes. BMC Méthodologie de la recherche médicale. 2013.
- Börnigen D, Tranchevent LC, Bonachela-Capdevila F, et al. Une évaluation impartiale des outils de priorisation des gènes. Bioinformatique. 2012.
