Note technique
Évaluer un modèle : séparer par scénario
Définir ce qui doit rester vraiment inédit, isoler les groupes et empêcher le prétraitement de voir le jeu de test.
Dans ce document
Définir ce qui doit être nouveau#
Un score doit répondre à une question précise. Prédit-on une nouvelle observation d’un scénario connu, ou un scénario qui n’a jamais été vu ? Ces deux objectifs n’appellent pas nécessairement la même séparation des données.
Pour un jeu de simulations de réseaux, je commencerais par identifier ce qui relie les lignes : scénario, topologie, paramètres communs, ou instant. C’est une proposition de méthode, pas un résultat chiffré de Cascade-GNN.
Séparer au bon niveau#
Si plusieurs observations partagent un groupe, une séparation par groupes évite que ce même groupe soit présent des deux côtés. GroupKFold convient à la validation croisée par groupes ; GroupShuffleSplit permet des séparations aléatoires par groupes. Le choix du groupe dépend de la question étudiée.
scikit-learn · Cross-validation with grouped data- Documenter la clé de groupe et conserver la liste des identifiants de chaque partition.
- Vérifier explicitement que l’intersection des groupes d’entraînement et de test est vide.
- Si la question porte sur le futur, vérifier aussi l’ordre temporel : une séparation par groupes ne suffit pas à elle seule.
Apprendre les transformations sur l’entraînement#
Normalisation, imputation et sélection de variables doivent être apprises sur les données d’entraînement. Une Pipeline associe ces étapes au modèle et aide à éviter les fuites pendant la validation croisée. Elle ne corrige pas une mauvaise définition des groupes ni une variable qui contient déjà la réponse.
scikit-learn · Common pitfalls and data leakageRendre le résultat vérifiable#
Avant de publier une performance, préparer un petit dossier : version des données, règle de séparation, référence simple, métriques par classe et limites connues. Conserver la configuration et la version du code avec chaque exécution.
Dans mon portfolio, Cascade-GNN reste présenté comme un prototype. Les chiffres de validation ne sont pas affichés tant que le protocole et le rapport ne sont pas consolidés.