# Évaluer un modèle : séparer par scénario

Définir ce qui doit rester vraiment inédit, isoler les groupes et empêcher le prétraitement de voir le jeu de test.

https://elmehdi-essamit.me/notes/evaluer-sans-fuite/

## Définir ce qui doit être nouveau

Un score doit répondre à une question précise. Prédit-on une nouvelle observation d’un scénario connu, ou un scénario qui n’a jamais été vu ? Ces deux objectifs n’appellent pas nécessairement la même séparation des données.

Pour un jeu de simulations de réseaux, je commencerais par identifier ce qui relie les lignes : scénario, topologie, paramètres communs, ou instant. C’est une proposition de méthode, pas un résultat chiffré de Cascade-GNN.

## Séparer au bon niveau

Si plusieurs observations partagent un groupe, une séparation par groupes évite que ce même groupe soit présent des deux côtés. GroupKFold convient à la validation croisée par groupes ; GroupShuffleSplit permet des séparations aléatoires par groupes. Le choix du groupe dépend de la question étudiée.

[scikit-learn · Cross-validation with grouped data](https://scikit-learn.org/stable/modules/cross_validation.html#cross-validation-iterators-for-grouped-data)

- Documenter la clé de groupe et conserver la liste des identifiants de chaque partition.
- Vérifier explicitement que l’intersection des groupes d’entraînement et de test est vide.
- Si la question porte sur le futur, vérifier aussi l’ordre temporel : une séparation par groupes ne suffit pas à elle seule.

## Apprendre les transformations sur l’entraînement

Normalisation, imputation et sélection de variables doivent être apprises sur les données d’entraînement. Une Pipeline associe ces étapes au modèle et aide à éviter les fuites pendant la validation croisée. Elle ne corrige pas une mauvaise définition des groupes ni une variable qui contient déjà la réponse.

[scikit-learn · Common pitfalls and data leakage](https://scikit-learn.org/stable/common_pitfalls.html#data-leakage)

## Rendre le résultat vérifiable

Avant de publier une performance, préparer un petit dossier : version des données, règle de séparation, référence simple, métriques par classe et limites connues. Conserver la configuration et la version du code avec chaque exécution.

Dans mon portfolio, Cascade-GNN reste présenté comme un prototype. Les chiffres de validation ne sont pas affichés tant que le protocole et le rapport ne sont pas consolidés.

