Note technique

Évaluer un modèle : séparer par scénario

Définir ce qui doit rester vraiment inédit, isoler les groupes et empêcher le prétraitement de voir le jeu de test.

Type
Note technique
Projet
Cascade-GNN
Statut
Méthode documentée
Révisé
2026-11-15
Lecture
4 min
Langue
FR
Markdown
Dans ce document
  1. Définir ce qui doit être nouveau
  2. Séparer au bon niveau
  3. Apprendre les transformations sur l’entraînement
  4. Rendre le résultat vérifiable

Définir ce qui doit être nouveau#

Un score doit répondre à une question précise. Prédit-on une nouvelle observation d’un scénario connu, ou un scénario qui n’a jamais été vu ? Ces deux objectifs n’appellent pas nécessairement la même séparation des données.

Pour un jeu de simulations de réseaux, je commencerais par identifier ce qui relie les lignes : scénario, topologie, paramètres communs, ou instant. C’est une proposition de méthode, pas un résultat chiffré de Cascade-GNN.

Séparer au bon niveau#

Si plusieurs observations partagent un groupe, une séparation par groupes évite que ce même groupe soit présent des deux côtés. GroupKFold convient à la validation croisée par groupes ; GroupShuffleSplit permet des séparations aléatoires par groupes. Le choix du groupe dépend de la question étudiée.

scikit-learn · Cross-validation with grouped data
  • Documenter la clé de groupe et conserver la liste des identifiants de chaque partition.
  • Vérifier explicitement que l’intersection des groupes d’entraînement et de test est vide.
  • Si la question porte sur le futur, vérifier aussi l’ordre temporel : une séparation par groupes ne suffit pas à elle seule.

Apprendre les transformations sur l’entraînement#

Normalisation, imputation et sélection de variables doivent être apprises sur les données d’entraînement. Une Pipeline associe ces étapes au modèle et aide à éviter les fuites pendant la validation croisée. Elle ne corrige pas une mauvaise définition des groupes ni une variable qui contient déjà la réponse.

scikit-learn · Common pitfalls and data leakage

Rendre le résultat vérifiable#

Avant de publier une performance, préparer un petit dossier : version des données, règle de séparation, référence simple, métriques par classe et limites connues. Conserver la configuration et la version du code avec chaque exécution.

Dans mon portfolio, Cascade-GNN reste présenté comme un prototype. Les chiffres de validation ne sont pas affichés tant que le protocole et le rapport ne sont pas consolidés.

EN 60 SECONDES

Elmehdi Essamit

Je conçois des systèmes complets, du capteur ESP32 au solveur de réseau, et je valide chaque résultat contre une référence.

Profil
Élève-ingénieur, 1ʳᵉ année · EHTP
Recherche
Stage d’initiation · 1 à 2 mois
Période
Été 2027
Mobilité
Maroc ou international
Langues
Arabe · Français · Anglais
Télécharger le CVessamit.elmehdi@proton.meLinkedInPage recruteurs complète

Rechercher dans le portfolio