ALPE74140

Si on notait sur 20 les résultats des pays participant à Pisa, la Corée et la Finlande auraient 11 et le Mexique 8,7. C'est cette présentation, qui relativise les résultats de Pisa, que Bruno Suchaut, chercheur associé à l'IREDU et directeur de l'URSP, présente en exclusivité aux lecteurs du Café pédagogique. Mais peut-on relativiser Pisa ? L'enquête internationale de l'OCDE a une influence politique réelle. En France, les résultats de PISA sont régulièrement utilisés par V. Peillon et G. Pau-Langevin pour justifier la refondation de l'Ecole. En relativisant le classement entre les Etats, Bruno Suchaut ne remet pas en question la qualité du travail de l'OCDE. Il pointe le vrai écart : les écarts de performance à l'intérieur de chaque pays. Car c'est bien au sein de chaque contexte national que l'on peut agir.

"La significativité des différences est toujours centrale en statistiques inférentielles et tient au fait que les données concernent des échantillons d’individus et non pas des populations entières". Ce rappel aux réalités statistiques ouvre l'exposé de Bruno Suchaut. "L’interprétation des scores pose aussi la question de l’échelle de mesure choisie par les concepteurs du programme PISA pour chiffrer le niveau de compétences des élèves". Pisa fixe la moyenne des scores des élèves à 500 avec un écart type de 100. Or les deux tiers des élèves se situent à plus ou moins un écart type. Sur les 34 pays de l'OCDE, 22 ont un score compris entre 480 et 520. C'est dire que les écarts sont faibles et le classement, largement médiatisé, pas toujours significatif.

Traduire Pisa dans la notation sur 20

Pour rendre plus concrète cette réalité, Bruno Suchaut propose de la traduire dans trois systèmes de notation : français, belge et suisse. Si les pays de Pisa étaient notés sur 20, le plus mauvais résultat, le Mexique, aurait 8,7 et le premier de la classe (Corée, Finlande) n'aurait que 11. "L’impression qui se dégage de la lecture du tableau et des graphiques est bien le caractère relatif des différences de performances entre les pays", affirme B. Suchaut. "La Finlande (score de 536 à PISA), très souvent citée en exemple pour la qualité de son système éducatif est, comme la Corée, distante de la France (score de 496) de seulement  0,9 points". Or "on voit bien ainsi que de dire par exemple que la France est classée au 18ème rang sur les 34 pays de l’OCDE n’invite pas aux mêmes commentaires que de dire que le premier pays du classement ne dépasse la France que de 0,9 points sur une échelle de 0 à 20."

Plus que le classement international, les écarts nationaux

Pour Bruno Suchaut, plus que se focaliser sur le classement, il faut observer les écarts à l'intérieur de chaque pays. "C’est donc surtout la variabilité des performances entre les élèves qui apparaît importante dans une telle enquête". Et c'est là où se dégage une spécificité française. "Dans l’échelle de notation française, l’écart moyen entre les élèves est de 1,9 points alors que l’écart moyen entre les pays est seulement de 0,47 points". Si l'on classe les élèves par niveau de compétence en compréhension de l'écrit, "au niveau de l’OCDE, on relève en 2009 5,7% d’élèves très faibles (niveau 1b et inférieur à 1b) alors que cette proportion est de 7,9% pour la France (pour mémoire, cette proportion n’était que de 6% en 2000)". Le facteur social joue un rôle particulier en France : "cet impact du milieu social est de 51 points dans l’échelle de PISA, soit 1 point dans l’échelle de notation français (de 0 à 20), ce qui est du même ordre que l’écart de performances moyennes entre le Portugal (22ème dans le classement) et la Finlande (2ème du classement)."

Recadrer l'action politique

"Malgré les précautions prises dans les diverses publications de l’OCDE et celles des responsables des consortiums PISA, les écarts de scores entre les pays sont très souvent surestimés dans les commentaires réalisés par les médias et les conclusions qui en découlent peuvent être erronées", écrit Bruno Suchaut. "Notre démarche ne remet nullement en cause l’intérêt du programme PISA pour les politiques éducatives mais permet de mettre surtout l’accent sur les différences de performances entre les élèves plutôt que sur les écarts entre pays. Cela permet aussi de souligner que la vraie marge d’action se situe au sein de chaque contexte national pour notamment réduire les écarts entre les élèves et permettre au plus grand nombre d’entre eux, et quelles que soient leurs caractéristiques, d’atteindre un niveau de compétences suffisant pour la suite de leur scolarité et, plus largement, pour leur insertion sociale et professionnelle". C'est bien là qu'est l'enjeu des politiques publiques.

François Jarraud

Lire l'intégralité de l'article de Bruno Suchaut