ALPE74140

Ancien secrétaire général du Haut Conseil à l'évaluation de l'école et sous directeur à l'évaluation au Ministère de l'éducation nationale, Jean-Claude Emin revient sur le rapport du HCE sur les indicateurs d'évaluation du système éducatif. Pour lui, si les évaluations de CE1 et CM2 sont "dangereuses", il n'est nul besoin d'un organisme extérieur au ministère pour obtenir des évaluations fiables. Il faut que les politiques en acceptent le risque...

Le rapport du HCE est très critique sur les indicateurs de la LOLF et sur les évaluations CE1 - CM2. Peut-on vraiment parler d'indicateurs "trompeurs" ?

Il me semble tout d’abord qu’il faut se réjouir que le HCE pose la question de l’évaluation des acquis des élèves.

Il le fait au nom d’un principe général : la politique éducative, comme « toute politique publique doit faire l’objet d’une évaluation transparente et objective » ; et il examine l’application de ce principe général à une question qu’il estime – à juste titre - essentielle : dispose-t-on d’un indicateur permettant de juger de l’efficacité de notre système éducatif au regard de l’objectif ambitieux d’une maîtrise du socle commun par tous les élèves, à la fin de la scolarité obligatoire ? Ce double souci, général et particulier, le conduit à examiner les indicateurs disponibles, à la fois, du point de vue de leur qualité méthodologique (donnent-ils une évaluation transparente et objective de ce qu’ils prétendent apprécier ?) et du point de vue de leur pertinence quant à l’objectif retenu (rendent-ils compte de la maîtrise du socle commun ?).

S’agissant des indicateurs LOLF (ceux qui prétendent rendre compte de l’atteinte des « compétences de base »), le HCE les estime « trompeurs quant à la maîtrise du socle commun ». C’est donc leur pertinence au regard de l’objectif qui est mise en doute (ils sont partiels et trop peu exigeants) et non pas leur qualité scientifique. Ce serait d’ailleurs contradictoire avec le jugement porté plus loin par le HCE sur les indicateurs CEDRE, puisque les uns et les autres sont élaborés par la Direction de l’Évaluation de la Prospective et de la Performance du ministère (la DEPP), selon la même méthodologie, celle utilisée par ailleurs pour les  évaluations internationales. Le Haut Conseil a raison sur le caractère partiel de cet indicateur (élaboré avant que le contenu précis des objectifs du socle ait été arrêté), ce que reconnaissent les experts de la DEPP qui l’élaborent .

En revanche, c’est d’abord « pour des raisons de méthode » que le HCE ne juge pas fiables les indicateurs tirés des évaluations nationales des trois paliers du socle commun. Inutile d’insister : les critiques du HCE rejoignent celles développées, depuis l’origine, sur les évaluations CE1 et CM2 mises en place par la Direction Générale de l’Enseignement Scolaire (DGESCO), et ceci, tant par les experts, que par les enseignants et leurs organisations représentatives. À mon sens, ces évaluations sont non seulement pas fiables, mais elles sont aussi dangereuses, au moins pour deux raisons : elles ont privé les enseignants des évaluations diagnostiques CE2-6ème qui s’efforçaient de leur donner des atouts pour aider les élèves dans leurs apprentissages, et elles incitent à la concurrence entre enseignants, écoles et établissements, voire à la fraude. Quant aux attestations de maîtrise du socle, le HCE insiste à juste titre sur leur caractère « flou », dû notamment à des pratiques variables qui ne sont ni contrôlées, ni harmonisées. Plus fondamentalement, il rappelle et préconise « de séparer clairement les évaluations que les enseignants doivent faire régulièrement de leur propres élèves de celles qui doivent servir de base au pilotage national de notre système éducatif ».ce que l’on sait depuis longtemps ».

Le satisfecit méthodologique délivré par le HCE aux indicateurs CEDRE élaborés par la DEPP dans différents champs disciplinaires est incontestablement un hommage rendu aux « professionnels de l’évaluation » qui savent assurer fiabilité et comparabilité dans le temps aux indicateurs qu’ils produisent. Le fait que le HCE souligne que ces « indicateurs, publiés régulièrement, sont très peu commentés et donc assez largement méconnus » peut, voire doit, être interprété comme un reproche à l’égard des responsables de la politique éducative qui préfèrent commenter les indicateurs tirés des évaluations nationales des trois paliers du socle commun et se féliciter de progrès dont la fiabilité est plus que douteuse.

Le ministère de l'éducation nationale est-il capable de publier des données fiables ? A quelles conditions ?

Il est très certainement capable de les élaborer ; dans une large mesure, le HCE indique la piste à suivre en évoquant deux évolutions souhaitables des indicateurs CEDRE : d’une part, ils devraient être établis pour chacune des disciplines et chacune des compétences qui contribuent à l’acquisition du socle commun et d’autre part, leur dispositif devrait prendre en compte la règle de « non-compensation » qui exige que toutes les compétences doivent être validées pour pouvoir attester de la maîtrise du socle commun. C’est méthodologiquement possible pour les « professionnels » de la DEPP.

Mais le Ministère est-il capable de les publier ? La question est politique, encore faudrait-il que les responsables politiques en passent explicitement commande à la DEPP et acceptent, «  à leurs risques et périls », que leur politique fasse l’objet de « l’évaluation transparente et objective » que le HCE appelle de ses vœux.

Faut-il alors préférer une évaluation externe indépendante ? Et celle-ci est-elle possible dans un pays centralisé comme la France ?

Pour « que, dans notre démocratie, les données concernant les résultats de notre système éducatif soient objectives et transparentes, donc incontestables », le HCE propose d’en confier l’élaboration à une « agence d’évaluation indépendante », évoquant ainsi une idée qui revient périodiquement : il suffirait de confier l‘évaluation de notre système éducatif à une agence extérieure au ministère pour qu’elle soit fiable.

Mais une externalisation offrirait-elle une garantie absolue d’indépendance ?

Pour ma part, la vraie question est moins celle du rattachement institutionnel de l’instance d’évaluation (au Ministère ou ailleurs, mais où ?) que celle des conditions à réunir pour garantir l’indépendance – je préfère parler d’autonomie scientifique et politique - de cette instance d’évaluation :

- un programme de travail public et élaboré de façon transparente avec un comité scientifique indépendant ;

- la liberté de publication et de diffusion ;

- l’accès au système d’information du ministère ;

- le respect de la déontologie de la statistique publique, sous l’égide du Conseil National de l’Information Statistique ; (le CNIS) ;

- le fait d’être opérateur des enquêtes et évaluations internationales, et

- les moyens d’organiser synthèse et cumulativité des travaux conduits dans le domaine de l’éducation en lien avec l’ensemble du milieu de la recherche en éducation.

C’est bien une question politique plus qu’une question de lieu.

Évaluer le système éducatif est devenu un objectif central pour de nombreux pays développés. Est-il vraiment possible d'évaluer l'efficacité d'un système éducatif, voire sa "productivité" ?

Je n’aime pas beaucoup le terme de "productivité" appliqué à l’éducation, mais, oui, il faut se poser la question de l’efficacité. Et se la poser non pas tant pour se féliciter ou se flageller, mais pour agir. En elle-même, l’évaluation n’apportera jamais de solutions, mais elle doit permettre de poser des questions, de cerner les points forts et les points faibles, et d’élaborer des pistes d’amélioration.

Le pilotage par l'évaluation a ses risques. Pour un pays qui a un système éducatif déjà porteur d'inéquité, ce pilotage ne risque-t-il pas de creuser encore davantage le fossé entre établissements ? D’ailleurs pourquoi le ministère ne participe-t-il pas à PISA sur cette question ?

Ce n’est pas tant le pilotage par l’évaluation (ou par les résultats) qui est risqué, que le pilotage par de mauvais indicateurs, surtout si ces indicateurs sont confondus avec les résultats, comme le craignait Philippe Séguin. Des indicateurs comme ceux tirés des évaluations de CE1 et CM2 ont sans doute plus pour objectif d’éviter les risques d’une évaluation transparente et objective que de piloter le système.

Et c’est l’usage effectif des évaluations qui est décisif : la même évaluation des établissements peut servir à les mettre en concurrence dans un contexte de libéralisation de la carte scolaire et de libre choix des établissements par ceux qui en ont les moyens, ou bien à déterminer quels sont les établissements qui ont le plus besoin d’aide et de moyens pour améliorer leurs résultats et contribuer ainsi à l’amélioration des résultats de l’ensemble du système éducatif.

Quant à PISA, la France refuse effectivement de voir mettre en rapport les résultats des élèves de 15 ans, ceux qui sont interrogés par cette enquête, avec des caractéristiques des établissements qu’ils fréquentent parce que cette mise en rapport ne serait pas pertinente. La raison en a déjà été donnée à plusieurs reprises. Rappelons-la encore une fois : dans le système scolaire français, où les redoublements sont très fréquents, les élèves de 15 ans se répartissent à proportion d’environ un tiers /deux tiers, entre collèges et lycées selon qu’ils sont en retard ou à l’heure. Les élèves de 15 ans au lycée n’ont pas connu de difficulté particulière au cours de leur scolarité. En revanche, les élèves de 15 ans au collège ont tous redoublé au moins une fois ; ils ont été en échec scolaire à un moment ou un autre de leur cursus et obtiennent en règle générale des résultats aux évaluations PISA nettement inférieurs à ceux des élèves de lycée.

Or, les collèges et les « lycées » sont organisés de manière très différente, que ce soit par la taille, le taux d’encadrement, le nombre d’élèves par classe, etc. La mise en relation des résultats des élèves l'année de leurs 15 ans et des caractéristiques des établissements scolaires qu'ils fréquentent au cours de cette année peut donc conduire à des interprétations erronées : par exemple, si l’on établit le lien entre la taille des classes et les résultats des élèves aux évaluations PISA, on aboutit à la conclusion que plus la taille de la classe est grande, meilleurs sont les résultats des élèves. Il s’agit là d’un effet de structure dû aux faits que les classes sont plus grandes dans les lycées que dans les collèges et que les élèves de 15 ans des collèges sont moins performants pour les raisons expliquées plus haut, mais absolument pas d’une relation causale sur laquelle on peut envisager de fonder une politique éducative.

Jean-Claude Emin

Propos recueillis par François Jarraud