Que faut-il savoir sur les enquêtes PISA et TIMSS ? Ont-elles les mêmes objectifs ? Quels sont les éléments comparables de ces deux évaluations ? Le Cnesco propose une présentation générale des deux enquêtes.

Les enquêtes internationales sur les acquis des élèves sont bien antérieures à l’arrivée de PISA dans les années 2000. C’est dans le contexte de la guerre froide et de la course pour la conquête de l’espace que se livrent, dans les années 1960, les Etats-Unis et l’URSS que l’ancêtre de PISA voit le jour.

Les années 1960 marquent un tournant important dans la conception des enquêtes internationales. La qualité des apprentissages devient une donnée importante que les évaluateurs cherchent à mesurer. Un projet pilote, développé par des chercheurs, vise à créer un « laboratoire géant » qui permettrait de mettre en évidence les pratiques pédagogiques les plus efficaces. C’est ce qui se passe dans la classe, l’activité de l’enseignant et les résultats des élèves qui intéressent alors les chercheurs. Paradoxalement, ce sont la guerre froide et la course pour la conquête de l’espace qui vont permettre à ces chercheurs de trouver le financement de cette première enquête internationale. Les Soviétiques ayant réussi à lancer le premier satellite, Spoutnik, en 1957, les Américains veulent savoir si leur système éducatif est fautif, en évaluant le niveau de leurs élèves en sciences et mathématiques.

C’est dans ce contexte que naît l’IEA (International Association for the Evaluation of Educational Achievement). Aux côté des tests pratiqués auprès des élèves, des données sont recueillies sur les conditions d’apprentissage et les caractéristiques des élèves. Une attention toute particulière est également portée aux programmes scolaires (leurs contenus et leur mise en œuvre réelle).

Dans les années 1980, la plupart des pays développés ont réussi une démocratisation de leur enseignement secondaire et se concentrent sur l’amélioration de la qualité de l’enseignement. De plus, la progression des dépenses d’éducation (globales et unitaires) poussent les gestionnaires à s’interroger sur un meilleur rapport coût-efficacité des systèmes scolaires. Le système éducatif et sa qualité sont désormais perçus comme un facteur fondamental de la compétition économique entre les pays.

L’OCDE envisage alors de créer une seconde enquête aux côtés de celles de l’IEA (l’une des plus connues en France est l’enquête PIRLS sur la lecture, passée par les élèves de CM1). Il faudra pourtant attendre 2000 pour voir apparaître la première édition de l’enquête PISA, qui aura ensuite lieu tous les trois ans.

Les enquêtes PISA concernent l’ensemble des élèves dont l’âge est compris entre 15 ans et trois mois et 16 ans et 2 mois, quelle que soit la place qu’ils occupent dans le système éducatif (en France, en 2012, la moyenne d’âge des élèves était de 15 ans et 8 mois). Au-delà des pays de l’OCDE, n’importe quel autre pays peut y participer (71 pays ou systèmes économiques ont participé à PISA 2015 dont 34 pays de l’OCDE), sous réserve qu’il co-finance l’enquête.

Les enquêtes TIMSS concernent les élèves qui sont dans leur quatrième ou huitième année de scolarité (en France, élèves de CM1 et de quatrième). Concernant TIMSS Advanced, la population ciblée est celle des élèves en fin d’études secondaires en classes à orientation scientifique. Le nombre de pays ou systèmes éducatifs participant aux enquêtes TIMSS est irrégulier. En 2015, 57 pays ont participé à TIMSS (48 pour la 4e année et 40 pour la 8e année), mais seulement 9 pays (États-Unis, France, Italie, Liban, Norvège, Portugal, Russie, Slovénie et Suède) pour le niveau terminal. La France participe uniquement à l’enquête aux niveaux CM1 et Terminale S.

L’OCDE part de l’idée que le développement des économies des pays dépend largement de la qualité de leurs systèmes éducatifs et que le citoyen doit savoir mobilier ses connaissances scolaires pour résoudre les problèmes qu’ils sont susceptibles de rencontrer dans « la vie réelle ». Les enquêtes PISA sont essentiellement destinées à informer les décideurs nationaux et à les aider à orienter leurs politiques éducatives. A partir de ses propres objectifs et des résultats des enquêtes PISA, l’OCDE émet régulièrement des recommandations, incitant les pays à faire évoluer leurs systèmes éducatifs.

Les enquêtes TIMSS cherchent d’abord à mieux connaître les systèmes éducatifs en ce qui concerne l’enseignement des mathématiques et des sciences et moins, directement, à améliorer les politiques scolaires. Elles distinguent plusieurs niveaux de curriculum (les programmes scolaires prescrits, mis en œuvre et atteints), et s’intéressent avant tout aux contenus d’enseignement, à leur présence dans les programmes et aux acquis des élèves par rapport à ces contenus. Le but premier de TIMSS est la constitution d’une base de données mise à la disposition des chercheurs concernés par l’éducation mathématique et scientifique. Par conséquent, le rapport publié par l’IEA est moins étoffé et laisse la place à de nombreuses analyses secondaires conduites par les chercheurs.

TIMSS évalue ce que savent et savent faire les élèves en mathématiques et en sciences relativement à un niveau scolaire donné. En termes de curricula (visé et atteint), TIMSS nous renseigne sur la qualité de la formation mathématique et scientifique des élèves.

Pour la première fois, la passation des tests de PISA 2015 a été entièrement informatisée. Des clés USB, contenant le matériel et l’interface de passation, ont été envoyées aux établissements et ont permis  à chacun des élèves de passer le test sur un ordinateur en éliminant les problèmes éventuels de connexion Internet. Ce changement de mode de passation, plus économique, a posé un certain nombre de questions sur la nature des exercices proposés aux élèves et sur la comparaison des résultats avec les éditions précédentes des enquêtes. La pré-enquête de 2014 a combiné la passation papier et sur ordinateur afin de tester la comparabilité des résultats et de s’assurer que les données pouvaient être comparées.

La passation des tests de TIMSS 2015 se fait quant à elle entièrement sur papier.

La préparation et l’organisation des enquêtes PISA et TIMSS sont des opérations complexes qui mobilisent de très nombreux acteurs sur toute la planète. Ainsi, pour PISA 2015, ce sont entre 4 500 et 10 000 élèves qui ont passé les tests dans chacun des 71 pays ou systèmes économiques participants (plus de 500 000 élèves au total), dans des conditions aussi sécurisées et contrôlées que possible.

La préparation de chaque enquête commence trois ans avant la passation pour PISA et quatre ans avant pour TIMSS ; lors de pré-tests, il est vérifié par des méthodes psychométriques que le choix des questions posées est pertinent, assurant ainsi la validité de l’enquête qui sera menée l’année suivante. Cette phase préliminaire permet aussi d’identifier les biais culturels ou linguistiques éventuels dans les questionnaires. En 2014, elle a aussi permis de préparer la passation informatisée de PISA 2015.

En France, l’organisation et l’exploitation de ces deux enquêtes est confiée à la Direction de l’évaluation, de la prospective et de la performance du ministère (Depp) de l’Éducation nationale.

Afin de présenter un grand nombre d’exercices pour mieux assurer la représentativité des compétences évaluées et de ne pas accroître le temps nécessaire à l’administration des questions, des cahiers de tests tournants sont élaborés.

Les cahiers contiennent des exercices d’ancrage, qui sont les mêmes d’une enquête sur l’autre, pour pouvoir comparer dans le temps les résultats des élèves. C’est notamment une des raisons pour lesquelles les organisateurs de ces enquêtes gardent les exercices « secrets », afin que les pays ne puissent pas entrainer leurs élèves à réussir les tests.

Pour PISA, les exercices ne sont pas regroupés par domaines (mathématiques, compréhension de l’écrit et sciences) alors qu’ils le sont pour TIMSS (mathématiques puis sciences) et TIMSS Advanced (mathématiques puis physique).

Pour les deux enquêtes, les scores des pays sont donnés sur une double échelle qui permet de représenter à la fois les estimations des niveaux de compétences des élèves et les difficultés des questions (voir exemple d’échelle page suivante). Ces modèles sont probabilistes. On postule de façon assez raisonnable que la probabilité qu’un élève donne une réponse correcte à une question est fonction à la fois de sa compétence et de la difficulté de la question (ex : un élève très compétent a ainsi une probabilité élevée de répondre correctement à une question difficile).

Les enquêtes PISA et TIMSS sont sous-exploitées en France. D’une part du fait d’un manque d’études menées au niveau national pour approfondir leurs résultats et d’autre part d’un manque de communication auprès des acteurs de terrain. Les enseignements de ces études ne profitent donc pas pleinement à la formation des enseignants et à l’amélioration des résultats du système éducatif français en mobilisant nationalement les acteurs de l’éducation, les parents, les médias… Une diffusion plus large des exercices proposés aux élèves favoriserait sans doute l’appropriation de ces enquêtes.

Attention aux « effets palmarès ». Les résultats des enquêtes internationales les plus diffusés dans les médias sont les positions respectives des pays dans un classement international. Or le score moyen de chaque pays est une estimation statistique calculé avec des marges d’erreur dont il est essentiel de tenir compte (un peu comme dans un sondage).

Aucune évaluation ne peut nous dire à elle seule comment va l’école française. La richesse du panorama des enquêtes internationales et nationales menées en France permet d’avoir des informations complémentaires.

Malgré des différences d’objectifs, de champs d’évaluation et de types d’exercices proposés aux élèves, les résultats des pays aux deux enquêtes sont très corrélés, que ce soit en mathématiques ou en sciences avec quelques pays plus « marqués » comme les États-Unis ou la Hongrie d’un côté, qui réussissent mieux à TIMSS qu’à PISA, et l’Australie et la Nouvelle-Zélande de l’autre.