Follow Through (projet)

Follow Through est le projet expérimental le plus vaste et le plus coûteuxjamais mené dans le domaine de l'éducation financé par le gouvernement fédéral américain . L'évaluation la plus complète des données de Follow Through couvre les années 1968-1977 ; cependant, le programme a continué à recevoir un financement du gouvernement jusqu'en 1995. Follow Through était à l'origine destiné à être une extension du programme fédéral Head Start , qui fournissait des services éducatifs, sanitaires et sociaux aux enfants d'âge préscolaire généralement défavoriséset à leurs familles. La fonction de Follow Through était donc de fournir une continuation de ces services aux élèves dans leurs premières années d'école primaire.

Dans son discours sur l'état de l'Union de 1967 , le président Lyndon B. Johnson proposait 120 millions de dollars pour le programme, afin de venir en aide à environ 200 000 enfants issus de milieux défavorisés. Cependant, lorsque le financement du projet fut approuvé par le Congrès des États-Unis , une fraction de ce montant, soit seulement 15 millions de dollars, fut autorisée. Cela nécessita un changement de stratégie de la part du Bureau des opportunités économiques (OEO), l'agence gouvernementale chargée de la supervision du programme Au lieu de cela, les administrateurs du programme prirent la « brillante décision... de transformer Follow Through d'un programme de service en un programme de recherche et développement »

Les planificateurs de Follow Through estimaient qu’ils répondaient à un défi important dans l’éducation des élèves défavorisés. On partait généralement de l’hypothèse que la simple fourniture de soutiens spécifiques sous la forme de programmes fédéraux compensatoires – tels que Head Start et Title I de la loi sur l’enseignement primaire et secondaire – entraînerait une amélioration des résultats scolaires des enfants défavorisés, s’ils étaient mis en œuvre fidèlement par des enseignants engagés. Cependant, des études ont montré que malgré ses succès, en général, les gains obtenus par les enfants grâce à Head Start (en termes de résultats scolaires) « s’estompaient » au cours des premières années d’ école primaire . Les décideurs politiques et autres ne savaient pas si l’expérience de l’école primaire elle-même était à l’origine de ce phénomène, ou si des approches spécifiques de l’enseignement au sein des écoles étaient le problème. Follow Through avait pour objectif de résoudre le problème en identifiant les approches globales du programme et de l’enseignement qui fonctionnaient et celles qui ne fonctionnaient pas. Par la suite, des modèles efficaces devaient être promulgués par le gouvernement comme exemples de méthodes innovantes et éprouvées pour améliorer les résultats scolaires des élèves historiquement défavorisés.

Conçu et mis en œuvre au milieu de la campagne de guerre contre la pauvreté du président Johnson dans les années 1960, Follow Through « est issu d'un plan plus vaste qui tentait d'établir les causes et les remèdes de la pauvreté dans la société américaine sur une base systémique ». En plus de la loi historique sur l'éducation élémentaire et secondaire de 1965 , d'autres initiatives comprenaient des politiques économiques conçues pour maintenir des niveaux élevés d'emploi et une formation professionnelle subventionnée par le gouvernement fédéral ciblant spécifiquement les personnes issues de milieux défavorisés. Ces programmes ont été mis en œuvre au milieu de la période turbulente des années 1960 et 1970, marquée par les luttes et l'émancipation éventuelle d'un certain nombre de groupes autrefois exclus « y compris les Afro-Américains , les féministes , les Hispaniques , les Amérindiens et les parents d' enfants handicapés ».

Dans les expériences scientifiques classiques, les groupes de traitement et de contrôle sont sélectionnés par assignation aléatoire. Comme Follow Through était une expérience conçue pour évaluer l'efficacité d'un certain nombre d'interventions dans les districts locaux, les districts ont choisi les interventions qu'ils voulaient mettre en œuvre dans leurs écoles. Cette méthode de sélection d'une intervention souhaitée parmi plusieurs candidats est appelée variation planifiée. Une publication l'appelle « innovation aléatoire ». La variation planifiée était considérée comme avantageuse par rapport à l'assignation aléatoire car elle donnait aux communautés locales (par exemple, les membres de la communauté, les parents, les administrateurs et les enseignants) un élément de contrôle local sur la mise en œuvre de leur programme. En fait, Hill pensait que des programmes comme Follow Through « peuvent être... des sources permanentes de pression de plaidoyer au nom des objectifs et des bénéficiaires des programmes fédéraux ».

Follow Through , comme Head Start , avait une portée énorme et était conçu pour remédier au fait que « les enfants pauvres ont tendance à avoir de mauvais résultats scolaires ». Malgré la réduction du financement, il a néanmoins servi un nombre substantiel d'élèves. À son apogée, le programme allait s'étendre jusqu'à englober 20 interventions sponsorisées différentes et environ 352 000 enfants Follow Through et témoins dans 178 projets à l'échelle nationale.

En plus d'identifier les pratiques pédagogiques les plus efficaces et de les diffuser aux écoles et aux districts, on espérait également que Follow Through contribuerait à réduire le nombre de programmes d'intervention fédéraux potentiellement contradictoires dans les écoles, ce que certains considéraient comme contre-productif et coûteux. De plus, si des modèles efficaces avec les enfants nécessiteux pouvaient être identifiés, ces interventions pourraient également être mises en œuvre dans les classes d'éducation ordinaire.

Comme Follow Through a été créé à la suite d'une action exécutive et non législative, le contrôle global du programme reposait sur le Bureau des opportunités économiques (OEO) de Johnson, qui a été le fer de lance de la politique de guerre contre la pauvreté de Johnson. Un élément majeur de cette politique était la participation de la communauté. Le Programme d'action communautaire (CAP) était chargé de remplir cette fonction en créant des agences et des programmes locaux qui menaient diverses initiatives parrainées par le gouvernement fédéral en faveur des populations défavorisées. Cependant, le CAP (et, dans une certaine mesure, l'OEO) tomba en disgrâce auprès des législateurs et d'autres, car « il aboutit à la mobilisation politique des pauvres et à l'affaiblissement des agences gouvernementales locales ». Follow Through était censé être une extension du programme d'action communautaire Head Start . Étant donné que Head Start était politiquement populaire, un programme associé à Head Start remettrait l'OEO « dans les bonnes grâces du Congrès ». Bien que Follow Through , comme Head Start , ait été initialement conçu comme un programme d'action sociale, la décision de transformer Follow Through d'un programme d'action sociale en une expérience sociale n'a pas été modifiée en conséquence dans la législation du Congrès.

Le personnel de Head Start est resté impliqué dans la conception et la mise en œuvre de Follow Through , même s'il semblait travailler à des fins différentes du groupe de planification de l'OEO, qui considérait Follow Through comme une enquête empirique. Une grande partie de ce qui s'est passé pendant la phase de planification - qu'Egbert décrit comme « une période de précipitation et de confusion » - était une tentative de satisfaire les circonscriptions des deux points de vue.

En grande partie en raison du contexte socioculturel dans lequel Follow Through est né, les planificateurs ont délibérément structuré le programme de manière à minimiser l'implication des fonctionnaires fédéraux dans l'effort de mise en œuvre. Plus Follow Through pouvait être perçu comme un effort contrôlé localement, mieux c'était. L'OEO espérait « idéalement » que Follow Through pourrait satisfaire à la fois aux objectifs empiriques et à l'action sociale.

Il semble peu probable qu'une quelconque forme d'expérimentation puisse servir ces deux objectifs de manière réaliste et fidèle. Selon Hill, les véritables évaluateurs de programmes devraient être « techniques plutôt que politiques ou programmatiques, et leurs attitudes devraient être sceptiques et impartiales ». Le groupe de planification de l'OEO souhaitait une véritable enquête empirique qui déterminerait les modèles les plus efficaces. À l'inverse, le personnel de CAP et de Head Start qui conseillait les planificateurs de Follow Through le considérait comme un programme social. Ainsi, « aucun des deux groupes constitutifs n'était pleinement satisfait de cette solution ».

Outre les divergences de vues entre les planificateurs de Follow Through sur le véritable objectif du programme, la sélection des sponsors était tout aussi imprécise. Les sponsors de Follow Through étaient un mélange éclectique d'individus ou de groupes menant des recherches sur les méthodes pédagogiques. Certains venaient d'universités, notamment d'écoles d'éducation . D'autres étaient impliqués dans des efforts de recherche privés ou subventionnés. La méthode de sélection n'était pas claire. Selon Watkins, « les invitations étaient apparemment adressées à tout groupe menant des recherches sur les méthodes pédagogiques ».

Certains des promoteurs avaient des interventions assez bien élaborées, fondées sur des théories de l'instruction. D'autres avaient simplement des idées sur ce qui pourrait constituer des interventions efficaces. Les promoteurs différaient également largement sur les résultats qu'ils espéraient à la suite de leurs programmes. Certains promoteurs avaient des objectifs très précis qui, selon eux, conduiraient à des résultats très précis, comme l'amélioration des compétences en lecture. D'autres avaient des objectifs plus généraux, comme une meilleure estime de soi ou une plus grande implication des parents dans la scolarité. La plupart des programmes étaient à un stade très précoce de développement et n'avaient pas été testés de manière approfondie (ou même modérée) sur le terrain ou pilotés. Certains programmes étaient si ambigus qu'Elmore a écrit que « la plupart des développeurs de programmes ne savaient tout simplement pas à quoi ressembleraient réellement leurs programmes sous une forme pleinement opérationnelle ». De nombreux promoteurs ne pouvaient pas expliquer précisément quels aspects de leurs modèles conduiraient aux objectifs de résultats déclarés du modèle.

Malgré les ambiguïtés qui existent entre de nombreux modèles (et les nuances infimes de distinction entre certains modèles), la littérature Follow Through a classé les modèles en fonction du degré de structure qu'ils offrent et de l'importance qu'ils accordent à l'apprentissage.

Le « degré de structure » (par exemple « faible », « moyen » ou « élevé ») offert par un modèle particulier est mis en évidence par la précision avec laquelle les enseignants ont été instruits de respecter des procédures spécifiques, notamment : les façons d'organiser la classe et de dispenser l'enseignement, le degré d'interaction entre les adultes et les enfants, le niveau d'implication des parents, etc. Vous trouverez ci-dessous de brefs exemples de deux modèles qui représentent les extrêmes du spectre.

Modèle d'instruction directe . Développé par Siegfried Engelmann et Wesley Becker de l' Université de l'Oregon , l'instruction directe est scénarisée et spécifie précisément ce que dit l'enseignant et quelles doivent être les réponses des élèves. De plus, les concepteurs du programme ont soigneusement séquencé l'instruction de manière à ce que les élèves ne progressent pas vers des compétences d'ordre supérieur à moins qu'ils ne maîtrisent les compétences de base préalables. Il existe un degré élevé d'interaction entre les enseignants et les élèves, de sorte que l'enseignant peut recevoir un retour continu sur la performance des élèves et ajuster l'instruction en conséquence. Le programme fait une distinction spécifique entre le comportement sur la tâche et le comportement hors tâche : l'instruction est organisée de manière à ce que les élèves soient pleinement engagés dans l'apprentissage (via des vérifications fréquentes de la compréhension et des félicitations de l'enseignant) la plupart du temps. Selon les sponsors du programme, tout ce qui est censé être appris par les élèves doit d'abord être enseigné par l'enseignant.

Modèle Bank Street . Le modèle Bank Street a été développé par Elizabeth Gilkerson et Herbert Zimiles du Bank Street College of Education de New York. Dans ce modèle, les élèves dirigent eux-mêmes l'apprentissage : ils choisissent les tâches qu'ils souhaitent entreprendre, seuls ou avec leurs pairs. L'enseignant organise la classe de manière à créer, selon les promoteurs, les conditions d'un apprentissage réussi : divers objets et supports sont à la disposition des enfants pour interagir avec eux, et l'enseignant agit comme un facilitateur, guidant les élèves dans les activités. Selon les promoteurs du programme, les élèves utilisent les connaissances acquises précédemment pour construire de nouvelles connaissances. Selon les promoteurs, dans un environnement sûr et stable, l'apprentissage est un processus qui se produit naturellement.

Dans son évaluation des aspects opérationnels de Follow Through , Elmore s’est inquiété du fait que les différences de structure entre les modèles rendaient les comparaisons et les analyses finales entre les modèles problématiques. Les descriptions des interventions provenaient des promoteurs eux-mêmes. Il n’y avait aucune autre source fiable auprès de laquelle les administrateurs du programme auraient pu obtenir des informations à leur sujet. S’ils avaient pu voir des exemples de mise en œuvre des différents modèles, ils auraient peut-être pu poser des questions de clarification afin de mieux les distinguer, ce qui aurait pu être important aux fins de l’évaluation.

Les modèles de programmes ont également été classés en fonction de l’importance qu’ils accordent à l’apprentissage, selon trois orientations éducatives : les compétences de base, les compétences conceptuelles cognitives et le comportement affectif/cognitif (voir également l’annexe A).

• Modèles de compétences de base - Concernent principalement l'enseignement des compétences de base (par exemple, les « compétences élémentaires de vocabulaire, de calcul arithmétique, d'orthographe et de langue »
• Modèles de compétences cognitives et conceptuelles - Mettant l'accent sur les « compétences de réflexion d'ordre supérieur » et les compétences de résolution de problèmes
• Modèles de compétences affectives/cognitives - Axés sur l'affect des étudiants (c'est-à-dire l'estime de soi), sur le principe que les sentiments d'estime de soi positifs conduisent à la réussite des compétences cognitives

Malgré ces différences, tous les sponsors ont convenu de certains points. Ils ont convenu que leurs interventions devaient être adaptées au développement des élèves, c’est-à-dire que les modèles devaient tenir compte du stade de développement des élèves. Deuxièmement, tous ont convenu que l’enseignement et l’apprentissage devaient être adaptés aux besoins de chaque apprenant. Troisièmement, ils ont convenu que tous les élèves, même ceux issus des milieux les plus défavorisés, pouvaient apprendre au même niveau que leurs pairs plus chanceux. Quatrièmement, il fallait mettre l’accent sur les procédures de gestion de classe qui créent un environnement d’apprentissage approprié. Cinquièmement, l’école devait être un endroit où les élèves avaient une haute estime de soi et réussissaient sur le plan scolaire. Ironiquement, le dernier point d’accord, en ce qui concerne Maccoby et Zellner, était que toutes les interventions devaient avoir des objectifs très clairs sur le contenu et les compétences que les élèves devaient connaître et être capables d’acquérir. Ce dernier détail mérite d’être souligné pour deux raisons. Premièrement, les objectifs de résultats du programme fournis par les sponsors semblaient relativement larges. Français Par exemple, les sponsors du Tucson Early Education Model expliquent que « l'accent est relativement moins mis sur les éléments enseignés et sur la transmission d'un contenu spécifique, et plus sur « apprendre à apprendre » ». De même, les enseignants du Cognitive Curriculum conçoivent leurs propres approches de l'enseignement (y compris la spécification des objectifs d'apprentissage), avec l'aide des sponsors et des autres membres du personnel. Alors que les objectifs de résultats peuvent généralement être décrits comme des niveaux élevés de réussite scolaire ou de maîtrise des compétences de pensée de base et d'ordre supérieur, la manière exacte dont les élèves démontrent ces compétences manque dans la littérature Follow Through . Au cours des réunions des sponsors, il y a eu plusieurs discussions animées entre certains sponsors sur le degré de spécificité auquel ils devraient lier les facettes de leurs modèles aux résultats ou aux comportements des élèves. Les administrateurs de Follow Through n'ont pas pu étudier les modèles plus en profondeur en raison du temps limité ; en effet, seulement huit mois ont séparé la sélection de l'approche du modèle sponsorisé et le début de l'expérience. Le Congrès ayant déjà réduit le budget du programme, les planificateurs craignaient légitimement qu'un retard dans la mise en œuvre puisse avoir des conséquences désastreuses pour le programme. Une autre réalité était tout simplement le manque d'interventions alternatives. Comme une expérience d'une telle ampleur dans le domaine de l'éducation n'avait jamais été réalisée auparavant, le Bureau de l'éducation ne disposait d'aucun arsenal d'interventions à tester.

La sélection des sites de mise en œuvre du programme Follow Through s'est déroulée de concert avec la sélection des modèles. Avec l'aide de diverses agences éducatives fédérales et d'État, 100 communautés ont été invitées à présenter une demande d'adhésion au programme, sur la base de critères établis par l'OEO. Selon Egbert, 90 districts ont présenté leur candidature, dont 30 ont été choisis pour participer au programme Follow Through . Cependant, en raison de la pression exercée par des politiciens influents, des sites supplémentaires ont été ajoutés par la suite. Ce n'est pas une coïncidence si l'inclusion de plusieurs districts supplémentaires semble avoir été une tentative de satisfaire un certain nombre de personnalités politiques locales en incluant leurs communautés dans le programme.

Bien qu'Elmore déplore que les sites aient pu être choisis avec un degré de rigueur scientifique plus élevé (par exemple, un échantillonnage aléatoire stratifié), cela s'est avéré impossible, pour au moins deux raisons. Tout d'abord, les administrateurs de Follow Through avaient l'obligation de sélectionner un nombre minimum de sites avec des programmes Head Start , car l'objectif apparent de Follow Through était de compléter Head Start . Deuxièmement, outre les pressions politiques, les communautés devaient participer volontairement au processus (apparemment) pour préserver la fidélité des mises en œuvre. Sur ce point, Elmore tend à être d'accord.

En raison de la diversité des modèles, un large éventail d'instruments et de méthodes analytiques a été sélectionné afin de mesurer les résultats ciblés des compétences de base, du comportement affectif et du comportement cognitif. Adams et Engelmann ont écrit : « alors que les critiques se sont plaints de la sélection des tests et ont généralement suggéré d'en effectuer davantage, l'effort d'évaluation dans cette étude est allé bien au-delà de toute autre étude pédagogique menée avant ou depuis ». Au total, 14 instruments ont été sélectionnés et administrés à différents moments tout au long de la participation d'un élève à Follow Through . Trois groupes d'élèves, connus sous le nom de cohortes (c'est-à-dire les cohortes I, II et III) ont été suivis longitudinalement depuis leur entrée dans Follow Through (par exemple, la maternelle ou la 1re année) jusqu'à leur sortie du programme (3e année). Alors que les auteurs du rapport Follow Through ont estimé que les instruments avaient une grande fiabilité, certains sponsors ont remis en question la validité des instruments pour mesurer les diverses orientations des modèles. D'autres critiques, tels que House et al. dans une analyse financée et largement diffusée par la Fondation Ford , ont également critiqué les instruments. Toutefois, les évaluateurs ont estimé que la batterie d'instruments représentait le « meilleur compromis » compte tenu de la gamme de modèles. Malgré le nombre relativement important d'élèves ayant participé à Follow Through , les évaluateurs ont imposé des restrictions rigoureuses à l'échantillon qui figurait réellement dans l'analyse statistique. Le groupe de comparaison (les élèves de la communauté identifiée comme ne participant pas à Follow Through ) n'était pas soumis exactement aux mêmes restrictions que le groupe témoin, tant qu'ils entraient et sortaient de l'école dans les mêmes districts et au même moment que les élèves de Follow Through .

En raison du nombre de sites d’intervention et de la diversité des instruments, l’analyse était complexe et extensive. Selon Watkins, il y a eu plus de 2 000 comparaisons entre les groupes Follow Through et non Follow Through seulement. En 1968, le Stanford Research Institute (SRI) s’est vu attribuer le contrat pour l’ évaluation de Follow Through . Cependant, en raison de divers facteurs, y compris, peut-être, la sous-estimation par le SRI de la complexité impliquée dans une analyse aussi complète, Abt Associates, Inc. a hérité plus tard des tâches d’évaluation à l’été 1972. Le résumé des résultats, intitulé Education as Experimentation: A Planned Variation Model, a été publié en 1977.

L'objectif empirique de l' évaluation Follow Through était de déterminer quels modèles étaient efficaces pour améliorer les résultats des élèves dans les trois domaines, comme en témoignent les effets positifs obtenus à l'aide des instruments sélectionnés. Dans le cadre des modèles, les évaluateurs ont comparé les performances des groupes de comparaison Follow Through (FT) et non Follow Through (NFT) sur les différents instruments à chaque site. Au sein des groupes, les évaluateurs ont fait la moyenne des scores des élèves sur chaque mesure (ou variable de résultat) afin d'obtenir un score « de groupe ». Ainsi, les scores de groupe des élèves FT ont été comparés aux scores de groupe des élèves NFT. Une technique d'ajustement statistique importante, et plus tard controversée, a été utilisée par les évaluateurs afin « d'améliorer l'intégrité des résultats ». Étant donné qu'il y avait des différences entre les groupes de traitement et de comparaison (par exemple, le score moyen sur une mesure de résultat pour un groupe NFT pouvait être plus élevé que le score moyen correspondant pour un groupe FT), les évaluateurs ont utilisé une méthode statistique connue sous le nom d' analyse de covariance (ANCOVA) afin de tenir compte de ces différences et d'autres. La différence entre les étudiants FT et NFT a ensuite été utilisée pour mesurer les effets d'un modèle donné. Les sites où les modèles répondaient au critère d'« efficacité pédagogique » se sont vu attribuer une valeur de 1 ; les effets négatifs se sont vu attribuer -1 ; et les effets nuls — « insignifiants sur le plan pédagogique, statistique ou les deux » — se sont vu attribuer un zéro. Selon Elmore, les résultats ajustés à l'aide de la technique ANCOVA doivent être interprétés avec prudence pour deux raisons. Premièrement, l'ANCOVA « n'est pas un substitut à l'assignation aléatoire, mais elle est devenue une technique conventionnellement acceptée pour gérer les différences initiales entre les groupes dans les données quasi expérimentales ». Deuxièmement, plus les différences initiales entre les groupes de traitement et de contrôle sont grandes, plus la force des résultats est faible.

Les résultats de Follow Through n’ont pas montré comment les modèles qui n’avaient que peu ou pas d’effets pouvaient être améliorés. Mais ils ont montré quels modèles – comme le suggéraient les conditions moins qu’idéales de l’expérience – présentaient des signes de succès. Parmi ces modèles, la méthode d’instruction directe de Siegfried Engelmann a démontré les gains les plus élevés dans l’étude comparative. La critique la plus notable de Follow Through (décrite en détail ci-dessous) conteste le fait que les modèles qui ont montré des effets positifs étaient en grande partie des modèles de compétences de base. Abt Associates a identifié cinq conclusions majeures liées à la question de l’efficacité différentielle des modèles ; les principales conclusions empiriques de l’expérience ont été rapportées comme suit :

• « L'efficacité de chaque modèle Follow Through variait considérablement d'un groupe de sites à l'autre »
• « Les modèles qui mettent l’accent sur les compétences de base réussissent mieux que les autres modèles à aider les enfants à acquérir ces compétences » (p. xxv)
• « Lorsque les modèles ont mis l'accent sur autre chose que les compétences de base, les enfants qu'ils ont aidés ont eu tendance à obtenir des résultats inférieurs aux tests de ces compétences qu'ils n'auraient eu sans Follow Through » (p. xxvi)
• « Aucun type de modèle n’a été plus efficace que les autres pour augmenter les scores en compétences cognitives conceptuelles » (p. xxvi)
• « Les modèles qui mettent l’accent sur les compétences de base ont produit de meilleurs résultats aux tests de conception de soi que les autres modèles » (p. xxvi)
• Dans la mesure où les enfants Follow Through ont « rattrapé » leurs pairs en matière de compétences arithmétiques, ils ont eu tendance à le faire au cours des deux premières années de leur participation au programme » (p. xxvii)
• « Follow Through s’est avéré relativement efficace auprès des enfants les plus défavorisés qu’il a aidés » (p. xxviii)

Une analyse distincte a examiné l'impact de la méthode d'enseignement direct de Siegfried Engelmann sur les étudiants sur plusieurs décennies. Cette analyse a suggéré un bénéfice à long terme.

Français Wisler et al ., dans leur revue de l' expérience Follow Through , ont écrit qu'il était probable qu'aucune autre donnée éducative n'ait été examinée plus en profondeur, à l'exception de l'Enquête sur l'égalité des chances en matière d'éducation. Au moins trois réévaluations majeures des données Follow Through existent dans la littérature : House, et al. (1978) ; Bereiter et Kurland (1981) ; et Kennedy (1981). Toutes confirment largement l'analyse statistique originale menée par Abt Associates. En général, le consensus parmi la plupart des chercheurs est que les modèles structurés ont tendance à être plus performants que les modèles non structurés, et que les modèles d'instruction directe et d'analyse du comportement ont eu de meilleurs résultats sur les instruments utilisés que les autres modèles. ) La plupart des critiques de l' expérience Follow Through ont eu tendance à se concentrer sur les problèmes opérationnels et de conception qui ont entaché l'expérience. En particulier, ces critiques soulignent qu'il y avait plus de variations au sein d'un modèle particulier qu'il n'y en avait d'un modèle à l'autre. Ce problème a été largement attribué à la difficulté de mesurer l'efficacité d'une mise en œuvre particulière ; les mesures utilisées étaient en grande partie qualitatives et anecdotiques. Dans certains cas, des sites ont été inclus dans l'analyse alors qu'ils avaient cessé de mettre en œuvre des modèles spécifiques, ou les promoteurs du modèle avaient de sérieuses réserves sur la manière dont des modèles particuliers étaient mis en œuvre.

La critique la plus virulente a été celle de House et al. (1978), qui ont réanalysé l'article, ainsi que plusieurs réfutations de l'équipe d'évaluation initiale et d'autres chercheurs, et qui ont été publiées par la Harvard Educational Review en 1978. Les auteurs étaient extrêmement mécontents de la déclaration des évaluateurs selon laquelle les modèles de compétences de base surpassaient les autres modèles. Les auteurs abordent la critique en partant du principe que les compétences de base sont décidément ce qu'elles sont : fondamentales. Ils sous-entendent que les compétences de base ne sont enseignées que par des « méthodes par cœur », une connotation résolument négative (p. 137).

Français En ce qui concerne la conclusion selon laquelle « les modèles qui mettent l'accent sur les compétences de base produisent de meilleurs résultats aux tests de conception de soi que les autres modèles », les auteurs remettent en question l'efficacité des mesures d'estime de soi ; impliquant, entre autres, que les jeunes étudiants ne peuvent pas avoir une compréhension concrète de la conception de soi (pp. 138-139). Alors que l'article avait pour objectif d'examiner la conception opérationnelle de l' évaluation Follow Through , il semble au contraire (1) réfuter la conclusion selon laquelle les modèles cognitivo-conceptuels et affectivo-cognitifs étaient en grande partie des échecs, et (2) condamner unilatéralement les modèles qui mettent l'accent sur les compétences de base. L'implication est que l'objectif de l'éducation ne devrait pas être d'accroître les résultats des élèves uniquement dans les compétences de base, et que Follow Through aurait été mieux utilisé pour découvrir comment les mesures des trois orientations pourraient être efficaces. La critique ne fait pas état de la constatation selon laquelle, pour les élèves de troisième année, seul le modèle d'instruction directe a démontré des effets positifs dans les trois domaines, et que l'un des deux modèles restants (l'analyse du comportement ; l'autre était le modèle d'éducation des parents) qui avait des effets positifs dans au moins deux domaines était également un « modèle de compétences de base » autoproclamé.

En 1972, l'OE a créé le Joint Dissemination Review Panel (JDRP) et le National Diffusion Network (NDN) pour diffuser des informations sur les modèles efficaces aux écoles et aux districts à l'échelle nationale. Le JDRP a examiné les programmes pour en évaluer l'efficacité selon un mélange de critères empiriques et holistiques. Le NDN était chargé de diffuser les résultats sur la base des recommandations du JDRP. Watkins (1997) critique les critères de diffusion pour deux raisons. Premièrement, les organisations ont identifié des programmes à diffuser qui n'avaient pas fait partie de l' expérience Follow Through et pour lesquels il n'y avait aucune validation empirique. Deuxièmement, le JDRP et le NDN ont approuvé des programmes qui ont montré une amélioration dans des domaines « tels que le concept de soi, l'attitude et la santé mentale ou physique (des élèves) ... (ou) s'ils ont un impact positif sur des individus autres que les élèves, par exemple s'ils se traduisent par un meilleur comportement pédagogique des enseignants » (p. 47), mais n'ont pas augmenté les résultats scolaires des élèves. Ainsi, les programmes « qui n’avaient pas été en mesure de démontrer une amélioration des résultats scolaires dans l’ évaluation Follow Through » ont été recommandés pour adoption par les écoles et les districts. Watkins cite l’ancien commissaire à l’éducation, Ernest Boyer, qui a écrit avec consternation que « puisqu’un seul des sponsors (Direct Instruction) s’est avéré produire des résultats positifs plus régulièrement que les autres, il serait inapproprié et irresponsable de diffuser des informations sur tous les modèles »

Bien entendu, il aurait été idéal d’avoir le type de conclusion associé aux expériences de laboratoire lorsque nous menons des expériences sociales dans les communautés et les écoles. Andy B. Anderson (1975) a écrit que « l’idée d’une expérience contrôlée a longtemps été reconnue comme un objectif digne d’être poursuivi dans les sciences sociales et comportementales pour la même raison évidente qui a fait de ce mode d’enquête la stratégie de recherche prédominante des sciences naturelles et physiques : l’expérience contrôlée permet l’évaluation la plus univoque de l’influence d’une variable sur une autre variable ». En particulier lorsque l’expérimentation est utilisée comme un outil pour éclairer les décisions politiques (par exemple, pour recommander l’efficacité de certaines approches pédagogiques auprès d’élèves défavorisés par rapport à d’autres interventions moins efficaces), la conception doit être du plus haut degré de rigueur possible. Pour diverses raisons, Follow Through ne présentait pas les caractéristiques classiques d’une véritable expérience.

Manque de sélection systématique des interventions et manque de spécificité des effets du traitement . En raison de diverses circonstances détaillées précédemment, les programmes Follow Through n'ont pas été systématiquement élaborés ou sélectionnés selon un quelconque type de critères uniformes. Avec plus de temps, les promoteurs auraient peut-être pu mieux identifier les types d'effets du traitement qu'un observateur pourrait s'attendre à voir se produire dans des conditions contrôlées. Plus important encore, les promoteurs du programme auraient peut-être également été tenus de montrer les facettes spécifiques de leurs interventions (par exemple, des techniques pédagogiques particulières) qui produiraient les effets escomptés. Malgré ces défauts, les promoteurs ont accepté d'être soumis aux mêmes instruments d'évaluation. Malheureusement, les instruments n'ont pas apporté beaucoup de lumière sur les raisons pour lesquelles les programmes inefficaces ont été si infructueux. L'inverse est également vrai. Étant donné que les programmes structurés ont tendance à montrer de meilleurs effets que les programmes non structurés, il semblerait logique que des efforts aient été faits pour identifier les points communs entre les programmes structurés efficaces. Ces caractéristiques communes auraient pu éclairer le développement de programmes efficaces supplémentaires ou améliorer les approches inefficaces. À partir de 1982, le financement des programmes identifiés comme ayant réussi dans le cadre de Follow Through a été réduit , peut-être en partant du principe que les fonds seraient mieux utilisés pour aider les programmes ayant échoué. En fin de compte, les programmes qui avaient une validation empirique moindre ont néanmoins été recommandés pour diffusion avec les modèles réussis.

Français Absence d'assignation aléatoire . L'assignation aléatoire des sujets aux groupes de traitement et de contrôle est la méthode idéale pour attribuer un changement dans un échantillon à une intervention et non à un autre effet (y compris les capacités préexistantes des élèves, des enseignants ou des systèmes scolaires). Cependant, pour diverses raisons pratiques, cette procédure n'a pas été effectuée dans Follow Through . Au lieu de cela, les sites ont été sélectionnés « de manière opportuniste », en fonction de leur volonté de participer à l'évaluation et de leurs circonstances particulières de besoin. Comme le soulignent Stebbins et al. , les groupes de traitement étaient souvent les enfants les plus nécessiteux. Sélectionner au hasard certains des enfants les plus défavorisés (dont beaucoup ont participé à Head Start avant Follow Through ) pour les sortir de l'évaluation aurait certainement été perçu négativement par les membres de la communauté. Stebbins et al. soulignent qu'il y avait « des variations considérables dans la gamme des enfants servis » ; Pourtant, malgré la présence de « nombreux problèmes inhérents à la recherche sociale sur le terrain… les évaluations de ces variations planifiées nous offrent l’occasion d’examiner les stratégies éducatives dans des conditions de vie réelles par opposition à des conditions de laboratoire artificielles et étroitement contrôlées ».

Étroitesse des instruments . Adams et Engelmann notent que de nombreux critiques ont suggéré que davantage d'instruments auraient dû être utilisés dans l' évaluation Follow Through . Egbert est d'accord avec Adams et Engelmann sur le fait que les efforts de collecte de données ont été considérables. Malgré l'accord entre les promoteurs du modèle sur un ensemble uniforme d'instruments pour évaluer l'efficacité de leurs modèles, les promoteurs du modèle pensaient que leurs programmes obtenaient des gains sur des indicateurs de performance plus intrinsèques et moins mesurables, tels qu'une plus grande estime de soi ou une plus grande implication des parents. Dans la mesure où ces résultats souhaités se sont produits et ont bénéficié à la vie des étudiants d'une manière qui ne pourrait jamais être mesurable par des moyens quantitatifs, ces aspects de nombreux modèles ont été couronnés de succès. La critique de House et al. et d'autres (cités dans Wisler ) expriment des inquiétudes quant à l'inadéquation des instruments utilisés pour mesurer l'estime de soi dans l' évaluation Follow Through (c'est-à-dire l'échelle de responsabilité de réussite intellectuelle (IARS) et l'inventaire d'estime de soi de Coopersmith). Mais il est préférable, selon de nombreux chercheurs, de mesurer les résultats de manière imparfaite plutôt que de ne pas les mesurer du tout. Ainsi, même si des mesures « parfaites » des résultats souhaités pourraient ne jamais exister, il ne faut pas laisser la perfection être l’ennemi du bien – en d’autres termes, on pourrait remettre en question l’efficacité de toute expérience sur la base de l’existence d’un biais ou d’une imperfection.

Français Follow Through était-il un programme social ou scientifique ? Après une période initiale, de nouvelles réglementations imposaient que 80 % du financement de Follow Through soit alloué à la prestation de services tandis que 20 % devait être utilisé pour la production de connaissances. Les réglementations elles-mêmes suggèrent que Follow Through était principalement « un programme d'éducation financé par le gouvernement fédéral qui contenait un volet de recherche intégré ». Un conflit existe inévitablement lorsque l'on tente de rendre opérationnel un programme fédéral d'éducation qui possède à la fois des objectifs de prestation de services et de recherche et développement. Rivlin et al. soulignent que « la complexité byzantine du processus d'élaboration des politiques publiques rend la conduite d'expériences sociales extrêmement difficile ». Étant donné la réduction du financement, la décision de s'engager dans un effort pour évaluer l'efficacité de diverses interventions dans une expérience empirique semble appropriée et simple. Cependant, si le changement n'est pas reflété dans la législation du Congrès ou communiqué clairement au niveau local, des problèmes de mise en œuvre et des conflits avec des valeurs profondément ancrées en résultent inévitablement. De nombreuses preuves indiquent une confusion quant à l’objectif de l’ évaluation Follow Through au niveau administratif.

Français Problèmes de contrôle local. L'aspect de variation planifiée de Follow Through était considéré comme bénéfique, voire supérieur, à d'autres formes d'expérimentation (par exemple, la sélection de sites basée sur une assignation aléatoire) car il donnerait aux communautés locales et aux écoles un élément d'appropriation essentiel à la mise en œuvre réussie des modèles. Malgré la conception de variation planifiée, les communautés locales de nombreux sites étaient néanmoins profondément critiques à l'égard du programme. D'une certaine manière, les critiques à l'égard de Follow Through avaient précédé directement Head Start. Apparemment, le but et les objectifs du service social du programme Head Start étaient plus clairs que ceux de l' évaluation de Follow Through . Néanmoins, les dirigeants communautaires avaient le sentiment que Head Start ne donnait pas suffisamment de responsabilité décisionnelle aux parents et aux membres de la communauté. Les intérêts locaux voulaient prendre des décisions concernant les programmes, y compris le changement des facettes de certains modèles de programme Evans a averti que « les communautés et les contextes éducatifs varient », ce qui peut avoir un effet direct sur la mise en œuvre d'un modèle. Les affirmations d'Elmore et de Hill selon lesquelles les modèles Follow Through interféraient avec les méthodes et pratiques d'enseignement locales sont toutefois plus problématiques. Comme l'écrit Elmore, « pour Follow Through , le problème était de savoir comment mettre en œuvre des variations de programme dans un système où la plupart des décisions quotidiennes sur le contenu du programme sont prises au niveau de l'école ou de la classe ». Rhine et al. suggèrent qu'il est difficile d'amener les enseignants à modifier leur comportement. Et si l'objectif de changement de comportement est atteint, les enseignants ne se sentent guère concernés par le modèle, ce qui constitue un investissement tout à fait douteux. Ce qui semble inévitablement se produire, c'est que les enseignants rejettent les programmes d'emblée, tandis que d'autres « capitulent devant le programme ».

La « dichotomie fait-valeur » . Ernest R. House , co-auteur de la critique de 1978 de l' évaluation Follow Through , a écrit un article sur ce qu'il appelle la « dichotomie fait-valeur » dans l'expérimentation sociale et la recherche en éducation : « la croyance que les faits se réfèrent à une chose et les valeurs à quelque chose de totalement différent ». House élucide les écrits de Donald Campbell, un chercheur dans le domaine de l'évaluation. House a noté que, selon Campbell, les faits ne peuvent pas exister en dehors du cadre des valeurs de quelqu'un parce qu'inévitablement, une enquête qui découvre un certain fait est soit cohérente avec les valeurs internes du chercheur, soit contraire à elles. Le résultat est un choix difficile : le chercheur doit soit rejeter le fait, soit modifier sa valeur pour s'adapter au fait. Campbell croyait également, selon House, que les valeurs, par opposition aux faits, pouvaient être choisies rationnellement. House est en partie d'accord avec l'affirmation de Campbell, mais s'écarte de celle-ci en ce qu'il estime que les faits et les valeurs ne peuvent exister isolément ; au contraire, ils « se mélangent dans les conclusions des études d'évaluation et, en fait, se mélangent tout au long des études d'évaluation ». House suggère que le lecteur envisage les faits et les valeurs comme existant sur un continuum allant des « faits bruts aux valeurs brutes ». En conséquence, les « affirmations factuelles » ou les « affirmations de valeur » se situent rarement entièrement à une extrémité ou à l'autre du spectre. House donne des exemples : « Les diamants sont plus durs que l'acier » pourrait se situer à gauche du spectre, tandis que « Le cabernet est meilleur que le chardonnay » se situe à droite. En conclusion, House propose une toute nouvelle méthode d'investigation empirique appelée « évaluation démocratique délibérative ». Dans cette méthode, les évaluateurs parviennent à des « affirmations impartiales » grâce à « l'inclusion de toutes les perspectives, valeurs et intérêts pertinents des parties prenantes dans l'étude ; un dialogue approfondi entre l'évaluateur et les parties prenantes... et une délibération approfondie pour parvenir à des conclusions valables dans l'étude ». House dénonce l'utilisation de méthodes entièrement rationnelles lorsqu'elles sont appliquées aux évaluations ; en fait, il recommande un certain degré de subjectivité, car des évaluations comme Follow Through ne peuvent exister en dehors de valeurs profondément ancrées.

Hill écrit : « Il est rare qu'au niveau local, l'engagement envers une innovation pédagogique, un processus de planification ou un système de gestion financière imposés de l'extérieur soit spontanément issu de valeurs personnelles profondément ancrées. » House soutient que toute prise de décision découlant d'évaluations en éducation est le résultat d'un compromis. Watkins soutient que Follow Through a donné lieu à un conflit de valeurs basé sur des croyances différentes sur la façon dont les enfants apprennent, qui peuvent se résumer à des théories de la « croissance naturelle » ou du « déploiement » par opposition à des théories du « changement de comportement ». affirme que la plupart des experts en éducation d'aujourd'hui ne jugent pas les programmes en fonction de leur efficacité relative auprès de différentes populations d'élèves, mais plutôt en fonction de leur « congruence avec les philosophies dominantes de l'éducation ».