Juste un mot pour revenir sur le débat sur les expérimentations et les méthodes d'évaluation des politiques d'aide au développement. Angus Deaton vient de mettre en ligne le papier qui décrit précisement l'analyse qu'il avait présentée à la British Academy à Londres en novembre dernier. Un document à lire absolument pour tous ceux qui sont intéressés par ce débat.

_Antoine_

Pour ceux qui n'ont pas eu de places pour suivre les leçons d'Esther Duflo au Collège de France, il est possible de regarder la vidéo et d'obtenir la description de l'ensemble des leçons avec leur bibliographie sur le site du Collège de France. Comme quoi on peut dater de 1530 et être à la page...

_Antoine_

Esther Duflo vient d’inaugurer sa leçon au Collège de France et elle a les honneurs mérités de The Economist, du Monde et bien sûr d’Ecopublix. C’est l’occasion de revenir sur une controverse qui anime le petit monde des économistes du développement, avec à son cœur l’approche empirique défendue par notre petite Française. On n’y parle pas des milliards de dollars des banques, mais de la meilleure façon d’améliorer l’aide en faveur des milliards de personnes qui vivent avec quelques dollars par jour. Le débat se concentre sur la pertinence des « expériences contrôlées » pour accroître l’efficacité des politiques d’aide au développement initiées par les organismes tels que la Banque Mondiale ou les ONG. Alors que l’expérimentation est devenue une méthode de référence en économie empirique, des voix s’élèvent pour mettre en garde contre les espoirs que ce type de méthodes suscite. Qu’en penser ?

I. La révolution des expériences contrôlées

Pour comprendre l’enthousiasme récent des économistes pour les expériences contrôlées, il est nécessaire de faire un (rapide) survol des méthodes utilisées par les économistes dans le passé. Dans les années 1980, la méthode reine est la régression en coupe internationale : on rassemble des données sur 100 pays et on regarde les corrélations entre différentes variables. Par exemple, on constate que le montant de l’aide au développement est négativement associé à la croissance du pays. Il est alors évident que l’on ne peut en tirer aucune conclusion en termes de causalité : l’aide au développement cause–t-elle une faible croissance, ou l’inverse ?

James Heckman, prix Nobel d’économie et grand monsieur de l’économétrie, a inventé (après d’autres) une solution statistique au problème : il suffit de trouver un « instrument », c’est-à-dire une variable qui permette d’expliquer le niveau de l’aide versée mais qui soit indépendante de la croissance. L’instrument ainsi trouvé permettra d’approcher l’effet causal de l’aide sur la croissance : il s’agit de la méthode des variables instrumentales.

Cette méthode a été reprise puis adaptée aux cas des « expériences naturelles ». Celles-ci reposent sur l’idée que si l’on peut identifier deux groupes identiques et si l’un de ces groupes bénéficie de – ou subit – un « traitement » (une politique, un choc économique), il est possible de tirer des conclusions sur l’effet net moyen de ce « traitement » sur différentes variables (le revenu, la probabilité d’emploi, la santé, etc.). Si les conditions sont réalisées on pourra alors parler de causalité.

Toute une école d’économistes s’est lancée dans ces nouvelles méthodes, en particulier à Harvard et au MIT (Orley Ashenfelter, Josh Angrist ou plus récemment Steven Levitt sont des exemples parmi beaucoup d’autres). Les expériences naturelles ont fleuri et avec elles de multiples techniques (double différence, matching, regression dicscontinuity, etc). Avec la prolifération de ce type d’études, la qualité des travaux s’est néanmoins détériorée. Les multiples vérifications, pour s’assurer que les groupes de contrôle et groupes tests ne sont pas touchés par la réforme étudiée, étaient plus rarement mises en pratique. Le stock de « bonnes expériences naturelles » ou de « bons instruments » est vite apparu comme limité. Quelques chercheurs, particulièrement conscients des difficultés qu’il y avait à réaliser ces bonnes expériences naturelles, ne souhaitaient pas en rester là. Si les expériences naturelles étaient rares, ne fallait-il pas créer ce que la « nature » n’avait pas produit et passer à l’expérimentation « contrôlée » ?

L’expérimentation en économie s’est développée dans deux domaines en particulier : l’évaluation des politiques publiques et l’économie du développement. Dans les deux cas, l’évaluation avait pour objectif d’optimiser l’utilisation de ressources rares (l’argent des contribuables ou l’aide au développement) afin de maximiser l’efficacité pour les bénéficiaires.

En économie du développement, les chercheurs qui ont le plus œuvré dans cette direction sont deux brillants économistes du MIT, Esther Duflo et Abhijit  Banerjee. Ils ont créé une fondation « Abdul Latif Jameel Poverty Action Lab » dédiée entièrement au financement d’expérimentation de différentes politiques d’aide aux pays en voie de développement. L’objectif était de sortir des contraintes des expériences naturelles (où l’on est dépendant de l’expérience que l’on trouve) afin de se concentrer sur les questions pour lesquelles on cherchait des réponses. Le choix de l’expérimentation repose sur l’avantage considérable du tirage aléatoire (randomization) pour mesurer les effets d’une politique (ou d’une aide spécifique). Les résultats sont précis et robustes. De multiples études ont été réalisées qui nous ont appris beaucoup sur la façon de bien conduire de l’aide au développement (voir cet article récent qui liste les résultats surprenants d’expérimentations récentes). De plus en plus d’ONG calquent leur pratique sur les enseignements de ces études et travaillent avec des chercheurs pour améliorer l’efficacité de leurs actions. A l’opposé de la caricature d’économistes loin de la réalité en train de manipuler de grandes théories, ces chercheurs ouvrent la boite noire de la production des politiques publiques. Par exemple comment améliorer l’éducation dans les pays en voie de développement ? Faut-il embaucher plus de professeurs, payer des livres, subventionner les cantines scolaires ou vérifier la présence des professeurs. Banerjee et Duflo expliquent que les expérimentations ont pu mettre en lumière  l’efficacité sensiblement différente des politiques pour obtenir le même niveau d’éducation. L’enthousiasme, légitime, de ces jeunes chercheurs les a amené à considérer l’expérimentation comme l’idéal méthodologique (le « gold standard ») de l’économie empirique mais aussi comme l’espoir d’un renouveau de l’engagement citoyen et la promesse d’un monde meilleur...

II. Les critiques des sceptiques

Ces nouvelles méthodes n’ont pourtant pas convaincu tout le monde. Elles suscitent même de sérieuses controverses parmi les économistes (relatées en partie par The Economist). Récemment, à l’occasion de la publication d’un livre au MIT Press par Abhijit  Banerjee, Making Aid Work, puis d’une conférence organisée par le Brookings Institute, le très respecté Angus Deaton (Princeton) et le non moins écouté Dani Rodrik (Harvard) ont chacun fait part de leurs inquiétudes devant le développement de ces méthodes (ou les attentes que l’on peut en avoir). Deaton raille ainsi ces « randomistas » qui ont développé une passion pour les expérimentations et dénonce les expérimentations comme la dernière lubie à la mode. Deux types de critique sont mises en avant.

1. L’éthique en question

Le premier problème de l’expérimentation est un problème éthique. L’identification d’un groupe de contrôle et d’un groupe test suppose que l’on choisit consciemment de ne pas « traiter » tout le monde. Comme le « traitement » est généralement une politique ou de l’aide que l’on juge a priori bénéfique, il est difficile de ne pas voir une injustice à ne pas offrir cette aide à tout le monde. L’argument des chercheurs a été de pointer le fait qu’on ne connaît pas l’efficacité des différentes aides possibles. Les ressources étant rares, chaque ONG est finalement contrainte à faire un choix d’un pays et même d’une petite région où opérer. En testant les différentes aides possibles par expérimentation, les ONG peuvent non seulement lever plus de ressources mais également privilégier les méthodes les plus efficaces, aidant ainsi un nombre bien plus large d’individus.

Mais cette justification apparaît parfois difficile à tenir. Si personne ne réagit fortement lorsque l’on évalue l’aide à l’éducation en comparant l’achat de livres par rapport à l’achat de l’uniforme ou l’effet de la présence des enseignants, lorsqu’on parle de l’effet de traitement médicaux sur les performances scolaires, de légitimes questions doivent être posées. Edward Miguel et Michael Kremer ont ainsi étudié l’effet d’un traitement contre les vers intestinaux sur l’absentéisme à l’école afin de mesurer les effets d’externalité des politiques de santé sur l’accumulation de capital humain. Cet article, qui est par ailleurs un article « phare » de cette école de recherche, a causé des discussions animées sur la justification éthique de telles recherches. Le processus expérimental a consisté à tirer au hasard des enfants kenyans en administrant à seulement la moitié d’entre eux le traitement contre les vers pour mesurer l’effet du traitement sur les performances scolaires (on connaît l’efficacité directe du traitement en terme de santé et le coût du traitement est très faible). Les chercheurs pointent que cette étude a permis de mettre en évidence qu’un traitement qui coûte 30 centimes permet d’obtenir un supplément d’éducation aussi tangible que de couteuses politiques à plus de 6000 $. Au lieu de financer des livres pour chaque enfant, il est possible – pour le même coût – d’être vingt mille fois plus efficace en offrant un traitement contre les vers à tous les enfants africains.

Le résultat de cette étude valait-il le coût éthique de cette expérimentation ? Est-il mieux de pouvoir mesurer cette externalité ou faut-il savoir limiter les champs d’expérimentation ? En d’autres termes, la fin justifie-t-elle les moyens ? Même si l’objectif final est d’aider ces populations, on ne peut s’empêcher de penser que s’il est plus facile de réaliser ces expériences dans les pays en voie de développement c’est aussi parce que dans les pays développés, les citoyens ont leur mot à dire sur l’opportunité de ces études…

2. Les limites méthodologiques

Plus que le problème éthique, ce qui semble le plus agacer les sceptiques, ce sont les prétentions de supériorité méthodologique.

James Heckman rappelle que la validité des expérimentations n’est que conditionnelle. Les résultats ne sont valables que dans le contexte de l’expérimentation (dans le pays, sur l’échantillon traité, selon les conditions macroéconomiques, etc.) . Ainsi, si une expérience met en évidence que l’aide aux chômeurs en Suède pendant une forte période de croissance est positive sur le retour à l’emploi, cela ne permet pas d’en déduire l’effet d’une politique similaire en France pendant une période de récession. Selon les mots de Deaton, le risque est d’amasser des faits et non de la connaissance. Les défenseurs des expérimentations lui rétorque que c’est une raison supplémentaire de faire plus d’expériences et non moins !

Les sceptiques répliquent alors que la multiplication des expérimentations de résout pas le fait qu’elles ne mesurent pas tous les effets. Ainsi, une politique peut être efficace à dose homéopathique (lorsqu’elle n’a pas d’impact sur les coûts ou les marchés du travail) mais peut se révéler complètement inefficace une fois qu’on prend en compte ses impacts macroéconomiques. C’est pourquoi Deaton raille les espoirs mis dans les expérimentations car, selon lui, elles ne peuvent qu’évaluer des petites politiques mais deviennent obsolètes dès que l’aide versée est suffisamment importante pour faire une différence.

L’autre point du débat est l’opposition entre vision micro et macro. Si les méthodes empiriques des macroéconomistes ont été discréditées au profit d’analyses micro plus rigoureuses et plus ciblées, les analyses globales (institutions, ouverture commerciale, etc.) n’en restent pas moins pertinentes pour expliquer le développement économique. Comme Deaton et Rodrik le soulignent, les pays qui se sont développés récemment (et ont sorti de la pauvreté des millions d’individus) ne l’ont pas fait en s’appuyant sur une aide extérieure et encore moins sur des politiques de développement expérimentées au préalable, mais en s’ouvrant au commerce, en garantissant les droits de propriété et en luttant contre la corruption.

Au final, doit-on reprocher à l’expérimentation d’apporter des informations très précises certes mais sur des points somme toute négligeables ?

III. Qu’en conclure?

Ce débat peut laisser songeur. Lorsque l’on compare la défense des expérimentations par Duflo et Banerjee et les critiques qui leur sont faites, on ne peut s’empêcher de penser que tout le monde s’accorde en fait sur deux points essentiels : les expérimentations sont extrêmement utiles et correspondent à un progrès substantiel par rapport aux analyses passées. Mais ce n’est pas la fin de l’histoire pour autant et d’autres méthodes, avec une meilleure compréhension des mécanismes, devront être développées. Une des voies d’avenir serait de parvenir à modéliser les comportements économiques en testant les hypothèses lors d’expériences : si le modèle est robuste à ces tests, il peut être utilisé pour juger d’autres politiques, hors du contexte de l’expérimentation ou pour évaluer des politiques qui ne peuvent pas être soumises à l’expérimentation.

L’opposition micro/macro est aussi stérile. Certes, les grands mouvements macroéconomiques (croissance, commerce) sont probablement plus importants pour la réduction de la pauvreté dans les pays pauvres, mais en rester à un niveau d’analyse macro n’a souvent aucun intérêt pratique : savoir si l’aide en soi est bonne ou pas pour la croissance n’est pas forcément la bonne question à poser au vu de l’hétérogénéité de l’aide possible. Essayer de comprendre quel type d’aide est efficace, ou est contreproductif, est probablement plus important. Pour ce faire, une combinaison d’expérimentations et de modélisation d’effets macroéconomiques sera déterminante.

Il est enfin difficile de reprocher aux partisans des expérimentations le souhait de voir ajouter au mur de la connaissance économique des petites mais solides pierres, quand on compte le nombre de grandes théories qui n’ont pas survécu à leur auteur. La modestie de ces approches est au contraire tout à l’honneur des chercheurs qui les poursuivent. Ceux qui en viennent à professer que les expérimentations sont la seule voie pour sauver le monde n’en ont simplement pas compris la philosophie.

_Antoine_

Regarder de près la situation qui prévaut chez les Goths en matière d’évaluation des politiques publiques est instructif pour mesurer à la fois les limites de l’organisation gauloise que nous prenons trop souvent pour une évidence gravée dans un menhir par Toutatis. On a vu comment les réformes Hartz avaient été d'emblée évaluées (avec un succès très relatif tant en termes de méthode que du point de vue des résultats); ce post a pour objectif de montrer comment les prévisions macroéconomiques et de finances publiques (déficit, dette) sont réalisées en Allemagne.

L’idée est que, si les économistes allemands se trompent sans doute autant que leurs cousins d'outre-Rhin, la Germanie est mieux outillée que la Gaule pour organiser de manière transparente la production de prévisions crédibles afin qu'un débat plus serein sur la politique budgétaire du gouvernement puisse avoir lieu. Cette meilleure organisation est pour partie liée à des caractéristiques institutionnelles (rôle accru en droit – constitution – et en fait – moyens humains – du parlement, fédéralisme) qu’il est sans doute difficile d’importer chez nous, mais pour partie aussi liée à une répartition différente des tâches, qui pourrait, elle, faire l’objet d’une adaptation avantageuse dans l’Hexagone.

La préparation du budget chez les Goths

La définition du cadre macroéconomique (quelle croissance du PIB l’année prochaine ?) dans lequel s’inscrit la préparation du budget est caractérisée en Allemagne, à la différence de la France, par le fait que le gouvernement n’y joue qu’un rôle secondaire. Alors qu’en France les hypothèses de croissance et de recettes fiscales sur lesquelles reposent le budget sont fabriquées en interne par le ministère des Finances, en Allemagne, le ministère des Finances se voit en quelque sorte imposer les paramètres de l’extérieur, ce qui rend les hypothèses plus crédibles et permet au débat de se concentrer sur les vraies questions.

En pratique, un gouvernement qui peut cuisiner lui-même ses hypothèses de croissance et de recettes fiscales va avoir tendance à être trop optimiste ou trop pessimiste selon ses objectifs. S’il veut expliquer à ses citoyens qu’on peut dépenser sans compter, il aura tendance à surestimer la croissance à venir, s’il veut au contraire leur faire comprendre qu’il faut se serrer la ceinture, il aura tendance à la sous-estimer (dans la réalité, ce second biais est beaucoup plus rare…). Après coup, le gouvernement se retrouve souvent devant une dérive de la dépense qu’il ne peut couvrir avec des recettes qui sont finalement plus limitées que prévu. Il a donc à faire face à un déficit plus important que prévu ; à une augmentation possible de sa dette, et aux foudres de ses partenaires européens qui lui reprochent de ne pas tenir ses engagements.

La chronologie de la préparation d’un budget est en gros la suivante. Nous sommes en juin 2000 : la préparation du budget pour l’année 2001 se déroule dans la plupart des pays de l’Union européenne à partir de juillet et le budget est voté par le Parlement avant la fin de l’année 2000. Or en juillet 2000, on connaît uniquement ce qu’à été la croissance au premier trimestre 2000 : on doit donc avoir une vision à un horizon distant de 7 trimestres, dont 6 qui n’ont pas encore eu lieu, pour savoir ce qu’on peut prévoir de dépenser en 2001. Il est clair que cet exercice est difficile et que les prévisions qui sont faites se révèlent souvent fausses, ex-post. La question est de savoir si elles sont fausses car activement biaisées, ou fausses juste en raison d’erreurs de prévisions « neutres ».

Le système allemand semble mieux garantir cette neutralité que le système français. Au printemps, les principaux instituts de conjoncture économique (ils étaient jusque tout récemment 6, ils sont désormais 5) réalisent une prévision de croissance consensuelle qu’ils rendent publique (dans certains cas, s’il est difficile d’atteindre un consensus, des éventuelles « opinions divergentes » peuvent être contenues dans le rapport). Le gouvernement annonce dans les jours qui suivent sa propre prévision de croissance. Bien entendu, il est libre d’annoncer ce qu’il veut, mais il ne peut ignorer la prévision des instituts et doit s’expliquer s’il s’en éloigne. En pratique, l’organisation d’une prévision indépendante consensuelle et officielle renchérit sensiblement le coût politique et en termes de crédibilité d’une prévision divergente voir « trafiquée » qui serait par exemple ½ point au-dessus du consensus.

Quelques semaines plus tard, le « Groupe de travail des estimations fiscales » se rassemble, et produit, sur la base de l’hypothèse de croissance annoncée par le gouvernement et des données les plus récentes concernant les recettes fiscales, une prévision de l’ensemble des recettes fiscales pour l’année suivante. De la même manière, le ministère des Finances doit s’appuyer sur cette prévision pour préparer son projet de loi de finances : non que cela soit prévu dans la loi, mais là encore, le coût politique d’une déviation est important et doit être mesuré : il est ardu de justifier que sur la base des mêmes données et des mêmes hypothèses économiques, les services du ministère des Finances prévoient plusieurs milliards d’euros de recettes supplémentaires.

Les Instituts de conjoncture chez les Goths

Qui sont ces Instituts et ce « Groupe de travail » qui donnent finalement le « la » de la discussion budgétaire en Allemagne ?

Les Instituts de conjoncture sont des instituts de recherche économique et de conjoncture indépendants (même s’ils dépendent lourdement de fonds publics), qui rassemblent en pratique les tâches qui sont en France pour l’essentiel réalisées par les différentes divisions de l’Insee qui sont chargées de réaliser des études, et par l’(ex-)Direction de la Prévision (voir le post sur l’évaluation en France). Ces instituts qui sont répartis sur tout le territoire allemand (Ifo à Munich, DIW à Berlin par exemple) sont en concurrence entre eux, et pas avec l’Office fédéral de la statistique qui se contente de produire des données statistiques et de les mettre à disposition (un monopole d'exploitation des données fausserait la concurrence).

Les instituts sont régulièrement évalués par leurs pairs en fonction de leurs performances académiques et de leur capacité à alimentater le débat public. En cas de mauvais résultats, ils peuvent être exclus de la « guilde » des « principaux instituts » et donc ne plus avoir la possibilité de réaliser la « prévision consensuelle » (qui, au passage, est grassement rémunérée). Cette menace n’est pas que théorique puisque c’est ce qui est arrivé l’année dernière à l’institut HWWA de Hambourg devenu depuis HWWI, et plus récemment au DIW de Berlin (je reviendrai sur cette affaire instructive dans un post prochain).

Le « Groupe de travail des estimations fiscales » rassemble quant à lui les experts en finances publiques de ces mêmes instituts et ceux du gouvernement (au niveau fédéral et régional). Le « Groupe de travail » est donc moins indépendant mais reste une enceinte où les experts extérieurs au gouvernement prennent une part active, ce qui n’est pas le cas en France où il est difficile à un expert indépendant de contester de manière informée les projections de recettes fiscales du gouvernement...

Moralité...

Au total, il est quand même bien difficile de mettre en évidence une qualité supérieure de la procédure budgétaire en Allemagne par rapport à la France, au sens où les mauvaises ou bonnes surprises sur les recettes seraient moins fréquentes outre-Rhin.

Il est cependant intéressant de noter que la confiance du public dans les chiffres qui sont données par le gouvernement semble plus importante. La méfiance endémique qui règne en France sur les chiffrages qui précèdent le budget n’existe pas en Allemagne, puisque ceux-ci sont fabriqués en dehors du gouvernement. Cela permet à la discussion de se concentrer sur les sujets fondamentaux : répartition des dépenses entre les différents ministères, efficacité des nouvelles dépenses proposées, etc.

_Fabien_

Le lecteur de ce blog est sûrement lassé par l’apologie de l’évaluation des politiques publiques que nous menons tambour battant depuis la naissance d'Ecopublix (épidose 1, épidose 2, épisode 3, épisode 4, épisode 5). Mais tant pis : nous avons décidé de continuer le matraquage (Etienne Wasmer semble nous y encourager). Après le panorama du système français actuel, vient le temps des exemples étrangers. Aujourd’hui, voici le cas du pays du sanglier bouilli à sauce à la menthe et de la cervoise tiède.

L’histoire de l’évaluation des politiques publiques en Grande-Bretagne est relativement récente. Même si des institutions indépendantes existent depuis longtemps pour proposer une expertise économique indépendante, 1997 a été un tournant dans la façon d’aborder l’évaluation des politiques économiques. L’équipe menée par Tony Blair et Gordon Brown a mis en place plusieurs dispositions visant à l’évaluation systématique et indépendante de leurs politiques (la LOLF avec 10 ans d’avance). Pour résumer rapidement, chaque ministère dispose d’un budget conséquent pour évaluer les nouvelles réformes. Des institutions académiques, mi-centre de recherche, mi-think-tank sont mis en concurrence pour proposer des études sur les réformes, plusieurs sont choisis afin de confronter les résultats. Le ministère doit participer avec ces institutions de recherche à la démarche d’évaluation : la réforme est mise en oeuvre de façon progressive avec des expériences d’une à deux ans sur des localités tirées au hasard afin d’évaluer son effet de façon convaincante (des groupes test et de contrôle peuvent être utilisés par les chercheurs et la littérature empirique sur les expériences naturelles peut être mise à profit), les données sont collectées avant la mise en place de la réforme et longtemps après afin d'en tirer tous les enseignements.

Prenons l'exemple de la mise en place des réformes des politiques de l’emploi, les New deal. Le New Deal for Young People (NDYP), par exemple, visait à aider les jeunes de moins de 25 ans au chômage à retrouver rapidement un emploi. En octobre 1997, juste après l’élection de Blair, des « pilots » sont lancés dans certaines municipalités, les chercheurs invités à estimer les effets sur l’emploi, le chômage, la durée et la qualité des emplois retrouvés. Le fait de choisir de façon aléatoire des groupes tests et des groupes de contrôle rend le travail des chercheurs plus facile et, surtout, leurs résultats plus convainquants. La réforme consiste à obliger tous les jeunes de moins de 25 ans au chômage depuis plus de 6 mois à suivre un encadrement intensif pendant 4 mois pour retrouver un emploi (non subventionné). En cas de manquement à ce programme, les allocations chômage sont suspendues. Si au bout de 4 mois, le jeune n’a pas réussi à trouver un emploi, plusieurs options lui sont proposées : emploi subventionné ou formation. Les études sur ce programme ont été légion (les données ont été rendues disponibles à tous les chercheurs) et l’image des différents effets de cette réforme s’est progressivement précisée dans un consensus académique : le New Deal for Young People a été un succès pour faire revenir à l’emploi les jeunes chômeurs anglais, la première phase de conseil de 4 mois a permis d’augmenter le taux d’emploi de près de 5 points, la seconde phase a surtout été efficace avec l’option des emplois subventionnés (l’effet des formations étant plus mitigé). Aucun effet de substitution ne semble avoir été détecté. Au vu de ces résultats encourageants, le programme a été étendu à tout le pays en avril 1998 et demeure comme l'un des grands succès du premier gouvernement Blair. Cette démarche de test des réformes a ensuite été systématiquement mise en place pour les réformes du gouvernement travailliste, suscitant l’approbation des économistes anglais qui militaient depuis longtemps en faveur de telles expériences naturelles. Ce qui reste encore difficile pour le gouvernement actuel est de mettre un terme à une réforme si elle s’est avérée inefficace : la démarche d’évaluation implique le courage de reconnaître que l’on s’est trompé…

Le deuxième pilier des politiques publiques anglaises sous le gouvernement Blair a été de favoriser l’émergence de conseils d’experts au pouvoir exécutif. Ainsi, la mise en place du salaire minimum en avril 1999 s’est fait en parallèle de la création de la Low Pay Commission qui décide des augmentations du salaire minimum, avec la reconnaissance implicite qu'une trop forte augmentation du salaire minimum peut avoir des effets négatifs sur l’emploi. Pour éviter les tentations démagogiques de son gouvernement, Brown a visiblement choisi de rendre la décision indépendante du pouvoir politique. La commission a donc commandé des dizaines d’études sur les effets du salaire minimum (évoquées par Eric Maurin dans son blog). Sans cette démarche pragmatique et d’évaluation, ce genre d’études n’aurait jamais vu le jour.

Enfin il reste à apprécier les instituts de recherche et think-tank qui participent au débat économique en proposant leur propre expertise à une presse avide d’analyses rigoureuses. On peut distinguer deux types d’institutions : des think-tanks politiques qui emploient des experts des politiques publiques pour développer des propositions et analyser les propositions concurrentes. Ces think-tank sont liés plus ou moins étroitement aux différents partis politiques britanniques et, même s’ils gardent une certaine indépendance critique, ils n’en défendent pas moins une certaine ligne idéologique (dans le bon sens du terme) : l'Institute for Public Policy Research qui est proche du Labour défend la politique du gouvernement en insistant sur les succès du gouvernement Blair (emploi, baisse de la pauvreté), Center Forum qui est proche des Lib Dem insiste sur les inégalités que n’a pas sur résorber l’actuel gouvernement et Policy Exchange qui est proche des Conservateurs va souligner les atouts du nouveau candidat du parti.

A côté de ce genre de think-tank (beaucoup plus nombreux que les trois cités ici), il existe de nombreux centres de recherche indépendant, liés à des universités, qui font un travail de vulgarisation des résultats de la recherche académique. On peut citer ainsi pèle-mèle le Policy Studies Institute (PSI), le Center Economic Performance (CEP) lié à la célèbre London School for Economics (LSE), ou The Institute for Fiscal Studies (IFS) proche d’University College London (UCL). Ces centres de recherche consacrent l’essentiel de leurs ressources à la recherche académique de haut niveau, mais réalisent aussi des évaluations de grande qualité à la demande des ministères ou des administrations publiques, utilisant ainsi les dernières avancées économétriques ou de traitement statistique des données. A côté de cette activité de recherche académique, ces instituts participent de près au débat public.

L’exemple de l’IFS est à ce titre exemplaire. En plus de son activité de recherche de très haut niveau (en particulier en économétrie ; avec des universitaires reconnus et respectés), l’institut occupe une place de choix dans la vie politique anglaise. Avant la publication du budget du Chancelier, l’IFS publie son propre Green Budget pour détailler les choix du gouvernement, les possibilités de réforme. La publication annuelle de cette analyse est un événement important, suivi par toute la presse et par les partis politiques : l’opposition y cherche des armes, le parti au pouvoir cherche à y trouver de l’inspiration ou une confirmation de ses positions. Chaque programme politique est passé au crible de l’analyse économique, les chercheurs de l’IFS mettant un point d’honneur à présenter une analyse honnête et politiquement indépendante (un chercheur qui part travailler pour un parti doit quitter l’institut et ne peut jamais y retourner). L’institut ne prend jamais position, mais cherche à déterminer le coût et les effets des mesures proposées, en terme d’inégalités, en terme d’emploi, sans hésiter à souligner les incertitudes. Il suit l’actualité et publie des press releases dès qu’une mesure ou proposition apparaît dans le débat public. Les analyses sont simplifiées pour être compréhensible par un public large, les concepts économiques reprécisés à chaque fois. Tout est fait pour faciliter le travail des journalistes et leur permettre d’alimenter leurs colonnes avec des graphiques et des analyses qui ont fait l’objet d’un consensus au sein de la communauté scientifique. Enfin, un véritable travail de communication est réalisé, avec l’organisation de conférences où la presse est invitée, avec l’organisation de débats économiques avec les partis politiques. Les chercheurs reçoivent une formation pour savoir s’exprimer avec les outils audio et télévisuels : la contrainte de s’exprimer dans un temps très court pour expliquer des effets complexes de façon simple exige une véritable préparation. Cette démarche a permis d’établir l’IFS comme un des think-tanks les plus respectés dans le débat économique anglais. En même temps, le souci de vulgarisation est très présent pour les chercheurs de l’IFS : ainsi un outil pour aider à comprendre la distribution des revenus a été mis en place, un outil pour comprendre le fonctionnement du budget a été aussi réalisé il y a quelques années et de façon mensuelle, les informations sur le système fiscalo-social anglais sont actualisées sur le site de l’institut.

Cela contraste singulièrement avec la situation française. Au vu des ressources de qualité dont on dispose en France ici ou là, on se demande vraiment ce qui nous empêche de faire au moins aussi bien que nos voisins Bretons !

_Antoine_

A la suite des posts d’écopublix sur l’évaluation des politiques publiques (épisode 1, épisode 2, épisode 3, épisode 4), le nouveau gouvernement a décidé de créer un secrétariat à l’évaluation des politiques publiques, attaché au Premier ministre. Comme son rôle n’est pas très clair et alimente la controverse, il m’a semblé utile de faire un petit panorama critique de l’état actuel de l’évaluation des politiques publiques en France.

I/ Les administrations s’auto-évaluent

Un rapport d’information du Sénat en 2004 fait le point sur notre système d’évaluation. Il est très complet et relève bien ses insuffisances. Le but de ce post n’est pas d’en faire un résumé, mais de présenter rapidement les institutions françaises d’évaluation en pointant leurs atouts et leurs faiblesses.

Le système administratif français repose sur une structure pyramidale, centralisée, dont le but est d’appliquer les lois votées par le Parlement. Il s’agit d’une vision fondamentalement juridique de l’administration. Dès lors, l’évaluation des politiques publiques constitue avant tout l’exercice d’un contrôle des politiques. De façon guère étonnante dans ce cadre, ce sont les juristes de la Cour des Comptes qui ont pour vocation à contrôler les dépenses de l’Etat. Néanmoins, la Cour des Comptes ne possède pas les compétences et l’expertise nécessaire pour réaliser de véritables évaluations, consistant à mesurer précisément l’efficacité d’une politique au vu de ses objectifs. Plus profondément, la logique de la Cour est une logique comptable et non une logique d’économiste, c’est-à-dire qui discuterait du rendement de tel ou tel investissement public.

Les centres dédiés à l’évaluation des politiques publiques se concentrent au sein des ministères, sous l’autorité du ministre qui met en place la politique. L’idée est de mettre à la disposition du ministre toute l’expertise nécessaire pour mettre en place la politique la plus efficace. Il ne s’agit pas d’alimenter le contrôle parlementaire ou le débat public via la presse. Cinq institutions, importantes dans le domaine économique méritent d’être ici évoquées :

• La DGTPE, du ministère des Finances, est le centre de l’expertise économique du gouvernement. Ses membres sont essentiellement des administrateurs Insee, avec une solide formation en économie. Ils sont dirigés par des énarques avec l’objectif de servir la volonté politique du ministre.
• L’Insee jouit d’une relative indépendance, sous la condition implicite de ne pas réaliser d’études trop politiques. Son expertise étant reconnue, l’institut de statistique est unique dans le monde pour ne pas se limiter à la production de données, mais aussi à la recherche et donc à l’évaluation des politiques économiques. Cette dernière activité est rendu difficile par sa dépendance vis-à-vis du ministère des Finances.
• La Drees du ministère de la Santé est le centre de recherche des politiques de la santé et des retraites.
• La Dares du ministère du Travail effectue les évaluations des politiques de l’emploi.
• La Dep du ministère de l’Education nationale se concentre sur les politiques éducatives.

II/ Les institutions indépendantes

Contrairement aux pays anglo-saxons et dans une certaine mesure aux pays scandinaves, la France compte très peu d’institutions de recherche en économie capable de réaliser des évaluations de qualité et de communiquer dans le débat public.

« Par ailleurs, d’un point de vue quantitatif, les ressources disponibles pour contribuer aux travaux d’évaluation des politiques publiques restent sous-dimensionnées. Une diffusion insuffisante de la culture de l’évaluation chez un certain nombre de prestataires « naturels » d’évaluation explique, pour beaucoup, cet état de fait. C’est vrai pour des organismes, comme les universités, pour lesquels les études et la recherche restent des activités privilégiées. Mais cette situation existe aussi, à un moindre titre, pour les trop rares « Think tanks » à la française. Elle se combine avec la modestie des moyens de ces derniers, et, parfois, avec une position institutionnelle ambiguë pour limiter le développement de leurs activités d’évaluation. » (extrait du Rapport d’information du Sénat 2004 pp. 35-36)

La situation française combine des universités sous financées en situation de déclin, avec des centres de recherche coupés du débat public et des administrations et une expertise publique qui reste au mieux généraliste et sans compétence spécifique. Le bas niveau du débat économique en France, déploré sur la blogosphère, dans les ministères, ne date pourtant pas d’hier. Le rapport Lenoir-Baudoin Prot de 1979 avait suggéré d’y remédier en constituant d’autres pôles d’expertise économique que ceux de l’Insee et du ministère des finances. Deux nouveaux instituts indépendants avaient été créés : l’Institut de recherche économiques et sociales (IRES) et l’Observatoire français des conjonctures économiques (OFCE). En outre, le rapport recommandait de renforcer les moyens de Rexeco, ancêtre du COE-Rexecode, l'institut de recherche proche du patronat.

La France dispose ainsi de deux instituts de recherche économiques affiliés l’un aux syndicats et l’autre au patronat.

Ires : Ce centre de recherche est censé servir de lieu d'expertise aux milieux syndicaux afin d’affermir leurs capacités de proposition. Malheureusement, si des chercheurs compétents composent cette institution, l’IRES pâtit lourdement de son affiliation syndicale, qui rend ses analyses suspectes de parti pris idéologique. C’est d’ailleurs souvent le cas : les publications des chercheurs de l’IRES font rarement l’objet d’un consensus scientifique et apparaissent très souvent comme des positions militantes au ton très engagé.

Rexecode : L’institut est financé par fonds privés et est souvent présenté comme le centre de recherche du patronat. De fait, le ton de ses études n'est pas neutre en ce que ces dernières cherchent généralement à mettre en avant les arguments qui vont dans le sens des prises de position du Medef. L’évaluation extrêmement positive des propositions de Nicolas Sarkozy lors de la dernière campagne présidentielle ne fait que renforcer ce sentiment. Et quand celui-ci le cite comme preuve du consensus qui entoure son programme, les économistes ne peuvent que s’énerver.

Au départ la création de ces instituts avait pour but de fournir une expertise aux partenaires sociaux afin de faciliter un dialogue jugé difficile. Globalement, l’expérience fut un échec : le combat militant ayant remplacé l’expertise, l’effet final a été plus négatif avec l’impression donnée aux partenaires sociaux que l’analyse économique n’est qu’affaire d’idéologie et de manipulation des données. C’est probablement l’idée qu’en avaient les instigateurs de ces instituts : face à une recherche marquée à droite, il fallait une recherche marquée à gauche… Du coup, rien d’étonnant à ce que les politiques continuent de classer les chercheurs selon les résultats de leurs études, plutôt à gauche ou plutôt à droite selon qu’ils critiquent l’un ou l’autre camp. Cette situation nourrit la faible qualité du débat économique en France sans faire mentir l'éternelle antienne : « on peut tout faire dire aux données ! »…

A côté de ces instituts, les centres de recherche universitaires sont trop peu développés. L’OFCE constitue à l'heure actuelle l'exemple le plus satisfaisant d’institut économique indépendant et apportant une réelle expertise au débat public. Son lien avec Sciences-po et avec le milieu universitaire (doctorants, conférences scientifiques et publication) est la meilleure garantie d’une indépendance et d’une certaine crédibilité. Son atout le plus direct est de bénéficier de la bonne gestion, professionnelle de Sciences-po : le site web, de bonne facture, est actualisé régulièrement, des liens ont été établis avec des instituts de conjoncture étrangers. Mais il faut reconnaître que l’institut s'est spécialisé dans les questions de conjoncture et de macroéconomie qui laissent de côté toutes les évaluations de politiques économiques qui sortent du cadre de la politique monétaire et budgétaire. Et il ne fait de mystère pour personne que l’OFCE défend plus nettement une vision néo-keynésienne de l’économie (il faut baisser les taux d’intérêt et faire du déficit public) peu propice à l’analyse des politiques microéconomiques (fiscalité, politiques de l’emploi…).

Le CEE : le Centre d’étude de l’emploi est une institution intéressante au sens où son objectif de recherche académique est plus marqué que dans les deux instituts précédents. La recherche y est de bonne qualité mais – et c'est là le revers de la médaille – sa présence dans le débat public est plus que limitée.

le Cepremap : Le Cepremap est un institut de recherche récent, ancien laboratoire du Commissariat au plan recyclé en centre d’expertise à vocation d’évaluation. Les chercheurs qui y travaillent sont d’une grande qualité académique, mais force est de constater que l’interface de l’institut avec le grand public est pour le moins limité (le site web est plus une liste de documents de travail qu’une présentation pédagogique des enjeux des politiques publiques). Pour l’instant, seule la série des opuscule du Cepremap correspond à l’enjeu de communication des travaux des chercheurs.

L'Institut d'Économie Publique (IDEP) : L’IDEP est un institut basé à Marseille, proche par ses membres du GREQAM, le laboratoire d’économie publique d’Aix-Marseille. Son site web est nettement plus dynamique que celui de son équivalent parisien et témoigne de la vitalité de la recherche économique dans le Sud de la France (que l’on a tendance à oublier au profit de Paris et de Toulouse). Si tous les ingrédients sont réunis pour faire de l’institut un succès, on ne peut que s’étonner du manque de lisibilité nationale de l’IDEP. Peu présent dans les médias, peu cité dans le milieu académique, l’institut n’a pas encore réussi à sortir de la matrice d’un institut d’expertise régional.

III/ Les nouvelles créations

Disons le tout net : la France ne dispose pas à l’heure d’aujourd’hui d’institutions de qualité, professionnelles et indépendantes pour mener à bien l’évaluation des politiques publiques. Si ce constat est loin d’être une nouveauté, un certain nombre de dispositions laissent à penser que les choses peuvent rapidement changer.

La LOLF est la plus importante manifestation de cette volonté de changement : parmi d’autres réformes, elle implique l’évaluation des politiques publiques. On ne va pas revenir dans ce post sur cette réforme, sur ses limites et le chemin qu’il reste à parcourir pour son application. Prenons pour acquis ses objectifs. Quels sont les moyens pour y parvenir ?

Les derniers gouvernements ont eu à cœur de faciliter l’expression de l’expertise via des « conseils », ou réunion de « sages » : Conseil d’Analyse économique (CAE), Conseil d’orientation des retraites (COR), Conseil de la formation professionnelle tout au long de la vie (CNFPTLV), Centre d’analyse stratégique (CAS, ex commissariat au plan) et dernier né de ces « conseils », le Conseil d’orientation pour l’emploi (COE). On se souvient aussi de la suppression du CSERC par Edouard Balladur en 1994, puis de la recréation par Jospin en 2000 du Conseil de l’Emploi, des Revenus et de la Cohesion sociale (CERC). Cette liste n’est bien sûr pas exhaustive et la tentation est forte pour le blogueur de dénigrer tout cela comme une vieille habitude bien française de créer une commission lorsqu’on ne parvient pas à résoudre un problème (le terme « conseil » faisant plus expert que « commission » et « Centre d’analyse stratégique » sonnant moins soviétique que « Commissariat général du Plan »). Qu’en est-il exactement ?

Il est évidemment trop tôt pour donner un avis définitif. En tout état de cause, les intentions sont très bonnes : au sein du CAS, un Conseil national de l’évaluation est chargé de diriger l’évaluations des politiques publiques. Les chercheurs sont censés être indépendants, les opinions des partenaires sociaux écoutées, le débat facilité. Un bon exemple est le COR qui a réussi à faire accepter le constat du déséquilibre des retraites et du chiffrage des enjeux comme un fait non contestable (cf les fiches pour le débat).

Mais tous ces organismes sont sous l’autorité du Premier ministre et n’ont pas d’indépendance formelle. Les liens avec le milieu universitaire sont, au mieux, tenus. Il semble que ces conseils ont été constitués moins pour évaluer, analyser et proposer que pour faire la pédagogie de réformes « évidentes » à faire passer aux Français. Au final, j’aurais tendance à penser que toute évaluation menée par des organismes dépendants de l’exécutif et non liés au monde académique est voué à l’échec (cf la discussion avec SM d’éconoclaste).

A suivre : un topo sur les exemples étrangers qu'on serait bien inspirés de suivre en Gaule…

_Antoine_

Nous continuons notre série sur l'évaluation des politiques publiques. Après avoir évoqué les motivations pour des politiques économiques reposant sur des évaluations solides, décrit les obstacles techniques à surmonter pour réaliser des études de qualité, nous abordons aujourd'hui les difficultés institutionnelles. Le rôle des économistes dans la campagne électorale est en débat. Certains choisissent une posture militante, certains s'abstiennent de prendre parti et d'autres ne participent pas du tout au débat public. Pour alimenter le débat public, ce post défend le besoin d'institutions qui allient la nécessaire crédibilité scientifique et des talents de communication, une subtile potion magique, encore inconnue des Gaulois.

La difficulté technique est réelle mais n’est pas forcement le point sur lequel nous avons en France le retard le plus important. Ce qui manque cruellement ce sont des institutions qui sachent communiquer aux citoyens comme à leurs représentants les résultats et les discussions des chercheurs sur ces évaluations. Ce besoin d’institutions ne veut pas dire qu’il soit facile aux chercheurs de convaincre leurs concitoyens de leurs résultats, bien au contraire ! La recherche scientifique est en partie une recherche de résultats et en partie un exercice de persuasion de la communauté scientifique (avec des méthodes, une démarche de réplication…). Pour le succès de l’évaluation, il faut convaincre en plus les politiques et les citoyens qui les élisent. Les chercheurs ne peuvent se satisfaire du modèle de l'intellectuel engagé, ils ont besoin d’institutions crédibilisant leur participation au débat public.

Communiquer comme exercice démocratique.

La décision doit rester celle des citoyen : l’expert n’est pas là pour capturer le pouvoir des citoyens, mais pour l’éclairer. Les citoyens doivent savoir, car c’est là la garantie d’un vote qui ne se laisse pas abuser par les démagogies. C’est aussi une nourriture indispensable pour la démocratie, afin qu’elle ne sombre ni dans le populisme ni dans une aristocratie élitiste.
Les représentants doivent savoir, d’une part pour pouvoir contrôler efficacement l’exécutif, et d’autre part car ce sont eux qui dans une large mesure font l’offre politique. Ils doivent pouvoir être en mesure de savoir s’ils font des propositions crédibles ou totalement fantaisistes, et surtout si les politiques qu’ils proposent ont des chances d’atteindre les objectifs qu’ils ont annoncé à leurs électeurs. Le problème n’est pas tant que nos femmes et hommes politiques disent qu’ils souhaitent baisser le chômage, que de savoir comment.

La crédibilité indispensable.

La qualité d’une évaluation ne dépend pas que de sa qualité technique et de la communication qui peut en être faite : son utilité pour le débat publique repose avant tout sur sa crédibilité auprès du public. Trois écueils doivent être impérativement évités :

1. Le premier est la dépendance au pouvoir politique. Les évaluations des politiques publiques ne peuvent pas être réalisées par les administrations chargées de leur mise en place (on ne peut être juge et partie). Il est impossible de penser qu’un ministre (voire une administration) n’ait pas la tentation de contrôler l’évaluation de la politique qu’il a défendue. De nombreux exemples récents en France soulignent qu’un tel contrôle a lieu régulièrement, soit en censurant les études réalisées, soit en empêchant leur réalisation par l’interdiction d’accès aux données.
2. Rexecode ou l’IRES sont officiellement liés respectivement au patronat ou aux syndicats et leurs études ont de fortes chances d’être idéologiquement orientées, même si elles peuvent être de qualité.
   
3. Le troisième est le coût de la neutralité. L’Insee est l’institut le plus à même à réaliser des évaluations sérieuses et respectées des politiques publiques en France, mais l’institution a les mains liées par sa principale tâche qui est la production de données fiables et respectées de tous. La crédibilité de l’Insee est une chose trop précieuse pour que ses membres se risquent sur les sujets controversés et trop politiques. On voit aujourd’hui par la remise en cause frontale de l’indice des prix et de la mesure de la pauvreté que même établir des faits (des données de base) nécessite une institution au-dessus de tout soupçon.

Des institutions pour communiquer.

La communication de l’évaluation des politiques publiques demande des compétences et des institutions particulières. Il faut pouvoir communiquer au point de vue scientifique (faire valider par ses pairs les méthodes utilisées comme dans tout autre discipline scientifique), mais il faut aussi communiquer les résultats aux décideurs et à la représentation (rapports d’expertise) et enfin communiquer au grand public pour éclairer les enjeux (presse de grand public).

Une telle communication est un véritable métier et si on peut reprocher aux chercheurs de ne pas assez sortir de leur tour d’ivoire, il faut reconnaître qu’il n’existe que peu d’institutions (think tanks de niveau universitaire) qui peuvent jouer ce rôle en France. Ce constat est à la fois le résultat de la pauvreté des universités et de leur éloignement institutionnel de la sphère publique (qui n’est pas étranger à leur éloignement du marché du travail…) et le manque de demande d’évaluation de la part de l’Etat. Les administrations ont le plus souvent leurs propres services d’études qui gardent jalousement leurs données contre de cupides chercheurs prêts à les exploiter. Chaque service est en rivalité avec les autres administrations, pour conserver le contrôle sur des données qu’ils assimilent à une forme de pouvoir dans le rapport de force politique. Enfin la formation généraliste des élites de l’administration française est peu propice à la consommation de travaux d’évaluation de politique publique de qualité (utilisant les méthodes économétriques récentes et ayant fait l’objet de publication scientifique).

L’évaluation des politiques publiques n’est pas un slogan, c’est un vaste programme de réforme des universités, de la recherche, des administrations et de la façon de faire de la politique. La recette de la potion magique est donc un subtile équilibre de compétence universitaire, de crédibilité, d'indépendance politique, d'honnêteté intellectuelle, de communication moderne, d'efficacité de l'Etat... Bon ça sonne un peu science-fiction dit comme ça, mais on y croit très fort!

Avant d’en venir à des propositions concrètes, il nous faudra faire un tour d’horizon des institutions chargées de l’évaluation en France.

Suite au prochain numéro !

_Antoine_ _ Fabien_

Pour clarifier les enjeux, il faut clairement distinguer les objectifs et les moyens de l’action publique. Les objectifs sont de l’ordre des choix politiques des citoyens dans le cadre de la démocratie. Faut-il dépenser plus dans l’éducation ou dans l’armée, dans les retraites ou la recherche, pour l’aide au développement ou pour la santé ? A l’inverse une partie des choix des politiques publiques sont de l’ordre des moyens. Tout le monde s’accorde à vouloir un taux de chômage plus faible, mais la question est comment faire ? Faut-il faire des préretraites, les 35 heures, modifier le contrat de travail, modifier le système d’assurance chômage, mettre en place des baisses de charges sociales, modifier le salaire minimum, baisser les impôts, faire du déficit public… ?

Une première possibilité consiste à évaluer l’efficacité de ces différentes politiques en vue de l’objectif fixé et à juger si celles-ci ont des effets non désirés. Si par exemple améliorer la flexibilité du marché du travail permet de baisser le chômage en dégradant les conditions de vie des salariés, les citoyens sont en droit de refuser une telle politique en faveur d’une autre plus adéquate. Mais pour faire ce choix en connaissance de cause, il faut d’abord étudier quels sont les effets des différentes politiques proposées. Et ceci n’a rien d’évident.

La difficulté majeure de l’évaluation des politiques publiques vient du fait qu’il est techniquement difficile d’estimer « l’effet pur » des politiques publiques. On ne peut pas observer un même pays avec une politique x et sans cette politique. Toute la question de l’évaluation repose sur ce problème : il n’est pas possible d’observer le « contrefactuel » (ce qui ce serait passé si cette politique n’avait pas eu lieu).

Prenons l’exemple du CNE : on mesure qu’un an après l’introduction du nouveau contrat, 570 000 contrats ont été signés (de septembre 2005 à août 2006 selon l’Acoss). Qu’en conclure ?

• Que le CNE a « permis de créer 570 000 nouveaux emplois » ? (ça serait le cas si l’on pouvait vérifier que, dans un monde sans CNE, le nombre d’emplois créés serait inférieur de 570 000) ;


• Que le CNE a « a simplement conduit à une substitution de CNE à des CDI » ? (ça serait le cas si l’on pouvait vérifier que, dans un monde sans CNE, au bout d’un an 570 000 nouveau CDI auraient de toutes les façons été créés).

Le problème fondamental est qu’une « France sans CNE » n’existe pas en même temps qu’une « France avec CNE » : estimer la causalité de l’existence du CNE sur l’emploi n’a donc rien d’évident !

L’approche la plus basique consiste à comparer l’emploi après avec celui avant l’introduction de la politique publique (en l’occurrence le CNE) qui nous intéresse. Or imaginons qu’au moment où le CNE est mis en place le dollar monte, l’Allemagne sort de récession ou encore l’hiver dure moins longtemps : comment peut-on faire pour savoir quelle part de ce qu’on observe attribuer au CNE et quelle part aux autres facteurs favorables qui se sont manifestés de manière simultanée ?

Une autre méthode consiste à comparer deux groupes, les entreprises touchées par le CNE (moins de 20 salariés) et les entreprises non touchées par le CNE (plus de 20 salariés) : peut-on déduire de la comparaison de ces deux groupes que la différence d’embauche est liée au CNE ? Pas vraiment. Cette différence représenterait l’effet du CNE uniquement si les entreprises de moins de 20 salariés et celles de plus de 20 salariés sont en tout points identiques quant à l’embauche et au cycle économique. Pas besoin de longues études d’économie pour être d’accord sur le point que ces deux groupes ne sont pas tout à fait comparable : le biais de sélection est évident.

Les économistes ont alors cherché à utiliser des méthodes statistiques pour isoler l’effet de causalité et s’émanciper des biais de sélection. Pour établir des relations de causalité, la méthode la plus convaincante est de faire une expérience. On tirer au sort deux groupes, l’un « test » à qui la réforme est appliquée, l’autre « de contrôle », sert de groupe de comparaison. Le choix aléatoire des deux groupes les rend identiques et donc retire le biais de sélection. Si cette méthode a des atouts indéniables du point de vue scientifique, elle est coûteuse à mettre en place et fait souvent face à l’opposition de ceux qui considèrent l’expérimentation des politiques sociales comme non éthique.

Pour pallier le manque de telles expériences, les économistes ont recours à des expériences naturelles, c’est-à-dire l’étude de réformes ou de variations qui se rapprochent d’une expérience contrôlée (différents groupes touchés différemment). Une des méthodes les plus utilisées aujourd’hui (parmi d’autres méthodes), s’appelle « la double différence ». L’idée est de comparer la différence entre deux groupes (l’un touché par la réforme, l’autre pas) avant la réforme puis après la réforme. Si les deux groupes n’évoluent pas de façon différente (hormis à cause de la réforme), on va pouvoir identifier l’effet pur de celle-ci. Cette méthode a l’avantage d’être très transparente pour les évaluations et donc de pouvoir plus facilement convaincre des lecteurs non spécialistes. C’est un avantage considérable qui explique largement son succès. Toute la difficulté consiste à trouver des groupes tests et de contrôle convaincants, c’est-à-dire qui soient aussi similaires les uns des autres avant la réforme, comme s’ils avaient été tirés au sort.

Pour autant, la recherche économique qui s’est concentrée sur les évaluations de politiques publiques est beaucoup plus complexe et a développé bien d’autres méthodes, non pas pour maintenir le débat aux mains d’experts tout puissants, mais parce les questions en jeu sont d’une réelle complexité. Plusieurs exemples peuvent aider à préciser cette nécessité :

D’abord, l’effet à court terme peut être différent d’un effet à long terme. Par exemple, l’introduction du CNE peut conduire à court terme à la création de nouveaux emplois, mais qui vont progressivement se substituer aux CDI qui disparaissent. Ou, à l’inverse, la création d’un nouveau contrat de travail n’a que peu d’effet à court terme mais accroît à plus long terme l’embauche de tous les salariés.

Ensuite, une politique économique touche les individus de façon différente : certains peuvent réagir nettement d’autres pas du tout. Effectuer des simples comparaisons des effets moyens masque parfois la diversité des situations : il est possible que le CNE soit très efficace pour offrir des emplois à des jeunes sans qualification qui étaient exclus avant du marché du travail car les employeurs ne voulaient pas leur faire confiance pour un essai, mais que ce contrat soit destructeur de stabilité pour les plus qualifiés. Un effet moyen masque alors des situations très différentes, voire opposées (les économistes appellent ce problème l’hétérogénéité des réactions).

Enfin, le problème de l’équilibre général se pose de façon nette à tous les spécialistes de l’évaluation : une politique peut avoir un effet au niveau micro (en équilibre partiel) et avoir un effet net très différent une fois que son impact sur toutes les autres variables est pris en compte. Ainsi, si le CNE incite à la création d’emploi (hypothèse), les salaires vont réagir à l’augmentation de la demande de travail (ils risquent d’augmenter si l’offre de travail est contrainte), ce qui va faire baisser en retour la demande de travail (si la demande de travail est sensible à son coût) ou l’augmenter (selon un effet keynésien d’augmentation de la consommation). L’effet net d’une politique va dépendre au final d’un certain nombre de réactions de l’économie que les économistes cherchent à étudier séparément. Les méthodes des expériences naturelles ont l’avantage de mesurer un effet global à un moment donné, mais comme la décomposition des effets est difficile, elles se prêtent mal à des généralisations. Par exemple si l’introduction du CNE est évalué comme positif pour l’emploi (hypothèse), cela ne prouve pas que le CPE (qui vise un autre public) va être efficace.

Les méthodes d’évaluation des politiques publiques sont en amélioration permanente depuis une quinzaine d’année. Elles se sont diffusées depuis les universités (américaines) pour alimenter de larges pans de la recherche économique. Pour que ces innovations parviennent à alimenter des évaluations de qualité, il faut un contact permanent et intense entre les institutions qui mènent les évaluations et la recherche de pointe dans ces domaines. Il y a donc une seconde difficulté à l’évaluation, institutionnelle cette fois… Suite au prochain numéro !

_Antoine_ _Fabien_

Pour alimenter les débat de ce blog, nous allons proposer sur des sujets précis des feuilletons de longue haleine. Nous commençons par l’évaluation des politiques publiques. Pourquoi ? Le sujet peut apparaître aride à certains, digne des débats des commissions du Sénat. Il est pourtant au cœur des motivations qui fondent l’existence de ce blog et de nos travaux de recherche et répond exactement au débat sur le chiffrage des programmes économiques des candidats à l'élection présidentielle.

Depuis le 21 avril 2002, la France semble faire l’expérience d’un décrochage entre citoyens et hommes politiques ou plus généralement entre les citoyens et les « experts » des politiques publiques. Les Français ont l’impression d’avoir abandonné leur souveraineté à des experts dont ils contestent les choix qu’ils soient bureaucrates à Bruxelles, énarques à Paris ou même statisticiens à l’Insee. Le succès des propositions de Ségolène Royal et de Nicolas Sarkozy repose largement sur la remise en cause de ceux-ci.

A l’inverse, le constat pratiquement inverse est partagé par les chercheurs en sciences sociales qui déplorent à chaque intervention dans le débat public combien l’évaluation des politiques publiques est en retard en France, combien les données disponibles pour mesurer l’efficacité des politiques sont d’accès difficiles et combien les politiques publiques répondent plus souvent à des impératifs électoraux qu’à des nécessités de long terme.

Ces deux constats sont-ils vraiment contradictoires, opposant la vision d’experts méprisant la démocratie à celle des citoyens qui souhaitent reconquérir une souveraineté disparue ? Notre conviction est qu’il s’agit, au contraire, du même problème qui vient des lacunes de notre système d’évaluation des politiques publiques.

Les administrations publiques taxent 45 % du PIB et en dépensent 48%. Cela représente près de 800 milliards d’Euros en 2005. Ces dépenses sont largement essentielles au fonctionnement de notre pays, la santé, l’éducation, la police, l’armée, les institutions judiciaires, les assurances de retraite, d’invalidité, de maternité, de chômage, l’aide au logement… la liste est longue et non exhaustive. La plupart des débats politiques tournent autour du niveau de prélèvement : trop élevé pour beaucoup, il faut faire des économies, arrêter le « grand gaspillage ». Un débat récent s’intitulait ainsi faut-il augmenter ou baisser les prélèvements obligatoires. Il s’agit finalement d’une vieille rengaine du débat économique : le secteur privé ou le secteur public doivent-ils fournir les biens et les services demandés par la collectivité. Nationalisation contre privatisation, économie administrée contre économie de marché, gauche contre droite ? Cette vision correspond à une vision idéologique de l’économie, un choix des moyens et non des objectifs. A l’inverse, l’approche par l’évaluation des politiques publiques repose sur l’idée que les objectifs sont d’ordre politique, résultat des choix des citoyens, mais que les moyens pour atteindre ces objectifs peuvent être plus ou moins efficaces et doivent donc être soumis à l’analyse.

Le débat économique français reste pourtant cantonné à une vision idéologique des politiques publiques. Les politiques sont classées plus ou moins à droite ou à gauche et on choisit les études économiques qui vont dans le sens du résultat escompté. Le problème est que le plus souvent les effets de ces politiques sont a priori inconnus pour ceux qui ne se reposent pas sur une croyance idéologique. Pour savoir si une politique est efficace, il faut le plus souvent l’évaluer. C’est un travail difficile, minutieux et qui nécessite l’honnêteté intellectuelle de celui qui le mène. Contrairement à une pensée répandue, on ne peut pas faire dire ce que l’on veut aux statistiques !

Pour mener à bien de telles évaluations, de nombreuses conditions doivent être réunies : des chercheurs proches de la recherche académique, évalués par leurs pairs de façon indépendante, mais suffisamment proches des administrations pour connaître les institutions en jeu et pouvoir transmettre leurs résultats au public par la presse.

On est très loin d’un tel système en France. Le constat se nourrit d’un cercle vicieux que l’on pourrait décrire ainsi : le débat économique est notoirement faible ; les journalistes sont souvent accusés de rédiger de piètres articles économiques et de répéter les poncifs idéologiques des uns et des autres. Mais il faut reconnaître que les journalistes n’ont pratiquement pas à leur disposition des analyses économiques de qualité, des conférences de vulgarisation où ils pourraient être conviés. On ne peut pas décemment demander aux journalistes de lire les revues scientifiques en anglais pour traduire à leurs lecteurs les avancées de la recherche économique ! Est-ce alors la faute des chercheurs français ? Pas vraiment. Ceux-ci n’ont pas d’institutions pour communiquer leurs résultats ; ne disposant pas de données françaises gardées jalousement par les administrations, ils se reportent sur les données étrangères (qui intéressent nettement moins le débat national) ou plus souvent sur les questions théoriques… du coup, on n’investit pas dans la recherche sous prétexte que les chercheurs vivent dans leur bulle. Et la boucle est bouclée.

Pour réconcilier les Français avec leurs politiques publiques, il faut deux conditions sine qua non : que celles-ci soient efficaces et que les Français comprennent pourquoi. L’évaluation est un exercice d’expertise et un exercice de citoyenneté. Pour paraphraser Ségolène Royal, « les experts sont des citoyens »…

Ce feuilleton va d’abord aborder la question du problème de l’évaluation (pourquoi évaluer est compliqué : techniquement et institutionnellement), puis faire un bilan de l’évaluation en France, à l’étranger et enfin proposera des réformes.

_Antoine_ _Fabien_

La blogosphère économique et la presse se sont retrouvées récemment pour critiquer le chiffrage des programmes politiques (à l’exception notable d’Alexandre Delaigue, de Charles Wyplosz et de Daniel Cohen). Qu’il s’agisse de Daniel Schneidermann, de Francis Kramarz, de Philippe Askénazy ou encore de Bernard Salanié, tous considèrent qu’il ne faut pas prêter une attention trop importante à ces chiffres, les responsables de l’OFCE allant même jusqu’à manifester leur opposition de principe à un chiffrage des programmes, considéré comme nuisible et dangereux.

Les arguments sont de deux ordres : le premier est que la cellule de chiffrage du site Debat2007 est financée par l’Institut de l’entreprise qui est suspectée de partialité du fait de des relations privilégiées de son patron, le PDG de la BNP Michel Pébereau, avec la droite, les entreprises et le patronat ; le second argument est qu’un chiffrage du simple coût budgétaire est insuffisant car les politiques économiques peuvent d’avoir des effets positifs susceptibles de réduire ex post le coût de ces politiques. Ces deux arguments sont recevables. Néanmoins, entre une vision critique du « chiffrage » et le dénigrement de toute analyse économique des programmes des candidats, il y a un pas que beaucoup semblent tentés de franchir. En effet, à la lecture de l’article du monde ou du post de D. Schneidermann, le lecteur peu familier des questions économiques risque de ne retenir qu’une seule chose : « on peut tout faire dire aux chiffres ! ». En affirmant que « la question fondamentale tient, en effet, au modèle économique sous-jacent aux différents dispositifs mis en oeuvre», Le Monde semble adhérer à la thèse (est-ce celle de l'OFCE?) selon laquelle les chiffres et l’analyse économique sont avant tout une question de conviction politique : si vous êtes de gauche, vous devez être néo-keynésien, c’est-à-dire que vous considérez que toute dépense « booste » mécaniquement la croissance et fait baisser le chômage ; si vous êtes libéral, vous pensez plutôt que c’est en diminuant le coût du travail (en allégeant les charges sociales par exemple) que l’on peut espérer faire baisser le chômage. Tout serait donc une question de conviction idéologique.

Les contributeurs de ce blog partagent une conviction radicalement opposée : nous pensons que la politique économique peut être efficace pour réaliser les objectifs politiques et sociaux que les citoyens se fixent, pourvu qu’on ait une vision claire des mécanismes à l’œuvre. La question n’est donc pas de savoir si vous êtes néo-classique ou néo-keynésien, mais de savoir si la demande de travail est sensible à son coût, à la flexibilité de la main-d’œuvre, aux variations du taux d’intérêt… Toutes choses qui ne sont pas « idéologiques » par natures et qui peuvent être tranchées en s’appuyant sur les résultats d’études quantitatives de qualité. Ce qui relève du choix politique, ce sont les objectifs eux-mêmes et la manière dont les citoyens souhaitent les hiérarchiser : qualité des emplois, quantité d’emploi, degré de flexibilité du marché du travail, redistribution, etc.

Que dire alors du chiffrage des programmes politiques ? Il a fondamentalement un double intérêt : d’abord, d’obliger les candidats à réfléchir au réalisme de leur programme économique. Les hommes et femmes politiques sont les relais des citoyens : ils doivent donc comprendre leurs aspirations et leurs souhaits s’ils espèrent conquérir leurs suffrages. Les Français souffrent du chômage : il faut donc leur promettre de combattre ce fléau. Mais comme le plein emploi ne se décrète pas, il est nécessaire que les politiques expliquent par quels moyens ils comptent atteindre cet objectif. Or le rôle des chercheurs et instituts indépendants est précisément de passer au crible ces propositions de politique économique : le chiffrage des mesures permet de mettre en balance le coût probable (et incertain) de la politique vis-à-vis des gains escomptés. Cela évite que les programmes ne ressemblent par trop à un inventaire à la Prévert destiné à satisfaire tous les corporatismes. Le chiffrage, ou l’analyse chiffrée des programmes, vise à éviter une telle dérive.

Le second avantage d’un chiffrage des programmes est de forcer à la cohérence. On ne peut pas dire en même temps que l’on va dépenser plus, qu’on va baisser la dette tout en promettant de réduire les impôts. Il y a un arbitrage à faire et c’est sur celui-ci que le débat doit porter. Laisser croire qu’il n’y a pas d’arbitrage à faire et qu’une politique de dépenses nouvelles ou de baisse d’impôt va miraculeusement relancer l’économie et ainsi régler tous les problèmes des Français est une illusion. Le Chiffrage les programmes, c’est le premier pas de l’évaluation des politiques économiques publiques. Cela oblige ceux ou celles qui se souhaitent présider aux destinées du pays à préciser leurs projets : plus de moyens pour la recherche ? Très bien, mais comment, pour qui, combien, quel financement ? Dire que la recherche est un investissement socialement rentable – une position défendue par tous l’ensemble des contributeurs de ce blog – n’est pas suffisant pour éviter de parler de son financement. L’augmentation du budget de la recherche ne va pas se traduire immédiatement par une croissance économique plus forte. Tout dépendra de la façon dont le budget supplémentaire est alloué : une raison supplémentaire pour demander des détails à nos candidats !

Chiffrer, c’est demander des engagements précis, un programme et non pas de vagues promesses. Ceux qui s’y opposent sous prétexte qu’il existe des débats économiques sur les effets de différentes mesures se trompent de cible. "Des experts nous abreuvent de chiffres pour soi-disant éclairer les citoyens, mais leurs calculs ne correspondent pas à la réalité et escamotent entièrement le débat politique" écrit Xavier Timbeau dans Le Monde. C’est plutôt tout le contraire : trop peu d’experts indépendants fournissent des analyses chiffrées sur les programmes politiques et le débat politique s’en trouve diminué.

Le journal Libération a alors apporté une réponse originale en mettant en ligne un blog de quatre économistes "Déchiffrer la campagne": l'idée est visiblement de s'opposer à la vision comptable du chiffrage mais de permettre aux lecteurs de bénéficier de l'expertise d'économistes pour "traduire" les propositions des politiques économiques. L'initiative doit être saluée d'autant qu'elle souligne le manque criant de ce type d'analyse et leur caractère artisanal et disparate.

Cela rend d’autant plus nécessaire une prochaine chronique sur ce blog consacré à l’évaluation des politiques publiques en France. Nous parlerons des motivations de l'évaluation, des techniques statistiques et économétriques disponibles, de la facon dont les politiques publiques sont évaluées en France et à l'étranger... A suivre sur www.ecopublix.eu !

_Antoine_