lundi 28 mai 2007

Evaluation des politiques publiques (5/7) : chez les Gaulois


A la suite des posts d’écopublix sur l’évaluation des politiques publiques (épisode 1, épisode 2, épisode 3, épisode 4), le nouveau gouvernement a décidé de créer un secrétariat à l’évaluation des politiques publiques, attaché au Premier ministre. Comme son rôle n’est pas très clair et alimente la controverse, il m’a semblé utile de faire un petit panorama critique de l’état actuel de l’évaluation des politiques publiques en France.

I/ Les administrations s’auto-évaluent

Un rapport d’information du Sénat en 2004 fait le point sur notre système d’évaluation. Il est très complet et relève bien ses insuffisances. Le but de ce post n’est pas d’en faire un résumé, mais de présenter rapidement les institutions françaises d’évaluation en pointant leurs atouts et leurs faiblesses.

Le système administratif français repose sur une structure pyramidale, centralisée, dont le but est d’appliquer les lois votées par le Parlement. Il s’agit d’une vision fondamentalement juridique de l’administration. Dès lors, l’évaluation des politiques publiques constitue avant tout l’exercice d’un contrôle des politiques. De façon guère étonnante dans ce cadre, ce sont les juristes de la Cour des Comptes qui ont pour vocation à contrôler les dépenses de l’Etat. Néanmoins, la Cour des Comptes ne possède pas les compétences et l’expertise nécessaire pour réaliser de véritables évaluations, consistant à mesurer précisément l’efficacité d’une politique au vu de ses objectifs. Plus profondément, la logique de la Cour est une logique comptable et non une logique d’économiste, c’est-à-dire qui discuterait du rendement de tel ou tel investissement public.

Les centres dédiés à l’évaluation des politiques publiques se concentrent au sein des ministères, sous l’autorité du ministre qui met en place la politique. L’idée est de mettre à la disposition du ministre toute l’expertise nécessaire pour mettre en place la politique la plus efficace. Il ne s’agit pas d’alimenter le contrôle parlementaire ou le débat public via la presse. Cinq institutions, importantes dans le domaine économique méritent d’être ici évoquées :
  • La DGTPE, du ministère des Finances, est le centre de l’expertise économique du gouvernement. Ses membres sont essentiellement des administrateurs Insee, avec une solide formation en économie. Ils sont dirigés par des énarques avec l’objectif de servir la volonté politique du ministre.
  • L’Insee jouit d’une relative indépendance, sous la condition implicite de ne pas réaliser d’études trop politiques. Son expertise étant reconnue, l’institut de statistique est unique dans le monde pour ne pas se limiter à la production de données, mais aussi à la recherche et donc à l’évaluation des politiques économiques. Cette dernière activité est rendu difficile par sa dépendance vis-à-vis du ministère des Finances.
  • La Drees du ministère de la Santé est le centre de recherche des politiques de la santé et des retraites.
  • La Dares du ministère du Travail effectue les évaluations des politiques de l’emploi.
  • La Dep du ministère de l’Education nationale se concentre sur les politiques éducatives.

II/ Les institutions indépendantes

Contrairement aux pays anglo-saxons et dans une certaine mesure aux pays scandinaves, la France compte très peu d’institutions de recherche en économie capable de réaliser des évaluations de qualité et de communiquer dans le débat public.

« Par ailleurs, d’un point de vue quantitatif, les ressources disponibles pour contribuer aux travaux d’évaluation des politiques publiques restent sous-dimensionnées. Une diffusion insuffisante de la culture de l’évaluation chez un certain nombre de prestataires « naturels » d’évaluation explique, pour beaucoup, cet état de fait. C’est vrai pour des organismes, comme les universités, pour lesquels les études et la recherche restent des activités privilégiées. Mais cette situation existe aussi, à un moindre titre, pour les trop rares « Think tanks » à la française. Elle se combine avec la modestie des moyens de ces derniers, et, parfois, avec une position institutionnelle ambiguë pour limiter le développement de leurs activités d’évaluation. » (extrait du Rapport d’information du Sénat 2004 pp. 35-36)

La situation française combine des universités sous financées en situation de déclin, avec des centres de recherche coupés du débat public et des administrations et une expertise publique qui reste au mieux généraliste et sans compétence spécifique. Le bas niveau du débat économique en France, déploré sur la blogosphère, dans les ministères, ne date pourtant pas d’hier. Le rapport Lenoir-Baudoin Prot de 1979 avait suggéré d’y remédier en constituant d’autres pôles d’expertise économique que ceux de l’Insee et du ministère des finances. Deux nouveaux instituts indépendants avaient été créés : l’Institut de recherche économiques et sociales (IRES) et l’Observatoire français des conjonctures économiques (OFCE). En outre, le rapport recommandait de renforcer les moyens de Rexeco, ancêtre du COE-Rexecode, l'institut de recherche proche du patronat.

La France dispose ainsi de deux instituts de recherche économiques affiliés l’un aux syndicats et l’autre au patronat.

Ires : Ce centre de recherche est censé servir de lieu d'expertise aux milieux syndicaux afin d’affermir leurs capacités de proposition. Malheureusement, si des chercheurs compétents composent cette institution, l’IRES pâtit lourdement de son affiliation syndicale, qui rend ses analyses suspectes de parti pris idéologique. C’est d’ailleurs souvent le cas : les publications des chercheurs de l’IRES font rarement l’objet d’un consensus scientifique et apparaissent très souvent comme des positions militantes au ton très engagé.

Rexecode : L’institut est financé par fonds privés et est souvent présenté comme le centre de recherche du patronat. De fait, le ton de ses études n'est pas neutre en ce que ces dernières cherchent généralement à mettre en avant les arguments qui vont dans le sens des prises de position du Medef. L’évaluation extrêmement positive des propositions de Nicolas Sarkozy lors de la dernière campagne présidentielle ne fait que renforcer ce sentiment. Et quand celui-ci le cite comme preuve du consensus qui entoure son programme, les économistes ne peuvent que s’énerver.

Au départ la création de ces instituts avait pour but de fournir une expertise aux partenaires sociaux afin de faciliter un dialogue jugé difficile. Globalement, l’expérience fut un échec : le combat militant ayant remplacé l’expertise, l’effet final a été plus négatif avec l’impression donnée aux partenaires sociaux que l’analyse économique n’est qu’affaire d’idéologie et de manipulation des données. C’est probablement l’idée qu’en avaient les instigateurs de ces instituts : face à une recherche marquée à droite, il fallait une recherche marquée à gauche… Du coup, rien d’étonnant à ce que les politiques continuent de classer les chercheurs selon les résultats de leurs études, plutôt à gauche ou plutôt à droite selon qu’ils critiquent l’un ou l’autre camp. Cette situation nourrit la faible qualité du débat économique en France sans faire mentir l'éternelle antienne : « on peut tout faire dire aux données ! »…

A côté de ces instituts, les centres de recherche universitaires sont trop peu développés. L’OFCE constitue à l'heure actuelle l'exemple le plus satisfaisant d’institut économique indépendant et apportant une réelle expertise au débat public. Son lien avec Sciences-po et avec le milieu universitaire (doctorants, conférences scientifiques et publication) est la meilleure garantie d’une indépendance et d’une certaine crédibilité. Son atout le plus direct est de bénéficier de la bonne gestion, professionnelle de Sciences-po : le site web, de bonne facture, est actualisé régulièrement, des liens ont été établis avec des instituts de conjoncture étrangers. Mais il faut reconnaître que l’institut s'est spécialisé dans les questions de conjoncture et de macroéconomie qui laissent de côté toutes les évaluations de politiques économiques qui sortent du cadre de la politique monétaire et budgétaire. Et il ne fait de mystère pour personne que l’OFCE défend plus nettement une vision néo-keynésienne de l’économie (il faut baisser les taux d’intérêt et faire du déficit public) peu propice à l’analyse des politiques microéconomiques (fiscalité, politiques de l’emploi…).

Le CEE : le Centre d’étude de l’emploi est une institution intéressante au sens où son objectif de recherche académique est plus marqué que dans les deux instituts précédents. La recherche y est de bonne qualité mais – et c'est là le revers de la médaille – sa présence dans le débat public est plus que limitée.

le Cepremap : Le Cepremap est un institut de recherche récent, ancien laboratoire du Commissariat au plan recyclé en centre d’expertise à vocation d’évaluation. Les chercheurs qui y travaillent sont d’une grande qualité académique, mais force est de constater que l’interface de l’institut avec le grand public est pour le moins limité (le site web est plus une liste de documents de travail qu’une présentation pédagogique des enjeux des politiques publiques). Pour l’instant, seule la série des opuscule du Cepremap correspond à l’enjeu de communication des travaux des chercheurs.

L'Institut d'Économie Publique (IDEP) : L’IDEP est un institut basé à Marseille, proche par ses membres du GREQAM, le laboratoire d’économie publique d’Aix-Marseille. Son site web est nettement plus dynamique que celui de son équivalent parisien et témoigne de la vitalité de la recherche économique dans le Sud de la France (que l’on a tendance à oublier au profit de Paris et de Toulouse). Si tous les ingrédients sont réunis pour faire de l’institut un succès, on ne peut que s’étonner du manque de lisibilité nationale de l’IDEP. Peu présent dans les médias, peu cité dans le milieu académique, l’institut n’a pas encore réussi à sortir de la matrice d’un institut d’expertise régional.

III/ Les nouvelles créations

Disons le tout net : la France ne dispose pas à l’heure d’aujourd’hui d’institutions de qualité, professionnelles et indépendantes pour mener à bien l’évaluation des politiques publiques. Si ce constat est loin d’être une nouveauté, un certain nombre de dispositions laissent à penser que les choses peuvent rapidement changer.

La LOLF est la plus importante manifestation de cette volonté de changement : parmi d’autres réformes, elle implique l’évaluation des politiques publiques. On ne va pas revenir dans ce post sur cette réforme, sur ses limites et le chemin qu’il reste à parcourir pour son application. Prenons pour acquis ses objectifs. Quels sont les moyens pour y parvenir ?

Les derniers gouvernements ont eu à cœur de faciliter l’expression de l’expertise via des « conseils », ou réunion de « sages » : Conseil d’Analyse économique (CAE), Conseil d’orientation des retraites (COR), Conseil de la formation professionnelle tout au long de la vie (CNFPTLV), Centre d’analyse stratégique (CAS, ex commissariat au plan) et dernier né de ces « conseils », le Conseil d’orientation pour l’emploi (COE). On se souvient aussi de la suppression du CSERC par Edouard Balladur en 1994, puis de la recréation par Jospin en 2000 du Conseil de l’Emploi, des Revenus et de la Cohesion sociale (CERC). Cette liste n’est bien sûr pas exhaustive et la tentation est forte pour le blogueur de dénigrer tout cela comme une vieille habitude bien française de créer une commission lorsqu’on ne parvient pas à résoudre un problème (le terme « conseil » faisant plus expert que « commission » et « Centre d’analyse stratégique » sonnant moins soviétique que « Commissariat général du Plan »). Qu’en est-il exactement ?

Il est évidemment trop tôt pour donner un avis définitif. En tout état de cause, les intentions sont très bonnes : au sein du CAS, un Conseil national de l’évaluation est chargé de diriger l’évaluations des politiques publiques. Les chercheurs sont censés être indépendants, les opinions des partenaires sociaux écoutées, le débat facilité. Un bon exemple est le COR qui a réussi à faire accepter le constat du déséquilibre des retraites et du chiffrage des enjeux comme un fait non contestable (cf les fiches pour le débat).

Mais tous ces organismes sont sous l’autorité du Premier ministre et n’ont pas d’indépendance formelle. Les liens avec le milieu universitaire sont, au mieux, tenus. Il semble que ces conseils ont été constitués moins pour évaluer, analyser et proposer que pour faire la pédagogie de réformes « évidentes » à faire passer aux Français. Au final, j’aurais tendance à penser que toute évaluation menée par des organismes dépendants de l’exécutif et non liés au monde académique est voué à l’échec (cf la discussion avec SM d’éconoclaste).

A suivre : un topo sur les exemples étrangers qu'on serait bien inspirés de suivre en Gaule…
_Antoine_

11 commentaires:

Anonyme a dit…

Ce panorama des institutions d'évaluation en France laisse à penser que le problème n'est peut-être pas tant institutionnel que culturel. Si on sent bien que les économistes sont de plus en plus influents et médiatiques en France, on a souvent l'impression (mais ce n'est qu'une impression) que beaucoup de gens ne connaissent pas grand chose à la science économique et sont peu familier de cette notion d'évaluation d'une part et ont souvent une vision très comptable de l'économie (réduire la dette, bien gérer son budget, chiffrer les programmes…).

Bien sûr, on ne peut pas forcer tout le monde à faire de l'économie, mais il serait sûrement important qu'un plus grand nombre de personnes et notamment parmi les élites amenées à exercer une responsabilité et parmi les commentateurs du débat public aient une culture économique plus poussée.

Antoine a dit…

@PAC: Je suis d'accord sur le constat et j'irais même plus loin sur la formation en économie. Non seulement beaucoup de gens ne connaissent pas grand chose en économie, mais pire, certains croient connaître bcp de choses parce qu'ils ont eu un cours de 3 semaines à Sciences po, à l'Ena ou à Hec.

Mais là encore, je me méfie des explications culturelles: le problème vient de nos institutions (le dualisme grande école et université est en grande partie responsable de ce problème de formation) et je reste convaincu qu'il manque des institutions qui puissent alimenter les commentateurs du débat public. La semaine prochaine, je publie un post sur l'exemple anglais qui pourrait servir d'inspiration (pour une fois).

Anonyme a dit…

"Non seulement beaucoup de gens ne connaissent pas grand chose en économie, mais pire, certains croient connaître bcp de choses parce qu'ils ont eu un cours de 3 semaines à Sciences po, à l'Ena ou à Hec."
Tout à fait d'accord. Un petit exemple qui m'a été rapporté sur le CAS, qui a lancé récemment un appel à recrutement en direction (sur le papier du moins) de "jeunes universitaire à haut potentiel", sous entendu des docteurs. Et ça débouche à l'entretien sur: vous avez un très bon CV. Pourquoi ne pas avoir fait l'ENA alors?
Donc effectivement ils ne comprennent meme pas ce que peuvent leur apporter les jeunes chercheurs venant de l'université.
Pourtant le CAS devrait être l'endroit où c'est valorisé.

Anonyme a dit…

Petisuix, je ne suis même pas sûr que le dualisme entre Grandes Ecoles et Université soit si responsable que cela. je suis en ce moment en train de corriger des copies qui m'expliquent, les unes après les autres, que la financiarisation de l'économie c'est MAL, que ça n'a fait que du chômage et ralentir l'innovation (les NTIC passant à la trappe), et qu'il faut revenir à l'âge d'or de la régulation par les grands monopoles.

Malheureusement, j'ai bien peur que les élèves ne fassent que répéter ce qui leur a été dit en cours ou en TD. Cela me conduit à me demander si la pratique de l'évaluation ne devrait pas commencer par l'université (et les Grandes Ecoles).

Antoine a dit…

@Mathieu P.: PAC suggerait dans son commentaire que l'evaluation en France est avant tout un probleme culturel, de formation a l'economie, plutot qu'une question institutionnelle. C'est une vraie question a laquelle j'ai repondu de facon rapide (trop rapide) avec un accord sur le fond et l'idee que le fait que les dites "elites" politiques ou mediatiques ne sont pas vraiment formees au raisonnement et a l'analyse economique simplement car elles recoivent une formation generaliste ou l'economie est avalee comme un livre de recette de cuisine. Hors de France on s'apercoit que la culture economique des "elites" est plus poussee simplement parce qu'un futur haut fonctionnaire d'un ministere des finances europeen (ou politique ou journaliste economique) va suivre une formation en science economique a l'universite: ce n'est pas le cas en France.

Quand je parle du dualisme grandes ecoles/universite, je ne veux pas dire que l'universite francaise est sans defaut et qu'il suffit de supprimer les grandes ecoles pour que l'evaluation et la science economique fleurisse en France ! Je veux juste dire qu'il n'y a pas de formation de qualite en economie pour les "elites" francaises.

@PAC: Mon avis general sur le debat institution/culture est que je ne crois pas aux explications culturalistes: ce sont les institutions qui sont determinantes (elles sont causales), elles ont une histoire (qui explique des traits culturels), mais elles ont aussi un avenir (on peut les changer).

Anonyme a dit…

Bonjour,
"au sein du CAS, un Conseil national de l’évaluation est chargé de diriger l’évaluations des politiques publiques"

A ma connaissance, le CAS - encore Plan à l'époque - a renoncé à exercer cette compétence, il y a 3 ans environ, et personne ne l'a relayé - ni le Parlement, ni la Cour des Comptes, ni les Finances n'en ont voulu.

Le site evaluation.gouv.fr est un fossile de cette époque.

Antoine a dit…

@FredericLN: Merci pour l'info.

@tous: il faudrait que je rajoute le Cepii dans les institutions independantes et l'IGAS dans les services administratifs qui pondent des rapports d'expertise.

Anonyme a dit…

Petitsuix, vous parlez de "formation de qualité en économie". Pour être moi-même à HEC, j'avoue qu'effectivement, on nous fait croire qu'après 3 mois de cours à raison de 4 heures par semaine, nous sommes à même de trancher péremptoirement de tous les sujets macroéconomiques, et de réaliser nous-mêmes des évaluations "au bon sens".
Mais j'y vois un phénomène assez récent : le discours politique (qui concerne chacun) étant beaucoup plus "économicisé" (au degré zéro, type Raffarin parlant d'une gestion de la France en bon père de famille, ou David Douillet opposé à Thomas Piketty dans un débat sur les programes économiques), chacun "parmi les élites et les commentateurs du débat public" se sent capable de disserter sur le thème. En prenant, comme il se sent tout de même vaguement illégitime, le seul angle d'approche qu'il maîtrise vraiment : les retombées individuelles de chaque mesure.
Je pense que c'est typiquement une des raisons pour laquelle de nombreux blogueurs, Etienne Wasmer en tête, se sont avec une belle unanimité emparés du sujet de la déductibilité des intérêts d'emprunt immobilier...
Bref, ce commentaire très décousu vise en fait à plaider pour une généralisation des SES obligatoires au lycée - après tout, on impose bien aux littéraires de faire de la bio !

Anonyme a dit…

Bonjour,

C'est une très intéressante typologie des instruments d'évaluation des politiques publiques !
Si je peux ajouter mon grain de sel : si vous indiquez l'IGAS, il conviendrait dès lors de mentionner les autres corps de contrôle à vocation d'évaluation des politiques publiques : l'inspection générale de l'administration, au sein du ministère de l'intérieur (spécialisée dans les questions d'organisation administrative : type bilan des lois de décentralisation) et la plus connue Inspection générale des finances qui est l'un des services les plus en pointe en matière l'évaluation des politiques publiques (telle que le rapport d'valuation de l'enseignement supérieur). Dans ce cadre, chaque ministère intervient pour contribuer dans les parties qui peuvent le toucher ; c'est tout le sens des audits de modernisation qui participent d'une démarche d'évaluation des politiques publiques pour contribuer à débusquer des moyens d'amélioration ou de réforme.
Sur la nécessité de généraliser la connaissance de l'économie, je suis parfaitement d'accord, cependant force est d'avouer que :
1/ la juridicisation du monde n'a pas conduit à l'élargissement de la diffusion de la connaissance du droit public et privé, à l'école notamment (j'aurais tendance à penser intuitivement que cela à multiplé, dans un cadre d'ouverture du marché, le nombre d'avocats)
2/ au regad de l'évolution de certains pays d'Europe, l'économie n'est pas l'élément cardinal des décisions ; elle constitue un moyen d'éclairer mais le point nodal de la décision est profondément politique : c'est typiquement le cas de la mesure sur les ; et je ne pense pas que ce soit par manque de connaissance économique des conseillers du président (pour être critiquable, la formation en économie de nos têtes dirigeantes - et là je pense aux conseillers des princes- n'en constitue pas moins un terreau culturel économique comme ont pu le montrer les décisions en faveur d'une ouverture du marché bancaire via la loi bancaire de 1984) ;
3/ une décision publique uniquement guidée par la science économique, pour efficace qu'elle fusse, serait une tentative vaine de reconstitution de république platonicienne...
Cela dit, je suis d'accord pour dire que l'influence plus grande du Council for Economic advisers américain, généralement dirigé par une pointure en économie (Stiglitz sous Clinton, un temps Mankiw sous Bush) semble avoir une raisonnance économique plus forte (encore que cela mériterait d'être évalué dans une perspective institutionnaliste). Mais quand on sait que le CAE, en France, est auprès du premier ministre, ce qui était louable en 1999 sous Jospin mais n'a pas eu d'effets visibles majeurs, et qu'aujourd'hui la décision est prise à l'Elysée, on mesure le chemin à parcourir...

Antoine a dit…

@Emmeline: je suis d'accord pour dire qu'il y a un effet du monde plus "économique" dans lequel on vit aujourd'hui.
Je serais plus circonspect sur la généralisation des SES au lycée, tant ce qui me paraît le plus important est la façon dont l'économie est enseignée (par des raisonnements, l'esprit critique de lecture des chiffres et des graphiques) et non par comme trop souvent par des recettes ou des raccourcis qui peuvent s'avérer faux.

@Eco gnome: très juste remarque sur les corps de contrôle.
Pour vos autres remarques:
1/ pas si sûr que vous; j'ai l'impression qu'il y a diffusion de l'enseignement juridique parce qu'il est perçu comme important par de nombreuses professions (les cours de droit sont aujourd'hui répandus dans les écoles de commerce, les iep, les fac de médecine, les ens...)
2 et 3/ Je ne suis pas trop d'accord. La république platonicienne c'est une dictature cauchemardesque. L'idée que nous défendons ici à Ecopublix, ce n'est pas que les économistes doivent être les nouveaux philosphe-rois. Les choix doivent rester des choix politiques (quels sont les objectifs de nos politiques publiques?) mais le débat public sur les causes et les effets des différentes politiques doit être facilité par le travail des économistes. Les économistes (et parfois les représentants de cette belle profession abusent de leur titre) ne devraient jamais dire ce qu'il faut ou ne faut pas faire, mais simplement indiquer (qd c'est possible) quelles sont les conséquences possibles de telle ou telle politique. Quand aux politiques et à leurs conseillers, je trouve (à titre personnel) que c'est un problème lorsqu'ils vendent des politiques dont les effets économiques vont dans le sens opposé de ce que comprennent ceux qui votent pour eux. Soit ils sont politiquement cyniques, soit ils sont économiquement incompétents. Pour l'instant, je penche pour la seconde hypothèse (une troisième hypothèse étant que le problème vient de la culture économique de leurs électeurs et on revient au débat des premiers commentaires).

Enfin je rejoins tous les commentaires pour dire qu'on a effectivement du chemin à parcourir!

Anonyme a dit…

Merci, en tout cas, de parler de l'évaluation des politiques publiques, domaine qui commence à faire parler de lui (un peu, non ? Non ? Ah bon d'accord) en France après avoir fait la tournée de l'Occident pendant 20 ans sans jamais effleuré le sol gaulois...
Certes, vous développez la vision économiste de l'évaluation, que je ne partage pas toujours, mais il est bon que des gens sérieux et qui savent de quoi ils parlent fassent connaître cette pratique, qui est après tout l'avenir, il me semble, de l'action publique...

Actuellement en Master Evaluation des politiques publiques et farfouillant sur le net à la recherche du "buzz" sur l'évaluation, l'impact, l'efficience et les référentiels, je tombe par hasard sur votre blog et je dois avouer que ce n'est pas inintéressant de lire les articles, tout comme les posts...je crois avoir reconnu un certain Eric Maurin dans un commentaire, je voulais le remercier au fait, son petit livre "Le ghetto français" m'a été plutôt utile pour mon mémoire ;o) Même si je suis sociologue , nous pouvons parfois trouver un terrain d'entente, avec les économistes, comme ici où l'enjeu est de nourrir un débat, comme quoi tout arrive !
En tout cas, continuez comme ça m'sieurs-dames...

Enregistrer un commentaire