A la suite des posts d’écopublix sur l’évaluation des politiques publiques (épisode 1, épisode 2, épisode 3, épisode 4), le nouveau gouvernement a décidé de créer un secrétariat à l’évaluation des politiques publiques, attaché au Premier ministre. Comme son rôle n’est pas très clair et alimente la controverse, il m’a semblé utile de faire un petit panorama critique de l’état actuel de l’évaluation des politiques publiques en France.
I/ Les administrations s’auto-évaluent
Un rapport d’information du Sénat en 2004 fait le point sur notre système d’évaluation. Il est très complet et relève bien ses insuffisances. Le but de ce post n’est pas d’en faire un résumé, mais de présenter rapidement les institutions françaises d’évaluation en pointant leurs atouts et leurs faiblesses.
Le système administratif français repose sur une structure pyramidale, centralisée, dont le but est d’appliquer les lois votées par le Parlement. Il s’agit d’une vision fondamentalement juridique de l’administration. Dès lors, l’évaluation des politiques publiques constitue avant tout l’exercice d’un contrôle des politiques. De façon guère étonnante dans ce cadre, ce sont les juristes de la Cour des Comptes qui ont pour vocation à contrôler les dépenses de l’Etat. Néanmoins, la Cour des Comptes ne possède pas les compétences et l’expertise nécessaire pour réaliser de véritables évaluations, consistant à mesurer précisément l’efficacité d’une politique au vu de ses objectifs. Plus profondément, la logique de la Cour est une logique comptable et non une logique d’économiste, c’est-à-dire qui discuterait du rendement de tel ou tel investissement public.
Les centres dédiés à l’évaluation des politiques publiques se concentrent au sein des ministères, sous l’autorité du ministre qui met en place la politique. L’idée est de mettre à la disposition du ministre toute l’expertise nécessaire pour mettre en place la politique la plus efficace. Il ne s’agit pas d’alimenter le contrôle parlementaire ou le débat public via la presse. Cinq institutions, importantes dans le domaine économique méritent d’être ici évoquées :
II/ Les institutions indépendantes
Contrairement aux pays anglo-saxons et dans une certaine mesure aux pays scandinaves, la France compte très peu d’institutions de recherche en économie capable de réaliser des évaluations de qualité et de communiquer dans le débat public.
« Par ailleurs, d’un point de vue quantitatif, les ressources disponibles pour contribuer aux travaux d’évaluation des politiques publiques restent sous-dimensionnées. Une diffusion insuffisante de la culture de l’évaluation chez un certain nombre de prestataires « naturels » d’évaluation explique, pour beaucoup, cet état de fait. C’est vrai pour des organismes, comme les universités, pour lesquels les études et la recherche restent des activités privilégiées. Mais cette situation existe aussi, à un moindre titre, pour les trop rares « Think tanks » à la française. Elle se combine avec la modestie des moyens de ces derniers, et, parfois, avec une position institutionnelle ambiguë pour limiter le développement de leurs activités d’évaluation. » (extrait du Rapport d’information du Sénat 2004 pp. 35-36)
La situation française combine des universités sous financées en situation de déclin, avec des centres de recherche coupés du débat public et des administrations et une expertise publique qui reste au mieux généraliste et sans compétence spécifique. Le bas niveau du débat économique en France, déploré sur la blogosphère, dans les ministères, ne date pourtant pas d’hier. Le rapport Lenoir-Baudoin Prot de 1979 avait suggéré d’y remédier en constituant d’autres pôles d’expertise économique que ceux de l’Insee et du ministère des finances. Deux nouveaux instituts indépendants avaient été créés : l’Institut de recherche économiques et sociales (IRES) et l’Observatoire français des conjonctures économiques (OFCE). En outre, le rapport recommandait de renforcer les moyens de Rexeco, ancêtre du COE-Rexecode, l'institut de recherche proche du patronat.
La France dispose ainsi de deux instituts de recherche économiques affiliés l’un aux syndicats et l’autre au patronat.
Ires : Ce centre de recherche est censé servir de lieu d'expertise aux milieux syndicaux afin d’affermir leurs capacités de proposition. Malheureusement, si des chercheurs compétents composent cette institution, l’IRES pâtit lourdement de son affiliation syndicale, qui rend ses analyses suspectes de parti pris idéologique. C’est d’ailleurs souvent le cas : les publications des chercheurs de l’IRES font rarement l’objet d’un consensus scientifique et apparaissent très souvent comme des positions militantes au ton très engagé.
Rexecode : L’institut est financé par fonds privés et est souvent présenté comme le centre de recherche du patronat. De fait, le ton de ses études n'est pas neutre en ce que ces dernières cherchent généralement à mettre en avant les arguments qui vont dans le sens des prises de position du Medef. L’évaluation extrêmement positive des propositions de Nicolas Sarkozy lors de la dernière campagne présidentielle ne fait que renforcer ce sentiment. Et quand celui-ci le cite comme preuve du consensus qui entoure son programme, les économistes ne peuvent que s’énerver.
Au départ la création de ces instituts avait pour but de fournir une expertise aux partenaires sociaux afin de faciliter un dialogue jugé difficile. Globalement, l’expérience fut un échec : le combat militant ayant remplacé l’expertise, l’effet final a été plus négatif avec l’impression donnée aux partenaires sociaux que l’analyse économique n’est qu’affaire d’idéologie et de manipulation des données. C’est probablement l’idée qu’en avaient les instigateurs de ces instituts : face à une recherche marquée à droite, il fallait une recherche marquée à gauche… Du coup, rien d’étonnant à ce que les politiques continuent de classer les chercheurs selon les résultats de leurs études, plutôt à gauche ou plutôt à droite selon qu’ils critiquent l’un ou l’autre camp. Cette situation nourrit la faible qualité du débat économique en France sans faire mentir l'éternelle antienne : « on peut tout faire dire aux données ! »…
A côté de ces instituts, les centres de recherche universitaires sont trop peu développés. L’OFCE constitue à l'heure actuelle l'exemple le plus satisfaisant d’institut économique indépendant et apportant une réelle expertise au débat public. Son lien avec Sciences-po et avec le milieu universitaire (doctorants, conférences scientifiques et publication) est la meilleure garantie d’une indépendance et d’une certaine crédibilité. Son atout le plus direct est de bénéficier de la bonne gestion, professionnelle de Sciences-po : le site web, de bonne facture, est actualisé régulièrement, des liens ont été établis avec des instituts de conjoncture étrangers. Mais il faut reconnaître que l’institut s'est spécialisé dans les questions de conjoncture et de macroéconomie qui laissent de côté toutes les évaluations de politiques économiques qui sortent du cadre de la politique monétaire et budgétaire. Et il ne fait de mystère pour personne que l’OFCE défend plus nettement une vision néo-keynésienne de l’économie (il faut baisser les taux d’intérêt et faire du déficit public) peu propice à l’analyse des politiques microéconomiques (fiscalité, politiques de l’emploi…).
Le CEE : le Centre d’étude de l’emploi est une institution intéressante au sens où son objectif de recherche académique est plus marqué que dans les deux instituts précédents. La recherche y est de bonne qualité mais – et c'est là le revers de la médaille – sa présence dans le débat public est plus que limitée.
le Cepremap : Le Cepremap est un institut de recherche récent, ancien laboratoire du Commissariat au plan recyclé en centre d’expertise à vocation d’évaluation. Les chercheurs qui y travaillent sont d’une grande qualité académique, mais force est de constater que l’interface de l’institut avec le grand public est pour le moins limité (le site web est plus une liste de documents de travail qu’une présentation pédagogique des enjeux des politiques publiques). Pour l’instant, seule la série des opuscule du Cepremap correspond à l’enjeu de communication des travaux des chercheurs.
L'Institut d'Économie Publique (IDEP) : L’IDEP est un institut basé à Marseille, proche par ses membres du GREQAM, le laboratoire d’économie publique d’Aix-Marseille. Son site web est nettement plus dynamique que celui de son équivalent parisien et témoigne de la vitalité de la recherche économique dans le Sud de la France (que l’on a tendance à oublier au profit de Paris et de Toulouse). Si tous les ingrédients sont réunis pour faire de l’institut un succès, on ne peut que s’étonner du manque de lisibilité nationale de l’IDEP. Peu présent dans les médias, peu cité dans le milieu académique, l’institut n’a pas encore réussi à sortir de la matrice d’un institut d’expertise régional.
III/ Les nouvelles créations
Disons le tout net : la France ne dispose pas à l’heure d’aujourd’hui d’institutions de qualité, professionnelles et indépendantes pour mener à bien l’évaluation des politiques publiques. Si ce constat est loin d’être une nouveauté, un certain nombre de dispositions laissent à penser que les choses peuvent rapidement changer.
La LOLF est la plus importante manifestation de cette volonté de changement : parmi d’autres réformes, elle implique l’évaluation des politiques publiques. On ne va pas revenir dans ce post sur cette réforme, sur ses limites et le chemin qu’il reste à parcourir pour son application. Prenons pour acquis ses objectifs. Quels sont les moyens pour y parvenir ?
Les derniers gouvernements ont eu à cœur de faciliter l’expression de l’expertise via des « conseils », ou réunion de « sages » : Conseil d’Analyse économique (CAE), Conseil d’orientation des retraites (COR), Conseil de la formation professionnelle tout au long de la vie (CNFPTLV), Centre d’analyse stratégique (CAS, ex commissariat au plan) et dernier né de ces « conseils », le Conseil d’orientation pour l’emploi (COE). On se souvient aussi de la suppression du CSERC par Edouard Balladur en 1994, puis de la recréation par Jospin en 2000 du Conseil de l’Emploi, des Revenus et de la Cohesion sociale (CERC). Cette liste n’est bien sûr pas exhaustive et la tentation est forte pour le blogueur de dénigrer tout cela comme une vieille habitude bien française de créer une commission lorsqu’on ne parvient pas à résoudre un problème (le terme « conseil » faisant plus expert que « commission » et « Centre d’analyse stratégique » sonnant moins soviétique que « Commissariat général du Plan »). Qu’en est-il exactement ?
Il est évidemment trop tôt pour donner un avis définitif. En tout état de cause, les intentions sont très bonnes : au sein du CAS, un Conseil national de l’évaluation est chargé de diriger l’évaluations des politiques publiques. Les chercheurs sont censés être indépendants, les opinions des partenaires sociaux écoutées, le débat facilité. Un bon exemple est le COR qui a réussi à faire accepter le constat du déséquilibre des retraites et du chiffrage des enjeux comme un fait non contestable (cf les fiches pour le débat).
Mais tous ces organismes sont sous l’autorité du Premier ministre et n’ont pas d’indépendance formelle. Les liens avec le milieu universitaire sont, au mieux, tenus. Il semble que ces conseils ont été constitués moins pour évaluer, analyser et proposer que pour faire la pédagogie de réformes « évidentes » à faire passer aux Français. Au final, j’aurais tendance à penser que toute évaluation menée par des organismes dépendants de l’exécutif et non liés au monde académique est voué à l’échec (cf la discussion avec SM d’éconoclaste).
A suivre : un topo sur les exemples étrangers qu'on serait bien inspirés de suivre en Gaule…
I/ Les administrations s’auto-évaluent
Un rapport d’information du Sénat en 2004 fait le point sur notre système d’évaluation. Il est très complet et relève bien ses insuffisances. Le but de ce post n’est pas d’en faire un résumé, mais de présenter rapidement les institutions françaises d’évaluation en pointant leurs atouts et leurs faiblesses.
Le système administratif français repose sur une structure pyramidale, centralisée, dont le but est d’appliquer les lois votées par le Parlement. Il s’agit d’une vision fondamentalement juridique de l’administration. Dès lors, l’évaluation des politiques publiques constitue avant tout l’exercice d’un contrôle des politiques. De façon guère étonnante dans ce cadre, ce sont les juristes de la Cour des Comptes qui ont pour vocation à contrôler les dépenses de l’Etat. Néanmoins, la Cour des Comptes ne possède pas les compétences et l’expertise nécessaire pour réaliser de véritables évaluations, consistant à mesurer précisément l’efficacité d’une politique au vu de ses objectifs. Plus profondément, la logique de la Cour est une logique comptable et non une logique d’économiste, c’est-à-dire qui discuterait du rendement de tel ou tel investissement public.
Les centres dédiés à l’évaluation des politiques publiques se concentrent au sein des ministères, sous l’autorité du ministre qui met en place la politique. L’idée est de mettre à la disposition du ministre toute l’expertise nécessaire pour mettre en place la politique la plus efficace. Il ne s’agit pas d’alimenter le contrôle parlementaire ou le débat public via la presse. Cinq institutions, importantes dans le domaine économique méritent d’être ici évoquées :
- La DGTPE, du ministère des Finances, est le centre de l’expertise économique du gouvernement. Ses membres sont essentiellement des administrateurs Insee, avec une solide formation en économie. Ils sont dirigés par des énarques avec l’objectif de servir la volonté politique du ministre.
- L’Insee jouit d’une relative indépendance, sous la condition implicite de ne pas réaliser d’études trop politiques. Son expertise étant reconnue, l’institut de statistique est unique dans le monde pour ne pas se limiter à la production de données, mais aussi à la recherche et donc à l’évaluation des politiques économiques. Cette dernière activité est rendu difficile par sa dépendance vis-à-vis du ministère des Finances.
- La Drees du ministère de la Santé est le centre de recherche des politiques de la santé et des retraites.
- La Dares du ministère du Travail effectue les évaluations des politiques de l’emploi.
- La Dep du ministère de l’Education nationale se concentre sur les politiques éducatives.
II/ Les institutions indépendantes
Contrairement aux pays anglo-saxons et dans une certaine mesure aux pays scandinaves, la France compte très peu d’institutions de recherche en économie capable de réaliser des évaluations de qualité et de communiquer dans le débat public.
« Par ailleurs, d’un point de vue quantitatif, les ressources disponibles pour contribuer aux travaux d’évaluation des politiques publiques restent sous-dimensionnées. Une diffusion insuffisante de la culture de l’évaluation chez un certain nombre de prestataires « naturels » d’évaluation explique, pour beaucoup, cet état de fait. C’est vrai pour des organismes, comme les universités, pour lesquels les études et la recherche restent des activités privilégiées. Mais cette situation existe aussi, à un moindre titre, pour les trop rares « Think tanks » à la française. Elle se combine avec la modestie des moyens de ces derniers, et, parfois, avec une position institutionnelle ambiguë pour limiter le développement de leurs activités d’évaluation. » (extrait du Rapport d’information du Sénat 2004 pp. 35-36)
La situation française combine des universités sous financées en situation de déclin, avec des centres de recherche coupés du débat public et des administrations et une expertise publique qui reste au mieux généraliste et sans compétence spécifique. Le bas niveau du débat économique en France, déploré sur la blogosphère, dans les ministères, ne date pourtant pas d’hier. Le rapport Lenoir-Baudoin Prot de 1979 avait suggéré d’y remédier en constituant d’autres pôles d’expertise économique que ceux de l’Insee et du ministère des finances. Deux nouveaux instituts indépendants avaient été créés : l’Institut de recherche économiques et sociales (IRES) et l’Observatoire français des conjonctures économiques (OFCE). En outre, le rapport recommandait de renforcer les moyens de Rexeco, ancêtre du COE-Rexecode, l'institut de recherche proche du patronat.
La France dispose ainsi de deux instituts de recherche économiques affiliés l’un aux syndicats et l’autre au patronat.
Ires : Ce centre de recherche est censé servir de lieu d'expertise aux milieux syndicaux afin d’affermir leurs capacités de proposition. Malheureusement, si des chercheurs compétents composent cette institution, l’IRES pâtit lourdement de son affiliation syndicale, qui rend ses analyses suspectes de parti pris idéologique. C’est d’ailleurs souvent le cas : les publications des chercheurs de l’IRES font rarement l’objet d’un consensus scientifique et apparaissent très souvent comme des positions militantes au ton très engagé.
Rexecode : L’institut est financé par fonds privés et est souvent présenté comme le centre de recherche du patronat. De fait, le ton de ses études n'est pas neutre en ce que ces dernières cherchent généralement à mettre en avant les arguments qui vont dans le sens des prises de position du Medef. L’évaluation extrêmement positive des propositions de Nicolas Sarkozy lors de la dernière campagne présidentielle ne fait que renforcer ce sentiment. Et quand celui-ci le cite comme preuve du consensus qui entoure son programme, les économistes ne peuvent que s’énerver.
Au départ la création de ces instituts avait pour but de fournir une expertise aux partenaires sociaux afin de faciliter un dialogue jugé difficile. Globalement, l’expérience fut un échec : le combat militant ayant remplacé l’expertise, l’effet final a été plus négatif avec l’impression donnée aux partenaires sociaux que l’analyse économique n’est qu’affaire d’idéologie et de manipulation des données. C’est probablement l’idée qu’en avaient les instigateurs de ces instituts : face à une recherche marquée à droite, il fallait une recherche marquée à gauche… Du coup, rien d’étonnant à ce que les politiques continuent de classer les chercheurs selon les résultats de leurs études, plutôt à gauche ou plutôt à droite selon qu’ils critiquent l’un ou l’autre camp. Cette situation nourrit la faible qualité du débat économique en France sans faire mentir l'éternelle antienne : « on peut tout faire dire aux données ! »…
A côté de ces instituts, les centres de recherche universitaires sont trop peu développés. L’OFCE constitue à l'heure actuelle l'exemple le plus satisfaisant d’institut économique indépendant et apportant une réelle expertise au débat public. Son lien avec Sciences-po et avec le milieu universitaire (doctorants, conférences scientifiques et publication) est la meilleure garantie d’une indépendance et d’une certaine crédibilité. Son atout le plus direct est de bénéficier de la bonne gestion, professionnelle de Sciences-po : le site web, de bonne facture, est actualisé régulièrement, des liens ont été établis avec des instituts de conjoncture étrangers. Mais il faut reconnaître que l’institut s'est spécialisé dans les questions de conjoncture et de macroéconomie qui laissent de côté toutes les évaluations de politiques économiques qui sortent du cadre de la politique monétaire et budgétaire. Et il ne fait de mystère pour personne que l’OFCE défend plus nettement une vision néo-keynésienne de l’économie (il faut baisser les taux d’intérêt et faire du déficit public) peu propice à l’analyse des politiques microéconomiques (fiscalité, politiques de l’emploi…).
Le CEE : le Centre d’étude de l’emploi est une institution intéressante au sens où son objectif de recherche académique est plus marqué que dans les deux instituts précédents. La recherche y est de bonne qualité mais – et c'est là le revers de la médaille – sa présence dans le débat public est plus que limitée.
le Cepremap : Le Cepremap est un institut de recherche récent, ancien laboratoire du Commissariat au plan recyclé en centre d’expertise à vocation d’évaluation. Les chercheurs qui y travaillent sont d’une grande qualité académique, mais force est de constater que l’interface de l’institut avec le grand public est pour le moins limité (le site web est plus une liste de documents de travail qu’une présentation pédagogique des enjeux des politiques publiques). Pour l’instant, seule la série des opuscule du Cepremap correspond à l’enjeu de communication des travaux des chercheurs.
L'Institut d'Économie Publique (IDEP) : L’IDEP est un institut basé à Marseille, proche par ses membres du GREQAM, le laboratoire d’économie publique d’Aix-Marseille. Son site web est nettement plus dynamique que celui de son équivalent parisien et témoigne de la vitalité de la recherche économique dans le Sud de la France (que l’on a tendance à oublier au profit de Paris et de Toulouse). Si tous les ingrédients sont réunis pour faire de l’institut un succès, on ne peut que s’étonner du manque de lisibilité nationale de l’IDEP. Peu présent dans les médias, peu cité dans le milieu académique, l’institut n’a pas encore réussi à sortir de la matrice d’un institut d’expertise régional.
III/ Les nouvelles créations
Disons le tout net : la France ne dispose pas à l’heure d’aujourd’hui d’institutions de qualité, professionnelles et indépendantes pour mener à bien l’évaluation des politiques publiques. Si ce constat est loin d’être une nouveauté, un certain nombre de dispositions laissent à penser que les choses peuvent rapidement changer.
La LOLF est la plus importante manifestation de cette volonté de changement : parmi d’autres réformes, elle implique l’évaluation des politiques publiques. On ne va pas revenir dans ce post sur cette réforme, sur ses limites et le chemin qu’il reste à parcourir pour son application. Prenons pour acquis ses objectifs. Quels sont les moyens pour y parvenir ?
Les derniers gouvernements ont eu à cœur de faciliter l’expression de l’expertise via des « conseils », ou réunion de « sages » : Conseil d’Analyse économique (CAE), Conseil d’orientation des retraites (COR), Conseil de la formation professionnelle tout au long de la vie (CNFPTLV), Centre d’analyse stratégique (CAS, ex commissariat au plan) et dernier né de ces « conseils », le Conseil d’orientation pour l’emploi (COE). On se souvient aussi de la suppression du CSERC par Edouard Balladur en 1994, puis de la recréation par Jospin en 2000 du Conseil de l’Emploi, des Revenus et de la Cohesion sociale (CERC). Cette liste n’est bien sûr pas exhaustive et la tentation est forte pour le blogueur de dénigrer tout cela comme une vieille habitude bien française de créer une commission lorsqu’on ne parvient pas à résoudre un problème (le terme « conseil » faisant plus expert que « commission » et « Centre d’analyse stratégique » sonnant moins soviétique que « Commissariat général du Plan »). Qu’en est-il exactement ?
Il est évidemment trop tôt pour donner un avis définitif. En tout état de cause, les intentions sont très bonnes : au sein du CAS, un Conseil national de l’évaluation est chargé de diriger l’évaluations des politiques publiques. Les chercheurs sont censés être indépendants, les opinions des partenaires sociaux écoutées, le débat facilité. Un bon exemple est le COR qui a réussi à faire accepter le constat du déséquilibre des retraites et du chiffrage des enjeux comme un fait non contestable (cf les fiches pour le débat).
Mais tous ces organismes sont sous l’autorité du Premier ministre et n’ont pas d’indépendance formelle. Les liens avec le milieu universitaire sont, au mieux, tenus. Il semble que ces conseils ont été constitués moins pour évaluer, analyser et proposer que pour faire la pédagogie de réformes « évidentes » à faire passer aux Français. Au final, j’aurais tendance à penser que toute évaluation menée par des organismes dépendants de l’exécutif et non liés au monde académique est voué à l’échec (cf la discussion avec SM d’éconoclaste).
A suivre : un topo sur les exemples étrangers qu'on serait bien inspirés de suivre en Gaule…