Regarder de près la situation qui prévaut chez les Goths en matière d’évaluation des politiques publiques est instructif pour mesurer à la fois les limites de l’organisation gauloise que nous prenons trop souvent pour une évidence gravée dans un menhir par Toutatis. On a vu comment les réformes Hartz avaient été d'emblée évaluées (avec un succès très relatif tant en termes de méthode que du point de vue des résultats); ce post a pour objectif de montrer comment les prévisions macroéconomiques et de finances publiques (déficit, dette) sont réalisées en Allemagne.

L’idée est que, si les économistes allemands se trompent sans doute autant que leurs cousins d'outre-Rhin, la Germanie est mieux outillée que la Gaule pour organiser de manière transparente la production de prévisions crédibles afin qu'un débat plus serein sur la politique budgétaire du gouvernement puisse avoir lieu. Cette meilleure organisation est pour partie liée à des caractéristiques institutionnelles (rôle accru en droit – constitution – et en fait – moyens humains – du parlement, fédéralisme) qu’il est sans doute difficile d’importer chez nous, mais pour partie aussi liée à une répartition différente des tâches, qui pourrait, elle, faire l’objet d’une adaptation avantageuse dans l’Hexagone.

La préparation du budget chez les Goths

La définition du cadre macroéconomique (quelle croissance du PIB l’année prochaine ?) dans lequel s’inscrit la préparation du budget est caractérisée en Allemagne, à la différence de la France, par le fait que le gouvernement n’y joue qu’un rôle secondaire. Alors qu’en France les hypothèses de croissance et de recettes fiscales sur lesquelles reposent le budget sont fabriquées en interne par le ministère des Finances, en Allemagne, le ministère des Finances se voit en quelque sorte imposer les paramètres de l’extérieur, ce qui rend les hypothèses plus crédibles et permet au débat de se concentrer sur les vraies questions.

En pratique, un gouvernement qui peut cuisiner lui-même ses hypothèses de croissance et de recettes fiscales va avoir tendance à être trop optimiste ou trop pessimiste selon ses objectifs. S’il veut expliquer à ses citoyens qu’on peut dépenser sans compter, il aura tendance à surestimer la croissance à venir, s’il veut au contraire leur faire comprendre qu’il faut se serrer la ceinture, il aura tendance à la sous-estimer (dans la réalité, ce second biais est beaucoup plus rare…). Après coup, le gouvernement se retrouve souvent devant une dérive de la dépense qu’il ne peut couvrir avec des recettes qui sont finalement plus limitées que prévu. Il a donc à faire face à un déficit plus important que prévu ; à une augmentation possible de sa dette, et aux foudres de ses partenaires européens qui lui reprochent de ne pas tenir ses engagements.

La chronologie de la préparation d’un budget est en gros la suivante. Nous sommes en juin 2000 : la préparation du budget pour l’année 2001 se déroule dans la plupart des pays de l’Union européenne à partir de juillet et le budget est voté par le Parlement avant la fin de l’année 2000. Or en juillet 2000, on connaît uniquement ce qu’à été la croissance au premier trimestre 2000 : on doit donc avoir une vision à un horizon distant de 7 trimestres, dont 6 qui n’ont pas encore eu lieu, pour savoir ce qu’on peut prévoir de dépenser en 2001. Il est clair que cet exercice est difficile et que les prévisions qui sont faites se révèlent souvent fausses, ex-post. La question est de savoir si elles sont fausses car activement biaisées, ou fausses juste en raison d’erreurs de prévisions « neutres ».

Le système allemand semble mieux garantir cette neutralité que le système français. Au printemps, les principaux instituts de conjoncture économique (ils étaient jusque tout récemment 6, ils sont désormais 5) réalisent une prévision de croissance consensuelle qu’ils rendent publique (dans certains cas, s’il est difficile d’atteindre un consensus, des éventuelles « opinions divergentes » peuvent être contenues dans le rapport). Le gouvernement annonce dans les jours qui suivent sa propre prévision de croissance. Bien entendu, il est libre d’annoncer ce qu’il veut, mais il ne peut ignorer la prévision des instituts et doit s’expliquer s’il s’en éloigne. En pratique, l’organisation d’une prévision indépendante consensuelle et officielle renchérit sensiblement le coût politique et en termes de crédibilité d’une prévision divergente voir « trafiquée » qui serait par exemple ½ point au-dessus du consensus.

Quelques semaines plus tard, le « Groupe de travail des estimations fiscales » se rassemble, et produit, sur la base de l’hypothèse de croissance annoncée par le gouvernement et des données les plus récentes concernant les recettes fiscales, une prévision de l’ensemble des recettes fiscales pour l’année suivante. De la même manière, le ministère des Finances doit s’appuyer sur cette prévision pour préparer son projet de loi de finances : non que cela soit prévu dans la loi, mais là encore, le coût politique d’une déviation est important et doit être mesuré : il est ardu de justifier que sur la base des mêmes données et des mêmes hypothèses économiques, les services du ministère des Finances prévoient plusieurs milliards d’euros de recettes supplémentaires.

Les Instituts de conjoncture chez les Goths

Qui sont ces Instituts et ce « Groupe de travail » qui donnent finalement le « la » de la discussion budgétaire en Allemagne ?

Les Instituts de conjoncture sont des instituts de recherche économique et de conjoncture indépendants (même s’ils dépendent lourdement de fonds publics), qui rassemblent en pratique les tâches qui sont en France pour l’essentiel réalisées par les différentes divisions de l’Insee qui sont chargées de réaliser des études, et par l’(ex-)Direction de la Prévision (voir le post sur l’évaluation en France). Ces instituts qui sont répartis sur tout le territoire allemand (Ifo à Munich, DIW à Berlin par exemple) sont en concurrence entre eux, et pas avec l’Office fédéral de la statistique qui se contente de produire des données statistiques et de les mettre à disposition (un monopole d'exploitation des données fausserait la concurrence).

Les instituts sont régulièrement évalués par leurs pairs en fonction de leurs performances académiques et de leur capacité à alimentater le débat public. En cas de mauvais résultats, ils peuvent être exclus de la « guilde » des « principaux instituts » et donc ne plus avoir la possibilité de réaliser la « prévision consensuelle » (qui, au passage, est grassement rémunérée). Cette menace n’est pas que théorique puisque c’est ce qui est arrivé l’année dernière à l’institut HWWA de Hambourg devenu depuis HWWI, et plus récemment au DIW de Berlin (je reviendrai sur cette affaire instructive dans un post prochain).

Le « Groupe de travail des estimations fiscales » rassemble quant à lui les experts en finances publiques de ces mêmes instituts et ceux du gouvernement (au niveau fédéral et régional). Le « Groupe de travail » est donc moins indépendant mais reste une enceinte où les experts extérieurs au gouvernement prennent une part active, ce qui n’est pas le cas en France où il est difficile à un expert indépendant de contester de manière informée les projections de recettes fiscales du gouvernement...

Moralité...

Au total, il est quand même bien difficile de mettre en évidence une qualité supérieure de la procédure budgétaire en Allemagne par rapport à la France, au sens où les mauvaises ou bonnes surprises sur les recettes seraient moins fréquentes outre-Rhin.

Il est cependant intéressant de noter que la confiance du public dans les chiffres qui sont données par le gouvernement semble plus importante. La méfiance endémique qui règne en France sur les chiffrages qui précèdent le budget n’existe pas en Allemagne, puisque ceux-ci sont fabriqués en dehors du gouvernement. Cela permet à la discussion de se concentrer sur les sujets fondamentaux : répartition des dépenses entre les différents ministères, efficacité des nouvelles dépenses proposées, etc.

_Fabien_

Il y a quelques semaines de cela, nous avions entrepris d’éclairer ce en quoi que les fameuses réformes Hartz mises en place en Allemagne entre 2003 et 2005 avaient véritablement consisté. Nous avions rappelé qu’elles s’étaient entre autres accompagnées d’un programme complet d’évaluation empirique, dont le coût était prévu dès la mise en place de la réforme et avions souligné que nous autres Gaulois devrions nous inspirer de telles pratiques, histoire de savoir à quoi nous dépensons nos deniers publix.

L’évaluation des réformes Hartz montre à quel point même avec la volonté politique, l’évaluation, et le fait d’en tirer les conséquences qui s’imposent n’est pas une tâche aisée.

Lorsqu’on demande à un économiste qui s’intéresse à l’Allemagne (là par exemple) ce qu’il pense de la guérison rapide de l’économie allemande au cours des trois à cinq dernières années, il répondra inlassablement quelque chose du style « les réformes structurelles, au premier rang desquelles celles entreprises depuis 2003 sur le marché du travail, ont joué un rôle majeur dans la baisse du chômage et le retour de la croissance ». Qu’en est-il exactement ?

En l’état actuel de nos connaissances, la seule chose qu'on puisse affirmer avec quelque certitude est que « certaines des mesures instituées dans le cadre des réformes Hartz ont sans doute contribué à une baisse accélérée du chômage alors que le contexte économique était favorable pour toute une série de raisons relativement indépendantes des réformes Hartz, et que cette baisse du chômage a pu en retour soutenir la croissance ». Toute proposition plus affirmative serait téméraire, et ce car l’évaluation des politiques publiques est malheureusement une activité nécessairement lente et partielle.

Lente car au temps de la mise en place de la réforme ou du nouveau dispositif s’ajoute celui de la collecte des données, et même si les chercheurs travaillent jour et nuit une fois les données disponibles, les premiers résultats raisonnablement robustes sur l’évaluation d’un dispositif peuvent n’arriver que plusieurs années après la réforme. Partielle car on peut rarement répondre à une question du type « les réformes ont-elles conduit au retour de la croissance ?»

I/ Aider les chômeurs à créer leur entreprise : l'exemple du dispositif Ich-AG

L’exemple du dispositif « Société anonyme à moi tout seul » (Ich-AG), mis en place dans le cadre de la loi Hartz II est à cet égard édifiant et vaut à mon avis la peine d’être détaillé tant il illustre certains problèmes auxquels l’évaluation, même bien faite, peut se heurter. Nous brosserons dans un prochain post un panorama plus complet des résultats de l’évaluation des autres mesures.

Lorsqu'il fut mis en place, le dispositif Ich-AG n'était pas tout à fait inédit : les aides à la création d’entreprise pour les chômeurs existaient depuis 1986 en République fédérale d’Allemagne. Mais ces aides ont été considérablement accrues, selon deux dispositifs distincts :
1/ le premier constituait une nouveauté : l’aide à la création d’entreprise individuelle (Existenzgründungszuschüsse dits « Ich AG ») introduite par la loi Hartz II et entrées en vigueur début 2003.
2/ l’autre qui existait déjà auparavant : l’allocation de transition (Überbrückungsgeld qui a été réformée depuis début 2004 dans le cadre de la loi Hartz III).

Les principes des deux dispositifs étaient les suivants :

• l’allocation de transition devait permettre à des chômeurs de continuer à recevoir leurs allocations pendant une durée de 6 mois s’ils s’établissaient en tant qu’entreprise individuelle, et ce quel que soit le revenu perçu grâce à leur nouvelles activité ;
• l’aide à la création d’entreprise individuelle visait quant à elle à autoriser les chômeurs qui décideraient de fonder leur entreprise de recevoir pendant trois ans une allocation dégressive (de 600€/mois la première année à 240€/mois la dernière) ;

Le choix pour un chômeur entre les deux systèmes dépend du dernier revenu perçu avant l’épisode de chômage, des perspectives de revenu de l’entreprise individuelle ainsi que de la durée de chômage anticipée. En gros un chômeur certain de son affaire et ayant touché des revenus élevés avant son épisode de chômage optera pour la première solution, alors qu’un chômeur prévoyant des débuts difficiles et n’ayant de toutes les manières pas de fortes allocations chômage préfèrera la deuxième solution.

II/ Les difficultés de l'évaluation

En quoi a consisté l’évaluation des ces nouvelles mesures ? Les chercheurs qui ont été recrutés à cette fin par le ministère allemand de l’emploi ont tenté de répondre à la question suivante : ceux qui ont bénéficié de cette mesure ont-ils vu leur probabilité de rester au chômage diminuer et si oui, de combien ?

Cette question est relativement ardue, pour au moins deux raisons :

1/ la première est que ces mesures ont eu tendance à faire augmenter initialement le taux de chômage des individus qui ont bénéficié, puisqu'il s'agissait par définition de chômeurs tout occupés à la fondation de leur entreprise, et par conséquent peu occupés à rechercher un emploi. Comparer naïvement le taux de retour à l’emploi des participants à celui des non participants conduirait ainsi de façon indue à considérer la mesure comme inefficace voir nuisible : il faut donc du recul pour s’abstraire de cet « enfermement » des chômeurs dans la mesure qu’on leur propose, et qui est destinée à les faire sortir plus vite du chômage ensuite (ce phénomène est encore plus évident avec les formations). Il faut donc attendre que le dispositif ait terminé de fonctionner pour pouvoir en mesurer l’effet réel sur les chances de sortie du chômage des bénéficiaires. Mais Ich-AG était prévue pour durer trois années ! Il faut donc s’armer de patience… ce qui n’est pas forcément aisé pour un homme politique qui attend qu’on lui dise avant les élections si l’argent qu’il a dépensé a été utilisé efficacement ou non…

2/ La deuxième raison pour laquelle l’évaluation est ardue, même lorsqu’on peut observer des individus qui ne sont plus touchés par l’aide, est que les bénéficiaires de cette aide ne sont pas comparables à ceux qui n’y ont pas eu recours (en fait et parfoit même en droit). On pourrait penser par exemple que ce sont en moyenne les chômeurs les plus débrouillards qui ont décisé de postuler pour l’aide à la création d’entreprise. Si tel est le cas, peut-on déduire de l'observation que ces individus sont moins souvent au chômage que leurs congénères après quelques années que l’aide a joué son rôle ? A priori non, parce que même en l'absence de cette mesure, il est probable que ces chômeurs plus débrouillards aient de toute manière retrouvé un emploi salarié plus facilement que les autres… Ce problème dit de « sélection endogène » des participants nécessite d’avoir recours à des techniques d’estimation plus sophistiquées que la simple comparaison brutale de deux groupes. Ces techniques sophistiquées sont gourmandes en données détaillées et donc en enquêtes coûteuses et qui prennent du temps.

III/ Des résultats plutôt encourageants

Finalement, que disent les études qui ont cherché à évaluer le dispositif Ich-AG (voir les papiers ici et là) ?

Pour l’allocation de transition, qui n’est payée que durant 6 mois, elles concluent que la probabilité d’être en emploi est, « grâce à l’allocation » de 32% plus élevée 10 mois après la fin du soutien, et entre 8% (Ouest) et 13% (Est) plus élevée 42 mois après la fin du soutien.

Pour l’aide à la création d’entreprise individuelle, l’évaluation est moins aisée dans la mesure où le recul ne permettait pas d’observer d’individus qui avaient bénéficié mais ne profitaient plus de l’aide. Les probabilités de ne plus être au chômage sont, en fonction de l’âge et de la zone géographique, entre 30 et 50% plus élevées 16 mois après le début de la mesure (alors que le soutien n’est plus de que 360€ mensuels). Les auteurs en concluaient, en l’attente de résultats plus robustes avec plus de recul temporel, que la mesure avait sans doute elle aussi eu un effet positif et significatif.

Ces résultats appellent deux remarques :

1/ D’une part on voit à quel point pour produire des connaissances précises et solides, il faut limiter les ambitions des conclusions : les chercheurs n’évaluent pas l’effet de la Ich-AG sur le PIB ou sur l’emploi dans cinq ans, mais seulement sur la probabilité pour un chômeur de retrouver un emploi, dans un contexte macroéconomique donné. Il n’est pas évident que mise en place ailleurs, à une autre époque, ces dispositifs fonctionneraient aussi bien. Toutefois, si la communauté des économistes n’a pas découvert le saint Graal avec Ich-AG, elle est sortie enrichie de cette évaluation : désormais, on sait que ce type de dispositif peut vraiment marcher dans un contexte comme celui de l’Allemagne des années 2000 et pas seulement parce qu’un bel esprit a écrit un modèle théorique cohérent où ça marche (ce qui est utile, mais pas suffisant pour justifier de dépenser les précieux deniers publics).

2/ D’autre part, il se trouve que les deux dispositifs, dont la différenciation semblait être une qualité puisque chacun s’adressait (efficacement visiblement) à un profil de chômeurs différent, ont été fusionnés par le ministère du Travail avant même qu'on ait le recul suffisant pour terminer l’évaluation ! Vouloir évaluer c’est bien, mais encore faut-il en tirer les conséquences qui s’imposent, au premier rang desquelles la nécessité d'une dose de patience et d'un soupçon de modestie.

Les Goths sont en avance sur les Gaulois, mais il semble bien qu’il leur reste aussi du chemin à faire...

_Fabien_

Depuis quelques mois, la Gaule a redécouvert l’existence de ses voisins germains. Alexandre d’Econoclaste avait lancé la discussion a propos des commentaires de Munchau dans le Financial Times et les économistes gaulois restent divisés sur l’opportunité de réformer le marché du travail. Pendant ce temps, les Goths accumulent les sesterces depuis que leurs chars de luxe se vendent comme des petits pains aux quatre coins de l’Empire. Certains bardes à Lutèce prétendent que la réorganisation du travail chez les Goths est à l’origine de leur récent essor, d’autres au contraire y voient une politique de Barbares que la Gaule civilisée devrait éviter a tout prix, qu’en est-il exactement?

Les réformes du marché du travail en Allemagne surnommées Hartz, du nom de leur promoteur, ont donné lieu à quatre lois mises en œuvre entre 2003 et 2005, qui rassemblent une dizaine de mesures différentes (voir ici pour un bon papier récapitulatif en anglais). Stricto-sensu, les réformes Hartz ne concernent que les « services sur le marché du travail » i.e. toutes les mesures d’aide au retour à l’emploi. La limitation en 2004 de la durée des allocations à 12 mois (18 pour les plus de 55 ans à partir de 2006) ne fait par exemple pas partie de ces lois, mais relève de la même philosophie. En effet, les lois Hartz ne constituent qu'un aspect de l' « Agenda 2010 », nom de la stratégie mise en place par le gouvernement rouge-vert pour redresser l'économie allemande. Il est intéressant au passage de noter que le nom de la stratégie indiquait dès le départ le fait que ses promoteurs étaient lucides sur le fait que de telles réformes ne portent leurs fruits qu'à moyen terme (ses détracteurs prétendent avec humour que 2010 est la date de péremption du concept…). L' « Agenda 2010 » comprenait notamment la plus grande réforme fiscale réalisée en Allemagne depuis la guerre, ce qui n'a pas facilité la tâche des évaluateurs. Les réformes Hartz sont adossées à la philosophie du « fördern und fordern » (littéralement, encourager et exiger, approche connue en anglais sous le nom welfare to work). L'idée était d' « activer » les bénéficiaires de prestations sociales : de les aider à retrouver un emploi sans les conforter dans leur éloignement du marché du travail. Ces politiques s’opposent aux politiques de l’emploi dites passives (compensation des chômeurs, préretraites, partage du temps de travail) qui ont dominé en Europe pendant les décennies 70 et 80.

Les réformes ont constitué principalement à réorganiser de fond en comble les méthodes d'accueil, de placement et de contrôle des chômeurs, suivant l'idée que les chômeurs, en échange d'un contrôle plus strict, seraient mieux aiguillés, se verraient proposer des formations mieux adaptées et retrouveraient finalement plus rapidement un emploi. Parallèlement à cette réorganisation profonde des ANPE allemandes, un certain nombre de mesures nouvelles ont été introduites, notamment l'Ich-AG (littéralement « société anonyme à moi tout seul »), subvention à la création d'entreprise par les chômeurs.

Ces réformes du marché du travail ont constitué la substance des lois Hartz I à III. Il est à noter que les contrats de travail (notamment la période d’essai) et le système de financement de la protection sociale (le coin socialo-fiscal) n’ont pas été massivement modifiés par ces lois, qui ont finalement remodelé le monde du chômage plus que celui du travail. Une exception importante cependant : les conditions de recours au travail intérimaire ont été largement assouplies. La dernière étape (Hartz IV) de la réforme a, quant à elle, engagé une refonte des minima sociaux en Allemagne. Elle consisté à fusionner le RMI allemand de l'époque (Sozialhilfe) et l'allocation chômage de solidarité (Arbeitslosenhilfe) que les chômeurs de longue durée recevaient après avoir épuisé leurs droits dans le régime assuranciel : cette mesure visait à rassembler en une unique catégorie toutes les personnes éloignées durablement du marché du travail (« second » voir « troisième » marché du travail).

Cette dernière réforme, décidée en 2004 et mise en place début 2005 a conduit à de nombreuses manifestations à l'Est, à une désorganisation massive des ANPE début 2005, à une augmentation vertigineuse des chômeurs inscrits à l'hiver 2005 (et pour cause il fallait s'inscrire au chômage pour bénéficier de la nouvelle allocation unique) et à une dérive brutale des comptes publics, la réforme ayant coûté plus de 10 milliards d'euros de plus que prévu. Finalement, le SPD de Schröder perdit les élections régionales de Rhénanie au printemps (la Rhénanie, dont le PIB est comparable à celui de la Hollande, est le premier Land allemand et un bastion traditionnel du parti social démocrate), ce qui précipita la chute du gouvernement rouge-vert. Au total les lois Hartz se caractérisent, même avant évaluation, par un certain nombre de traits qui méritent d’être médités quand on voit ce que nous avons l’habitude de faire en France : les réformes Hartz ont constitué une étape décisive dans la modernisation des politiques publiques en Allemagne : vision globale, simplification, évaluation :

• il s’agit d’un véritable train de mesures, qui s’appuie sur un diagnostic simple (le problème du chômage est un problème d’offre de travail) et met en œuvre une série de mesure cohérentes avec ce diagnostic, dans un champ très large puisque finalement même les minima sociaux sont touchés (ils constituent en effet, qui plus est dans un pays sans salaire minimum, un paramètre important sur le segment des bas salaires, qui est évidemment le segment cible des réformes);


• l’ensemble des mesures ont pour objectif annexe une simplification de l’ensemble des dispositifs et une réduction des coûts ;


• l’évaluation de la réforme est prévue ex ante (sinon le design, du moins le financement).

Au total, l’approche qui a sous-tendu la conception et la mise en œuvre des réformes Hartz devrait nous inspirer. Nous verrons dans le prochain post qu’elles se sont avérées pour partie inefficaces voire nuisibles, pour partie réussies ; nous verrons aussi que pour certains dispositifs, il est trop tôt pour véritablement porter un jugement. Mais elles ont inauguré une nouvelle manière d’envisager les politiques publiques de l’emploi en Allemagne, que les hommes politiques et le grand public, via une presse de qualité, se sont appropriée et constituent, à ce titre, un progrès indéniable.

_Fabien_

Pour clarifier les enjeux, il faut clairement distinguer les objectifs et les moyens de l’action publique. Les objectifs sont de l’ordre des choix politiques des citoyens dans le cadre de la démocratie. Faut-il dépenser plus dans l’éducation ou dans l’armée, dans les retraites ou la recherche, pour l’aide au développement ou pour la santé ? A l’inverse une partie des choix des politiques publiques sont de l’ordre des moyens. Tout le monde s’accorde à vouloir un taux de chômage plus faible, mais la question est comment faire ? Faut-il faire des préretraites, les 35 heures, modifier le contrat de travail, modifier le système d’assurance chômage, mettre en place des baisses de charges sociales, modifier le salaire minimum, baisser les impôts, faire du déficit public… ?

Une première possibilité consiste à évaluer l’efficacité de ces différentes politiques en vue de l’objectif fixé et à juger si celles-ci ont des effets non désirés. Si par exemple améliorer la flexibilité du marché du travail permet de baisser le chômage en dégradant les conditions de vie des salariés, les citoyens sont en droit de refuser une telle politique en faveur d’une autre plus adéquate. Mais pour faire ce choix en connaissance de cause, il faut d’abord étudier quels sont les effets des différentes politiques proposées. Et ceci n’a rien d’évident.

La difficulté majeure de l’évaluation des politiques publiques vient du fait qu’il est techniquement difficile d’estimer « l’effet pur » des politiques publiques. On ne peut pas observer un même pays avec une politique x et sans cette politique. Toute la question de l’évaluation repose sur ce problème : il n’est pas possible d’observer le « contrefactuel » (ce qui ce serait passé si cette politique n’avait pas eu lieu).

Prenons l’exemple du CNE : on mesure qu’un an après l’introduction du nouveau contrat, 570 000 contrats ont été signés (de septembre 2005 à août 2006 selon l’Acoss). Qu’en conclure ?

• Que le CNE a « permis de créer 570 000 nouveaux emplois » ? (ça serait le cas si l’on pouvait vérifier que, dans un monde sans CNE, le nombre d’emplois créés serait inférieur de 570 000) ;


• Que le CNE a « a simplement conduit à une substitution de CNE à des CDI » ? (ça serait le cas si l’on pouvait vérifier que, dans un monde sans CNE, au bout d’un an 570 000 nouveau CDI auraient de toutes les façons été créés).

Le problème fondamental est qu’une « France sans CNE » n’existe pas en même temps qu’une « France avec CNE » : estimer la causalité de l’existence du CNE sur l’emploi n’a donc rien d’évident !

L’approche la plus basique consiste à comparer l’emploi après avec celui avant l’introduction de la politique publique (en l’occurrence le CNE) qui nous intéresse. Or imaginons qu’au moment où le CNE est mis en place le dollar monte, l’Allemagne sort de récession ou encore l’hiver dure moins longtemps : comment peut-on faire pour savoir quelle part de ce qu’on observe attribuer au CNE et quelle part aux autres facteurs favorables qui se sont manifestés de manière simultanée ?

Une autre méthode consiste à comparer deux groupes, les entreprises touchées par le CNE (moins de 20 salariés) et les entreprises non touchées par le CNE (plus de 20 salariés) : peut-on déduire de la comparaison de ces deux groupes que la différence d’embauche est liée au CNE ? Pas vraiment. Cette différence représenterait l’effet du CNE uniquement si les entreprises de moins de 20 salariés et celles de plus de 20 salariés sont en tout points identiques quant à l’embauche et au cycle économique. Pas besoin de longues études d’économie pour être d’accord sur le point que ces deux groupes ne sont pas tout à fait comparable : le biais de sélection est évident.

Les économistes ont alors cherché à utiliser des méthodes statistiques pour isoler l’effet de causalité et s’émanciper des biais de sélection. Pour établir des relations de causalité, la méthode la plus convaincante est de faire une expérience. On tirer au sort deux groupes, l’un « test » à qui la réforme est appliquée, l’autre « de contrôle », sert de groupe de comparaison. Le choix aléatoire des deux groupes les rend identiques et donc retire le biais de sélection. Si cette méthode a des atouts indéniables du point de vue scientifique, elle est coûteuse à mettre en place et fait souvent face à l’opposition de ceux qui considèrent l’expérimentation des politiques sociales comme non éthique.

Pour pallier le manque de telles expériences, les économistes ont recours à des expériences naturelles, c’est-à-dire l’étude de réformes ou de variations qui se rapprochent d’une expérience contrôlée (différents groupes touchés différemment). Une des méthodes les plus utilisées aujourd’hui (parmi d’autres méthodes), s’appelle « la double différence ». L’idée est de comparer la différence entre deux groupes (l’un touché par la réforme, l’autre pas) avant la réforme puis après la réforme. Si les deux groupes n’évoluent pas de façon différente (hormis à cause de la réforme), on va pouvoir identifier l’effet pur de celle-ci. Cette méthode a l’avantage d’être très transparente pour les évaluations et donc de pouvoir plus facilement convaincre des lecteurs non spécialistes. C’est un avantage considérable qui explique largement son succès. Toute la difficulté consiste à trouver des groupes tests et de contrôle convaincants, c’est-à-dire qui soient aussi similaires les uns des autres avant la réforme, comme s’ils avaient été tirés au sort.

Pour autant, la recherche économique qui s’est concentrée sur les évaluations de politiques publiques est beaucoup plus complexe et a développé bien d’autres méthodes, non pas pour maintenir le débat aux mains d’experts tout puissants, mais parce les questions en jeu sont d’une réelle complexité. Plusieurs exemples peuvent aider à préciser cette nécessité :

D’abord, l’effet à court terme peut être différent d’un effet à long terme. Par exemple, l’introduction du CNE peut conduire à court terme à la création de nouveaux emplois, mais qui vont progressivement se substituer aux CDI qui disparaissent. Ou, à l’inverse, la création d’un nouveau contrat de travail n’a que peu d’effet à court terme mais accroît à plus long terme l’embauche de tous les salariés.

Ensuite, une politique économique touche les individus de façon différente : certains peuvent réagir nettement d’autres pas du tout. Effectuer des simples comparaisons des effets moyens masque parfois la diversité des situations : il est possible que le CNE soit très efficace pour offrir des emplois à des jeunes sans qualification qui étaient exclus avant du marché du travail car les employeurs ne voulaient pas leur faire confiance pour un essai, mais que ce contrat soit destructeur de stabilité pour les plus qualifiés. Un effet moyen masque alors des situations très différentes, voire opposées (les économistes appellent ce problème l’hétérogénéité des réactions).

Enfin, le problème de l’équilibre général se pose de façon nette à tous les spécialistes de l’évaluation : une politique peut avoir un effet au niveau micro (en équilibre partiel) et avoir un effet net très différent une fois que son impact sur toutes les autres variables est pris en compte. Ainsi, si le CNE incite à la création d’emploi (hypothèse), les salaires vont réagir à l’augmentation de la demande de travail (ils risquent d’augmenter si l’offre de travail est contrainte), ce qui va faire baisser en retour la demande de travail (si la demande de travail est sensible à son coût) ou l’augmenter (selon un effet keynésien d’augmentation de la consommation). L’effet net d’une politique va dépendre au final d’un certain nombre de réactions de l’économie que les économistes cherchent à étudier séparément. Les méthodes des expériences naturelles ont l’avantage de mesurer un effet global à un moment donné, mais comme la décomposition des effets est difficile, elles se prêtent mal à des généralisations. Par exemple si l’introduction du CNE est évalué comme positif pour l’emploi (hypothèse), cela ne prouve pas que le CPE (qui vise un autre public) va être efficace.

Les méthodes d’évaluation des politiques publiques sont en amélioration permanente depuis une quinzaine d’année. Elles se sont diffusées depuis les universités (américaines) pour alimenter de larges pans de la recherche économique. Pour que ces innovations parviennent à alimenter des évaluations de qualité, il faut un contact permanent et intense entre les institutions qui mènent les évaluations et la recherche de pointe dans ces domaines. Il y a donc une seconde difficulté à l’évaluation, institutionnelle cette fois… Suite au prochain numéro !

_Antoine_ _Fabien_

Pour alimenter les débat de ce blog, nous allons proposer sur des sujets précis des feuilletons de longue haleine. Nous commençons par l’évaluation des politiques publiques. Pourquoi ? Le sujet peut apparaître aride à certains, digne des débats des commissions du Sénat. Il est pourtant au cœur des motivations qui fondent l’existence de ce blog et de nos travaux de recherche et répond exactement au débat sur le chiffrage des programmes économiques des candidats à l'élection présidentielle.

Depuis le 21 avril 2002, la France semble faire l’expérience d’un décrochage entre citoyens et hommes politiques ou plus généralement entre les citoyens et les « experts » des politiques publiques. Les Français ont l’impression d’avoir abandonné leur souveraineté à des experts dont ils contestent les choix qu’ils soient bureaucrates à Bruxelles, énarques à Paris ou même statisticiens à l’Insee. Le succès des propositions de Ségolène Royal et de Nicolas Sarkozy repose largement sur la remise en cause de ceux-ci.

A l’inverse, le constat pratiquement inverse est partagé par les chercheurs en sciences sociales qui déplorent à chaque intervention dans le débat public combien l’évaluation des politiques publiques est en retard en France, combien les données disponibles pour mesurer l’efficacité des politiques sont d’accès difficiles et combien les politiques publiques répondent plus souvent à des impératifs électoraux qu’à des nécessités de long terme.

Ces deux constats sont-ils vraiment contradictoires, opposant la vision d’experts méprisant la démocratie à celle des citoyens qui souhaitent reconquérir une souveraineté disparue ? Notre conviction est qu’il s’agit, au contraire, du même problème qui vient des lacunes de notre système d’évaluation des politiques publiques.

Les administrations publiques taxent 45 % du PIB et en dépensent 48%. Cela représente près de 800 milliards d’Euros en 2005. Ces dépenses sont largement essentielles au fonctionnement de notre pays, la santé, l’éducation, la police, l’armée, les institutions judiciaires, les assurances de retraite, d’invalidité, de maternité, de chômage, l’aide au logement… la liste est longue et non exhaustive. La plupart des débats politiques tournent autour du niveau de prélèvement : trop élevé pour beaucoup, il faut faire des économies, arrêter le « grand gaspillage ». Un débat récent s’intitulait ainsi faut-il augmenter ou baisser les prélèvements obligatoires. Il s’agit finalement d’une vieille rengaine du débat économique : le secteur privé ou le secteur public doivent-ils fournir les biens et les services demandés par la collectivité. Nationalisation contre privatisation, économie administrée contre économie de marché, gauche contre droite ? Cette vision correspond à une vision idéologique de l’économie, un choix des moyens et non des objectifs. A l’inverse, l’approche par l’évaluation des politiques publiques repose sur l’idée que les objectifs sont d’ordre politique, résultat des choix des citoyens, mais que les moyens pour atteindre ces objectifs peuvent être plus ou moins efficaces et doivent donc être soumis à l’analyse.

Le débat économique français reste pourtant cantonné à une vision idéologique des politiques publiques. Les politiques sont classées plus ou moins à droite ou à gauche et on choisit les études économiques qui vont dans le sens du résultat escompté. Le problème est que le plus souvent les effets de ces politiques sont a priori inconnus pour ceux qui ne se reposent pas sur une croyance idéologique. Pour savoir si une politique est efficace, il faut le plus souvent l’évaluer. C’est un travail difficile, minutieux et qui nécessite l’honnêteté intellectuelle de celui qui le mène. Contrairement à une pensée répandue, on ne peut pas faire dire ce que l’on veut aux statistiques !

Pour mener à bien de telles évaluations, de nombreuses conditions doivent être réunies : des chercheurs proches de la recherche académique, évalués par leurs pairs de façon indépendante, mais suffisamment proches des administrations pour connaître les institutions en jeu et pouvoir transmettre leurs résultats au public par la presse.

On est très loin d’un tel système en France. Le constat se nourrit d’un cercle vicieux que l’on pourrait décrire ainsi : le débat économique est notoirement faible ; les journalistes sont souvent accusés de rédiger de piètres articles économiques et de répéter les poncifs idéologiques des uns et des autres. Mais il faut reconnaître que les journalistes n’ont pratiquement pas à leur disposition des analyses économiques de qualité, des conférences de vulgarisation où ils pourraient être conviés. On ne peut pas décemment demander aux journalistes de lire les revues scientifiques en anglais pour traduire à leurs lecteurs les avancées de la recherche économique ! Est-ce alors la faute des chercheurs français ? Pas vraiment. Ceux-ci n’ont pas d’institutions pour communiquer leurs résultats ; ne disposant pas de données françaises gardées jalousement par les administrations, ils se reportent sur les données étrangères (qui intéressent nettement moins le débat national) ou plus souvent sur les questions théoriques… du coup, on n’investit pas dans la recherche sous prétexte que les chercheurs vivent dans leur bulle. Et la boucle est bouclée.

Pour réconcilier les Français avec leurs politiques publiques, il faut deux conditions sine qua non : que celles-ci soient efficaces et que les Français comprennent pourquoi. L’évaluation est un exercice d’expertise et un exercice de citoyenneté. Pour paraphraser Ségolène Royal, « les experts sont des citoyens »…

Ce feuilleton va d’abord aborder la question du problème de l’évaluation (pourquoi évaluer est compliqué : techniquement et institutionnellement), puis faire un bilan de l’évaluation en France, à l’étranger et enfin proposera des réformes.

_Antoine_ _Fabien_