Il n’est pas illégitime de chercher à évaluer l’efficacité des actions, fussent-elles culturelles, financées par de l’argent public. Et, pourtant, un vent de révolte s’est levé contre la charge de plus en plus lourde que représente le renseignement de trop nombreux indicateurs jugés par ailleurs sans intérêt, du moins par ceux chargés de les remplir. La présente note cherche donc à comprendre les raisons de ce mécontentement tout en proposant des pistes pour aboutir à un processus accepté car efficace.
Le champ culturel étant vaste et relevant de logiques professionnelles et de pratiques différentes, l’analyse porte principalement sur trois secteurs particulièrement sensibles et, par conséquent, intéressants à questionner : le spectacle vivant, les arts plastiques et les musées. L’importance des financements qu’ils réclament tout comme leur ancrage historique dans les politiques publiques, particulièrement celles concernant la démocratisation culturelle, expliquent l’attention particulière que les collectivités publiques leur portent mais aussi les discussions, voire les polémiques, qu’ils suscitent entre les acteurs évalués et les pouvoirs publics (État ou collectivités locales) qui les financent et les évaluent. Les éléments d’analyse et les propositions qui en découlent doivent beaucoup aux travaux du séminaire organisé en octobre 2017 par l’Observatoire de la culture de la Fondation.
Évaluer, mais de quel(s) point(s) de vue ?
L’évaluateur et l’évalué
Si, dans le contexte de réduction de la dépense publique qui prédomine depuis plusieurs années, l’évaluation semble avoir pour fonction première d’identifier les économies possibles, elle a été, dans un premier temps, imaginée comme un instrument permettant de justifier l’utilité des budgets consacrés à la culture. Augustin Girard, fondateur du département des études et de la prospective du ministère de la Culture (DEPS), la voyait comme un moyen d’accompagnement du développement culturel. Il pensait qu’en développant de la connaissance sur la relation entre dépenses et pratiques culturelles, on prouverait l’utilité de leur financement par les pouvoirs publics. L’évaluation était alors pensée du point de vue du dépensier. Malheureusement, les résultats n’ont pas été aussi significatifs que souhaité. Les travaux conduits par le DEPS sur une longue période ont, au contraire, montré que, si un plus grand nombre de Français avait accès à la vie culturelle du fait de la multiplication des institutions et de leur meilleure répartition sur l’ensemble du territoire, il n’y avait pas de changement significatif dans la composition sociologique de ce public.
De leur côté, les opérateurs culturels ont voulu démontrer l’efficacité économique des dépenses culturelles. Se sont ainsi développées des études économétriques très poussées cherchant à vérifier scientifiquement cette affirmation. Si les résultats incontestés se font attendre, elles ont contribué à survaloriser la dimension économique dans l’évaluation des politiques culturelles, au détriment des approches psychosociologiques.
L’évaluation des politiques territoriales a connu le même cheminement. Il faut rappeler le rôle pionnier qu’a joué Joffre Dumazedier avec son enquête sur la vie culturelle à Annecy. Dans une démarche clairement sociologique, il confrontait le point de vue d’experts extérieurs au site étudié avec celui des acteurs locaux. Plus tard, l’Observatoire des politiques culturelles de Grenoble a été créé spécifiquement pour suivre les politiques culturelles des collectivités à la demande du ministère qui n’en avait pas les moyens. Les premières études ont porté sur la notion de coopération. Il fallait comprendre comment les différents acteurs coopéraient ou pouvaient coopérer pour produire des politiques cohérentes en mettant autour de la table des élus, des experts, des professionnels, des responsables administratifs afin de confronter leurs points de vue et leurs cultures.
Comme pour l’État, la crise des finances publiques a conduit les collectivités à privilégier dans les études d’évaluation le point de vue strictement financier. Aujourd’hui, l’évaluation est donc conduite du point de vue du financeur et tout particulièrement de celui du ministère en charge du budget. Il en découle une culture du chiffre où les indicateurs financiers (notamment le rapport entre l’argent investi et le nombre de personnes touchées) sont prédominants. D’une certaine manière, le monde de la culture est ainsi victime d’un processus qu’il a lui-même enclenché en voulant prouver, par les chiffres, la nécessité et l’efficacité de ses politiques et de ses actions. S’ensuit une nouvelle répartition des rôles : le financeur se fait évaluateur et le dépensier devient évalué. Le ministère en charge du budget joue le rôle d’évaluateur en chef, le ministère de la Culture et les collectivités étant par rapport à lui des évalués se transformant en évaluateurs par rapport aux acteurs de terrain, qu’ils s’agissent d’établissements nationaux ou de compagnies artistiques.
Le récepteur
Aux points de vue du dépensier et du financeur, de l’évaluateur et de l’évalué, il faut ajouter celui du récepteur, c’est-à-dire du public. À l’inverse des processus d’évaluation cherchant à prouver l’efficacité d’une politique, il s’agit d’étudier les projets ou les politiques culturelles du point de vue de l’utilisateur. Il n’est donc plus question de s’interroger à partir du projet et des objectifs du créateur et du producteur ou de ceux de la puissance publique, mais à partir du projet de celui auquel l’œuvre est destinée.
Pour connaître les objectifs que le récepteur se donne, il faut partir de son horizon d’attente. Celui-ci repose sur les représentations préalables que le récepteur (visiteur ou spectateur) se fait de ce qu’il va voir, alimentées par les expériences préalables réussies ou ratées qui configurent son esprit au moment où s’enclenche une nouvelle visite ou un nouveau spectacle. Vient ensuite l’expérience proprement dite au cours de laquelle vont se cristalliser des impressions, des sentiments qui interagissent avec les représentations initiales pour générer satisfaction ou insatisfaction.
Cette conception de l’évaluation, en lien direct avec la réception, a été développée depuis longtemps dans le cadre des fondations muséales privées d’Amérique du Nord. Mais elle est également pratiquée en France par les musées nationaux et a servi de base à la démarche de la mission « Musées du XXIe siècle », qui a permis de confronter les projets des professionnels à ceux du public. Cette démarche permet à la fois un retour sur le passé (et c’est de ce point de vue une évaluation) mais aussi une projection dans l’avenir avec la définition de nouveaux objectifs sur lesquels peuvent se greffer des indicateurs précis et pertinents.
À ce stade, il n’est pas illogique d’avancer qu’une bonne évaluation devrait tenir compte des trois points de vue qui viennent d’être rappelés, non pas en se contentant de les juxtaposer mais en prenant soin de les confronter les uns aux autres.
Critiques et regrets
Critiques
Si le principe d’une évaluation des politiques culturelles, et donc des acteurs qui les mettent en œuvre, ne semble contesté que marginalement, les critiques sont, en revanche, de plus en plus vives pour ce qui est des modalités d’application. Principaux accusés, les objectifs assignés souvent flous et contradictoires, les indicateurs trop nombreux et souvent peu pertinents par rapport aux objectifs et, finalement, la charge administrative engendrée qui vient réduire les budgets artistiques. Le but n’est pas de recenser ici tous les griefs et les exemples qui justifient ces griefs, mais de mettre en évidence les raisons pour lesquelles la façon dont l’évaluation est aujourd’hui conduite suscite ces oppositions.
La première tient à la temporalité. Les évaluations sont le plus souvent lancées en fin de période de conventionnement ou avant le renouvellement d’une nomination. Ce moment est inadéquat pour une évaluation sereine puisqu’elle est susceptible d’une instrumentalisation immédiate et sans recours. Il est compréhensible que dans ces conditions elle soit suspectée de n’être que l’habillage d’une décision déjà prise et donc de passer, au mieux, pour un exercice inutile et pourtant terriblement chronophage. D’autres se situent à des moments où l’établissement concerné est en pleine mutation. Le regard sur le passé vient alors trop tard pour éclairer un nouveau projet dont la mise en œuvre a déjà commencé.
La seconde porte sur le nombre et le manque de pertinence des indicateurs qui doivent être renseignés. Cette critique semble aujourd’hui partagée par l’ensemble des établissements et des acteurs culturels quels que soient leur taille et le champ sur lequel ils travaillent. Pour les établissements relevant d’un label, la normalisation des cahiers des charges vient occulter l’originalité de chacun des projets artistiques et focalise l’évaluation sur des indicateurs peu pertinents sans effort d’en rechercher d’autres qui le seraient davantage. En d’autres termes, est-il logique de juger une scène nationale active sur un territoire relevant des politiques de la ville sur les mêmes critères qu’une autre implantée dans un territoire plus favorisé ? Pour les petits établissements, et encore plus pour les compagnies, cette normalisation conduit à une surcharge administrative difficile à assumer.
Cette charge de travail est d’autant plus mal acceptée, et il s’agit là de la troisième raison, que l’utilité opérationnelle des informations demandées n’est guère perceptible par ceux qui les fournissent. Les données chiffrées constituent-elles le seul moyen d’évaluer le travail accompli ? Servent-elles à nourrir des statistiques globales utiles à la défense des politiques culturelles ou à leur réorientation ? Sont-elles même réellement lues et étudiées ? Certains en doute alors même que sur bien des dossiers le ministère peine à fournir des chiffres exhaustifs et fiables. En toute hypothèse, l’absence de partage des résultats entre évaluateurs et évalués ne peut que renforcer critiques et malentendus. Or, le partage n’existe que trop rarement en amont comme en aval du processus, ne permettant pas, de ce fait, de lever les malentendus et d’aboutir à une perception commune des enjeux.
Regrets
Ces critiques se nourrissent de regrets dans la mesure où, justement, les acteurs culturels se sentent concernés et attendent d’une évaluation bien conduite, un éclairage et une aide.
Pourquoi, alors même que l’essentiel des indicateurs qui doivent être renseignés portent sur des données économiques (dépenses, recettes et fréquentation), il est encore impossible de disposer de chiffres stables sur l’économie de la culture ? Les importantes variations existant sur les chiffres de l’emploi culturel en est l’exemple le plus frappant. Et, pourtant, le secteur culturel dans son ensemble aurait tout à gagner de disposer de chiffres qui ne puissent être contestés. Flou méthodologique, absence de consensus sur les définitions rendant difficile la consolidation des données, variation des périmètres faussant toutes comparaisons, multiplication de structures chargées de la compilation des données sans moyens suffisants pour le faire, absence de définition de ce qu’il est indispensable de savoir… Tout cela contribue à fragiliser la crédibilité des résultats produits lorsqu’ils le sont et, par conséquent, le poids du ministère de la Culture face à ses interlocuteurs budgétaires.
Cela n’implique pas une remise en cause du principe d’indicateurs chiffrés mais le regret que beaucoup d’entre eux ne permettent pas de déboucher sur des résultats qualitativement utiles. Des indicateurs oui, mais des indicateurs pertinents. Celui utilisé pour mesurer l’activité des institutions culturelles dans le champ des partenariats avec le milieu scolaire le serait davantage s’il concernait le nombre d’heures/élèves, plutôt que le taux d’élèves touchés puisqu’un élève touché pendant une heure ne peut être l’équivalent d’un élève touché pendant dix heures. Un indicateur qui ne peut que produire des effets pervers puisqu’une institution touchant beaucoup d’élèves pendant peu d’heures sera mieux notée qu’une autre touchant moins d’élèves mais pendant davantage d’heures ; une prime au quantitatif par rapport au qualitatif. Autre exemple, le même budget investi par une DRAC dans le champ éducatif peut produire des chiffres très différents. S’il est affecté au financement d’ateliers artistiques, il concernera une centaine d’élèves, mais si la même somme est intégrée à un contrat local, elle impliquera statistiquement le millier, ou plus, d’élèves géographiquement concernés par le contrat même si seulement une centaine en bénéficie réellement.
Les processus actuels semblent déconnectés des véritables enjeux. Entre les grandes déclarations de principes sur le rôle de l’art comme facteur d’épanouissement et créateur de lien social et les indicateurs d’activités il y a un grand vide qui pourrait être comblé par des études qualitatives fondées sur des approches pluridisciplinaires. Des études qui demandent nécessairement du temps, un temps aujourd’hui difficile à accorder lorsque tout doit être fait pour tenir dans le cadre annuel des exercices budgétaires ou, au mieux, sur les trois ans des conventions cadre d’objectifs ou des durées de mandat. L’absence ou l’insuffisance des études qualitatives est d’autant plus regrettable que, dans de nombreux cas, elles sont seules à pouvoir évaluer correctement l’impact des politiques culturelles. C’est tout particulièrement le cas pour la démocratisation qui ne peut se résumer à l’évolution de la fréquentation des établissements. Si l’on veut évaluer l’impact d’un spectacle produit par des jeunes scolarisés en zone d’éducation prioritaire auprès de leurs parents quant à l’évolution de leurs représentations et de leurs rapports à la culture, les chiffres de fréquentation du spectacle ne peuvent suffire. Il faut un suivi dans la durée.
Les méthodes d’évaluation actuelles relèvent davantage de l’audit que de l’évaluation. Or, la pertinence de ces méthodes pour évaluer une politique est sujette à caution. Ces méthodes sont particulièrement utilisées en cas de crise, or, ce n’est pas un audit nécessairement plaqué de l’extérieur qui aide à régler une crise, mais plutôt une conférence de consensus. Rappelons que c’est ce qui a été fait en 2014 pour trouver une issue à la crise de l’intermittence. Mettre autour d’une table des experts ayant des points de vue différents pour leur permettre de travailler sur des bases acceptées par tous.
Pour une évaluation efficace et partagée
Pour parvenir à une évaluation efficace et partagée, il n’est pas nécessaire d’ouvrir de multiples chantiers mais plutôt de se concentrer sur quelques mesures permettant de débloquer la situation et d’engager une nouvelle dynamique.
Une conférence nationale de l’évaluation culturelle
Le premier acte serait de convoquer une conférence nationale de l’évaluation culturelle composée de représentants de l’État, des collectivités territoriales, d’acteurs culturels dans leur diversité et de chercheurs. Cette conférence aurait trois missions essentielles :
- lancer une réflexion de fond sur les objectifs même de l’évaluation ;
- lancer un chantier méthodologique sur le recueil des données et leur utilisation ;
- définir les principes d’une autorité indépendante chargée d’assurer la crédibilité, la neutralité et la transparence des actions d’évaluation.
Ce qu’il faut évaluer
Il n’y a pas de vie culturelle sans projets artistiques originaux. Le respect de la liberté de création n’interdit pas de pouvoir évaluer leurs effets et leur réception. Mais il est alors indispensable de déterminer les objectifs assignés : que cherche-t-on à vérifier, à mesurer, à connaître ? La conférence nationale devra répondre à ces questions afin que ces objectifs puissent être compris et acceptés.
Elle devra, de plus, se pencher sur la prise en compte des nouveaux enjeux. Nous n’avons pas fini de découvrir les bouleversements que la révolution numérique produit dans nos sociétés. Ce qui est sûr, c’est que, déjà, le numérique a remis en cause les bases traditionnelles de la production et de la diffusion culturelle autour d’une hyper-concentration des canaux de diffusion, une dématérialisation des supports et une préconisation automatisée de l’offre fondée sur l’analyse de la demande immédiate et majoritaire. Ces changements n’ont pas encore débouché sur un renouvellement des objectifs des politiques culturelles encore centrées sur la fréquentation des œuvres et des établissements qui les présentent avec, comme critère essentiel d’évaluation, l’élargissement quantitatif et social de leur fréquentation. Or, l’un des nouveaux défis est bien de vérifier si les politiques mises en œuvre sont susceptibles d’apporter une alternative à l’exploitation commerciale du rêve et de l’imaginaire mondialement organisée.
Les droits culturels sont aujourd’hui inscrits dans la loi. Leur mise en œuvre ne fait pas, pour autant, l’objet d’objectifs particuliers et encore moins de critères d’évaluation spécifiques.
Pour un grand chantier méthodologique
Il n’y a pas d’évaluation possible sans savoir de quoi on parle et de quelles situations on part. Or, aujourd’hui, ces conditions essentielles sont loin d’être établies. Il faut donc lancer un grand chantier méthodologique pour définir ce que l’on cherche à connaître et les voies les plus sûres pour y parvenir.
Le but est de construire une base de données intégrable à la statistique publique. Les champs à couvrir doivent être communs à l’ensemble des intervenants impliqués dans la vie culturelle (ministères, collectivités locales, institutions publiques ou privées). Pour être correctement renseignés, ils doivent être peu nombreux et bien ciblés. Cela implique de parvenir à des définitions communes, ce qui n’est pas le cas aujourd’hui, qu’il s’agisse du périmètre des dépenses culturelles ou de celui des emplois culturels. Cette conférence devrait également travailler sur la définition d’une nouvelle notion permettant de concilier approche quantitative et qualitative, à l’exemple de ce que le ministère de l’Éducation nationale a fait avec la notion de valeur ajoutée des établissements scolaires qui permet de nuancer les analyses faites à partir des seuls taux de réussite aux examens.
Les résultats devraient pouvoir être computés et analysés au niveau des territoires, seule échelle géographique pertinente pour analyser les effets des politiques culturelles.
En ce qui concerne plus particulièrement le ministère en charge de la culture, une réorganisation de ses services d’études semble nécessaire pour dépasser la situation actuelle qui se caractérise par la juxtaposition d’une production d’études pointues et de résultats statistiques difficilement exploitables. Cette réorganisation pourrait se faire avec une économie de moyens à condition de conforter ce qui existe plutôt que d’inventer des structures nouvelles.
Une autorité indépendante
À l’image de ce qui se fait pour les établissements d’enseignement supérieur de l’Éducation nationale avec le Haut Conseil de l’évaluation, le ministère de la Culture devrait se doter d’une instance administrative indépendante capable de garantir la neutralité et la transparence des processus fondés sur une méthodologie partagée. Elle pourrait également prendre en charge la formation des évaluateurs pour permettre une plus grande cohérence entre les objectifs poursuivis et les moyens financiers et la durée dont ils disposent.
L’indépendance de cette instance renforcerait la crédibilité des données produites et assurerait la neutralité et la transparence de ses interventions.
Les principes à respecter
Les objectifs et les méthodes ainsi redéfinis les processus d’évaluation gagneront à respecter quelques principes de mise en œuvre.
Le moment et le temps
Le choix du moment de l’évaluation est une condition essentielle de son utilité et donc de son efficacité. Les modalités d’évaluation doivent être clairement déterminées par l’ensemble des parties prenantes, avant même que ne commence la mise en œuvre d’un projet.
L’évaluation doit être conduite tout au long de la durée du projet et pas seulement lors de sa dernière année.
Enfin, l’évaluation, pour être comprise, doit être restituée et partagée. Le partage et la discussion des résultats font partie intégrante du processus. Ce sont les conditions nécessaires pour qu’ils n’apparaissent pas comme un verdict extérieur sans appel mais plutôt comme un moment de compréhension permettant de progresser.
Pour une évaluation pluridisciplinaire adaptée à la spécificité des projets
La politique de labélisation, utile pour donner de la cohérence et de la lisibilité aux politiques culturelles, ne doit cependant pas déboucher sur une standardisation et une uniformisation de l’offre culturelle. On ne peut pas à la fois se plaindre de la trop grande uniformité de la vie culturelle et ne pas voir qu’elle provient en grande partie des contraintes standardisées auxquels les projets artistiques doivent répondre. Il existe une tension permanente entre le besoin d’inventer des projets, ce qui implique risque et exploration de domaines inconnus, et le besoin compréhensible qu’ont les collectivités publiques d’organiser, de modéliser en établissant des cahiers des charges s’imposant à tous. Un projet fort nécessite, sans doute, la possibilité de ne pas répondre à l’ensemble des obligations d’un cahier des charges.
En conséquence, les procédures d’évaluation doivent tenir compte de l’originalité de chaque projet. À côté du tronc commun proposé précédemment, il faut prévoir des approches spécifiques. Ce sont celles qui doivent faire l’objet d’une discussion préalable entre les partenaires concernés.
Ces approches spécifiques doivent posséder une dimension qualitative et, pour cela, faire appel à des expertises et des approches diversifiées. Ces approches sont particulièrement indispensables pour mieux comprendre les différents points de vue des récepteurs et les codes culturels qui les sous-tendent. Il faut donc recourir à des enquêtes sociologiques, psychologiques, géographiques appliquées à la réception des œuvres.
Les évaluations qualitatives ne peuvent se faire que dans la durée dès lors qu’elles ne concernent pas que la collecte de chiffres annuels. Elles ont plus de pertinence à l’échelle territoriale ou sectorielle qu’à celle d’un établissement. Il faut donc leur donner les moyens de se déployer au niveau des labels comme à celui des territoires. À côté des tableaux chiffrés bien présents, il y a la place pour proposer des projets d’évaluation spécifiques.
Pour une charge de travail acceptable
Depuis plusieurs années, les responsables culturels dénoncent l’augmentation des charges administratives à laquelle ils doivent faire face. Aux dossiers, de plus en plus lourds, qu’il convient de constituer pour obtenir des subventions, s’ajoutent ceux qu’il faut fournir pour justifier de leur utilisation. Pour que le travail demandé soit fait dans de bonnes conditions, il faut qu’il soit adapté à la taille des structures et aux budgets en jeu.
Par ailleurs, l’auto-évaluation qualitative, déjà inscrite au cahier des charges de certains labels, représente une charge et peut être assimilée à un projet spécifique. Il serait souhaitable qu’il puisse être pris en compte dans les financements accordés, sauf à réduire encore davantage la part des budgets artistiques.