Mesurer ce qui compte : repenser l’évaluation d’impact
Dans le secteur caritatif canadien, le terme « impact » est devenu un mot à la mode. Il est omniprésent dans les demandes de subventions, les plans stratégiques et les échanges avec les bailleurs de fonds, où il est perçu comme un gage de sérieux et de responsabilité. Sous l’impulsion des demandes bien intentionnées des donateurs et des bailleurs de fonds, les organisations subissent une pression croissante pour démontrer les changements profonds et durables qu’elles apportent. Cependant, les données du Projet Canada Perspectives des Organismes de Bienfaisance (PCPOB) révèlent un écart important entre ce que les bailleurs de fonds attendent et ce que les organisations peuvent réellement offrir.
Confusion dans le langage de l’évaluation
L’utilisation incohérente de la terminologie constitue un obstacle majeur. Dans la pratique de l’évaluation, les réalisations, les résultats et l’impact sont des concepts distincts. Les réalisations décrivent le produit direct des activités, comme « le nombre d’ateliers organisés ». Les résultats rendent compte des changements à court et moyen terme observés chez les participants, tels que « l’amélioration des connaissances ou des compétences ». L’impact, en revanche, fait référence à un changement systémique plus large et à plus long terme, par exemple « la réduction des taux de chômage ».
Dans la pratique, cependant, ces distinctions sont souvent floues. En examinant des rapports d’évaluation au Canada et ailleurs, Susan Phillips et Victoria Carlan ont constaté que les organismes à but non lucratif assimilent fréquemment « l’évaluation d’impact » à des mesures plus simples telles que les extrants ou les résultats. Comme l’a exprimé un panéliste du PCPOB : « Je ne sais pas vraiment comment mesurer l’impact et les résultats autrement qu’en recueillant le nombre de participants et quelques commentaires qualitatifs de leur part. » (PCPOB 2.10.38) Il est donc important de discerner si les organisations canadiennes évaluent l’impact ou comptent les extrants.
Conclusions du PCPOB : les organisations caritatives mesurent-elles réellement leur « impact » ?
Fondamentalement, la mesure de l’impact ou l’évaluation vise à déterminer si une intervention entraîne un résultat particulier. Elle s’appuie sur des modèles contrefactuels ou quasi-expérimentaux qui comparent ce qui s’est produit à ce qui se serait produit sans l’intervention, afin d’isoler la causalité.
Les conclusions du PCPOB montrent que la plupart des évaluations dans ce secteur se concentrent sur le suivi et l’apprentissage, et non sur la preuve de causalité. Alors que 81 % des organisations caritatives déclarent mesurer l’impact sous une forme ou une autre (PCPOB 2.10.38), seules 8 % mènent des évaluations à l’aide de méthodes contrefactuelles – la norme méthodologique pour établir la causalité (PCPOB 1.11.44). La plupart des organisations caritatives s’appuient sur des questionnaires qu’elles ont elles-mêmes conçus (50 %) et sur des résultats ou des effets enregistrés (environ 50 %), plutôt que sur des outils validés en externe par le gouvernement (10 %) ou des chercheurs (8 %) (PCPOB 2.10.38).
Ces tendances montrent que les organismes caritatifs procèdent bel et bien à des évaluations, mais principalement dans le but d’apprendre, de s’améliorer et de rester fidèles à leur mission, et non pour établir un lien de causalité. Des observations similaires ont été rapportées dans des études antérieures consacrées à ce secteur, notamment le rapport VSERP de 2003 sur l’évaluation dans le secteur bénévole et le rapport « State of Evaluation » publié par Imagine Canada en 2018.
La question est donc de savoir si la pression en faveur de la « mesure de l’impact » a dépassé la capacité réelle du secteur, voire son objectif même.
Une mise en garde tirée de la « révolution de l’impact » aux États-Unis et au Royaume-Uni
Les expériences menées aux États-Unis et au Royaume-Uni constituent une mise en garde. Dans les années 2000, les organisations caritatives ont été encouragées à mesurer et à publier leur propre impact. Revenant plus tard sur cette « révolution de l’impact », Caroline Fiennes et son collègue Ken Berger, tous deux conseillers en philanthropie, ont reconnu que cette pratique s’était retournée contre eux, car le système était conçu de telle manière qu’il empêchait la production de données fiables.
Caroline Fiennes soutient qu’il est souvent irréaliste d’attendre des organisations caritatives qu’elles mènent des évaluations d’impact rigoureuses. Les organisations peuvent se sentir poussées à présenter des résultats flatteurs, ou ce que Ben McNamee, de DARO, appelle des « indicateurs de vanité ». De nombreuses organisations caritatives manquent également de l’expertise méthodologique, des ressources financières et de la taille d’échantillon nécessaires à une évaluation rigoureuse. En bref, les organisations caritatives sont expertes dans la prestation de services, mais pas nécessairement dans la conduite de recherches causales en sciences sociales.
Repenser ce qui constitue une évaluation
Si les évaluations d’impact expérimentales rigoureuses ne sont pas réalisables pour la plupart des organisations caritatives, à quoi ressemble alors une évaluation pertinente ?
Les recherches menées par Phillips et Carlan suggèrent que l’évaluation peut s’avérer plus productive lorsqu’elle est axée sur l’apprentissage, la réflexion et l’adaptation. Plusieurs approches reflètent cette évolution. Par exemple, l’évaluation développementale et l’évaluation participative favorisent l’innovation en aidant les organisations à adapter leurs programmes à mesure que les conditions évoluent. L’évaluation développementale et participative implique le personnel, les communautés et parfois les bailleurs de fonds dans la définition de ce qu’est le succès. Les approches collectives, dans lesquelles les bailleurs de fonds et les bénéficiaires conçoivent conjointement des cadres d’apprentissage, permettent de mieux aligner les attentes sur les réalités des capacités organisationnelles. L’évaluation axée sur l’utilisation, quant à elle, donne la priorité à l’utilisation pratique des résultats afin que les organisations puissent ajuster leurs programmes et prendre des décisions en temps réel.
Conclusion
En fin de compte, l’évaluation doit avant tout servir à tirer des enseignements, et non pas simplement à satisfaire à des exigences réglementaires. Pour les organisations caritatives, cela signifie être à l’écoute de leurs bénéficiaires, mieux exploiter leurs propres données et s’appuyer sur des recherches externes de grande qualité plutôt que d’essayer de produire elles-mêmes des études d’impact. Mais une évaluation pertinente nécessite également des ressources. Les bailleurs de fonds ont donc un rôle essentiel à jouer, non seulement en investissant dans des évaluations indépendantes pouvant servir de biens publics, mais aussi en soutenant les activités d’évaluation axées sur l’apprentissage que les organisations caritatives mènent dans le cadre de leur travail quotidien.
Auteur
Vous souhaitez recevoir nos articles de blog directement dans votre boîte mail ? Inscrivez-vous à notre newsletter en cliquant sur le lien suivant et suivez-nous sur les réseaux sociaux pour rester informé des dernières actualités concernant nos projets :
- Inscription à la newsletter : https://confirmsubscription.com/h/t/3D0A2E268835E2F4
- LinkedIn : https://www.linkedin.com/company/cicp-pcpob/
- Réseaux sociaux : @CICP_PCPOB
Mesurer ce qui compte : repenser l’évaluation d’impact
Dans le secteur caritatif canadien, le terme « impact » est devenu un mot à la mode. Il est omniprésent dans les demandes de subventions, …
Définir les priorités, renforcer les capacités : comment les organismes caritatifs abordent l’année 2026
L’analyse par le PCPOB de sa première enquête de 2025 a mis en évidence un secteur caritatif pris dans les remous de l’instabilité économique, de …
De la crise à la prudence ? Suivi du chiffre d’affaires
Dans un récent blogue, nous avons examiné la crise croissante des ressources humaines dans le secteur caritatif canadien, en nous appuyant sur les données du …