Depuis avril 2014, Tostan collabore avec la Fondation Bill et Melinda Gates et ITAD afin de réviser notre système de suivi et d'évaluation (S&E) dans le but d'améliorer la prise de décision en matière de mise en œuvre des programmes et de planification stratégique. En mars de cette année, Tostan a été invité à participer à l’atelier « Élaboration d’un cadre d’évaluation pour les approches de développement intégré : atelier de réflexion et de conceptualisation », organisé par FHI 360, afin de partager nos expériences dans le développement du nouveau système. FHI 360 et Tostan bénéficient de subventions similaires de la Fondation Bill et Melinda Gates, axées sur le suivi et l’évaluation des programmes de développement intégré (DI). Alors que la subvention de Tostan vise à mettre en place un système permettant de mesurer et d’évaluer un programme de DI, celle de FHI 360 a pour objectif de créer un cadre général d’évaluation de ces programmes. Un cadre est un outil qui sert de guide pour concevoir efficacement une évaluation : il permet de mieux comprendre les résultats ou les effets observés au sein d’une communauté.
Selon la définition de FHI 360, un programme de développement intégré « est une approche délibérée visant à relier la conception, la mise en œuvre et l’évaluation des programmes à travers les disciplines et les secteurs afin de produire un impact amplifié et durable sur la vie des personnes… Aux fins de l’évaluation, nous nous concentrons sur les approches au niveau des programmes ». Le programme d’autonomisation communautaire (CEP) de Tostan s’inscrit dans ce modèle de développement intégré en raison de sa nature holistique. Cet atelier a été l’occasion pour Tostan, représentée par Elizabeth Larson, responsable MERL, d’avoir un échange approfondi avec des experts en évaluation des programmes de développement intégré et d’entrer en contact avec des organisations ayant des modèles similaires. Par exemple, Nuru International, une ONG basée en Éthiopie et au Kenya, a également évalué avec succès son programme de développement intégré.
Au cours de l'atelier, Elizabeth a présenté l'approche de Tostan en matière de développement holistique, en décrivant les liens indissociables entre le gouvernement, l'éducation, la santé, l'environnement et le développement économique —désignés collectivement sous le nom d'indicateurs GESEE. Elle a ensuite décrit l’approche de Tostan au sein des communautés, en évoquant les cours d’éducation non formelle du CEP. De plus, elle a présenté la théorie du changement de Tostan, qui montre comment les communautés évoluent au cours des trois années du CEP, passant d’un état où elles ont du potentiel mais un faible niveau d’auto-efficacité à celui de communautés autonomes dotées d’un haut niveau d’auto-efficacité et d’action collective.
Elizabeth a ensuite présenté notre système actuel de suivi et d'évaluation, en donnant un aperçu de notre cadre de résultats, qui s'articule autour des indicateurs GESEE, ainsi que de chacun des outils utilisés par Tostan pour collecter des données. Par exemple, les résultats de l'évaluation à mi-parcours du projet « Changement générationnel en trois ans » (GC3Y) en Guinée montrent que la gouvernance s'est améliorée depuis l'étude de référence et la mise en œuvre du programme, comme en témoignent les décisions publiques prises en fonction du sexe.
Tostan est également reconnu pour son approche visant à évaluer les normes sociales, qui prend en compte les attentes normatives et empiriques, la prévalence d'une pratique et les attitudes personnelles à son égard.
Elizabeth a évoqué l’importance de l’approche mixte de Tostan — qui combine la collecte de données qualitatives et quantitatives — et expliqué comment celle-ci permet à Tostan de comprendre les motivations sous-jacentes aux changements observables au sein des communautés. La pertinence d’une approche mixte apparaît clairement lorsqu’on examine les données quantitatives et qualitatives relatives aux attentes normatives entourant les mutilations génitales féminines (MGF). Dans l'évaluation à mi-parcours du projet GC3Y au Mali, nous avons utilisé des données qualitatives en conjonction avec des données quantitatives, comme dans l'exemple suivant, afin d'obtenir une vue d'ensemble de la situation concernant les normes sociales.
Enfin, Elizabeth a expliqué comment Tostan utilise les données pour la prise de décision stratégique et l’action au niveau communautaire. Par exemple, des données sont transmises au département des programmes afin de l’informer des performances du CEP. De même, les résultats des évaluations sont partagés avec le département de la communication afin de créer des infographies destinées à la communauté Tostan – y compris les communautés dans lesquelles Tostan intervient –, de sorte que les participants puissent utiliser ces données pour plaider en faveur de nouveaux changements sur le terrain. Enfin, Tostan s'efforce d'intégrer des méthodes de recherche-action participative au niveau communautaire dans son système de suivi et d'évaluation. Cela permettra à Tostan de comprendre les changements qui se produisent et qu'il ne pouvait pas mesurer dans le cadre de son système de suivi et d'évaluation existant.
À l'issue de la présentation d'Elizabeth, les participants ont réfléchi ensemble à plusieurs questions clés auxquelles les évaluateurs devraient apporter une réponse dans le cadre de l'évaluation du programme ID, telles que :
- Quels sont les critères minimaux que les responsables de la mise en œuvre peuvent prendre en compte pour comprendre l'impact amplifié de l'intégration ? Quels sont les éléments que l'on peut laisser de côté ?
- Quelles sont les idées reçues concernant l'intérêt de l'intégration ?
- Le design intuitif permet-il de réduire l'effort ? Le design intuitif permet-il d'être plus heureux ?
- Quelles sont les conséquences imprévues du recours à une approche intégrée ?
L'atelier s'est conclu par une discussion sur ce que les participants attendraient d'un cadre d'évaluation de la conception interactive, en répondant à la question suivante : « En quoi devrait consister une évaluation pratique de la conception interactive, tant sur le fond que sur la forme ? » Voici quelques-unes des principales réponses :
- Ce document devrait davantage servir de guide d'aide à la décision plutôt que de manuel pratique, ce qui le rendra accessible à un plus large éventail d'utilisateurs potentiels
- Utilisez des études de cas variées et détaillées
- Rendez-le aussi simple à utiliser que possible en proposant une brève introduction accompagnée de liens vers des explications plus détaillées
- Veuillez fournir les définitions de tous les termes techniques, car ceux-ci peuvent varier d'un secteur à l'autre
Au final, en échangeant des idées et des enseignements tirés avec nos pairs qui croient en ces programmes de développement intégré et les mettent en œuvre avec succès, nous avons fait un pas de plus vers l'affinement de notre propre cadre et de notre système de suivi et d'évaluation.
Avec la contribution d'Elizabeth Larson, responsable MERL